Николай Григорьевич Рубинштейн родился в Москве (2) 14 июня 1835 года. Заниматься музыкой он начал дома, вместе со старшим братом Антоном, также ставшим выдающимся пианистом. В 1844-1846 годах он учился в Берлине у Т.Куллака и З.Дена. Вернувшись в Россию, жил в Москве. С 11 лет он давал концерты и продолжал выступать всю жизнь.
В 1855 году Николай окончил Московский университет и получил диплом юриста. В 1859 году по его инициативе было открыто московское отделение Императорского Российского музыкального общества (ИРМО), и Николай стал его председателем и дирижером симфонических концертов. Он также принимал деятельное участие в открытии Московской консерватории и стал ее первым директором в 1866 году.
Рубинштейн виртуозно исполнял произведения самого широкого репертуара, классические (Бах, Бетховен, Лист, Шуман, Шопен) и современные. Пианист стал первым исполнителем многих произведений композитора П.И. Чайковского, а некоторые из них писались специально для него. Николай Рубинштейн провел также премьеру оперы Чайковского «Евгений Онегин». За границу он выезжал редко, почти все свои концерты он провел в Москве.
Умер Николай Рубинштейн в Париже (11) 23 марта 1881 года. Похоронен в Москве на Новодевичьем кладбище.