В 1859 году Рубинштейн увлек идеей создания Русского музыкального общества известную благотворительницу великую княгиню Елену Павловну, супругу великого князя Михаила Павловича, младшего брата двух императоров (Александра I и Николая I). Годом позже Рубинштейн организовал при обществе музыкальные классы, которые в сентябре 1862 года были преобразованы в консерваторию. Рубинштейн стал ее первым директором, дирижером оркестра и хора, а также профессором по классам фортепиано и инструментовки.
В хорошо известное всем здание Большого (Каменного) театра на Театральной площади консерватория въехала в 1886 году, а до того она находилась во флигеле дома Демидова на углу Мойки и Демидовского переулка (ныне это переулок Гривцова)[33], бывшем помещении Английского клуба. По воспоминаниям современников, «семь или восемь комнат составляли все помещение и служили классами для игры на фортепиано, на струнных инструментах и для пения». Но все равно то была консерватория, настоящий музыкальный университет.
Заремба преподавал Петру Ильичу контрапункт и музыкальную форму, Рубинштейн – сочинение и инструментовку, итальянец Чезаре (Цезарь Иосифович) Чиарди – игру на флейте, а немец Генрих Штиль – игру на органе. И Штиль, и Чиарди были виртуозами, непревзойденными мастерами своего дела и замечательными импровизаторами. Заремба тоже был хорош, но Рубинштейн превосходил всех вместе взятых.
«Как преподаватель теоретический Рубинштейн составлял разительную противоположность с Зарембой. Насколько тот был красноречив, настолько этот оказался косноязычен. Рубинштейн знал довольно много языков, но ни на одном не говорил вполне правильно… По-русски он в частной беседе мог выражаться очень бойко, причем иногда попадались выражения счастливые и меткие, но грамматика хромала, а в связном изложении теоретического предмета ее недочеты обнаруживались гораздо сильнее. Дара изложения у него не было ни малейшего. Замечательнее всего, что это обстоятельство как-то не вредило его лекциям и не отнимало у них интереса. Насколько у Зарембы все было приведено в систему, и каждое, так сказать, слово стояло на своем месте, настолько у Рубинштейна царствовал милый беспорядок: я думаю, что он за пять минут до лекции не знал, что будет говорить, и всецело зависел от вдохновения минуты. Хотя таким образом литературная форма его лекций была ниже критики, они все-таки импонировали нам и посещались с большим интересом. Огромные практические знания, огромный кругозор, невероятная для тридцатилетнего человека композиторская опытность давали словам его авторитет, которого мы не могли не чувствовать. Самые парадоксы, которыми он сыпал и которые то злили, то смешили нас, носили отпечаток гениальной натуры и мыслящего художника»