В то время как Музей еще только строился, определялся и уточнялся характер экспозиции. Так, дипломат М. С. Щекин подарил Музею коллекцию ранней итальянской живописи. Благодаря этому собрание Музея приросло картинной галереей, которая в последующие годы будет становиться все обширнее. В преддверии открытия Музея государство приобрело для его коллекции бесценное собрание востоковеда Владимира Семеновича Голенищева, состоящее из шести тысяч предметов, в том числе египетских древностей. Таким образом, среди экспонатов Музея оказались подлинники высокой художественной и исторической ценности. Также при Музее была учреждена библиотека, которой после смерти Ивана Цветаева отошло около шестисот научных изданий из его книжной коллекции.
Музей изящных искусств был открыт 31 мая 1912 года в три часа дня. Уже тогда он считался одним из самых больших в мире музеев слепков. Само величественное здание Музея, выполненное в классической манере, выглядело как наглядное пособие по истории архитектуры. Ионическая колоннада повторяла формы восточного портика афинского Эрехтейона, наличник дверей Белого зала копировал портал северного фасада того же святилища, тогда как колонны египетского зала напоминали о гипостиле Луксорского храма. Интерьеры Музея были отделаны ценными породами мрамора, а крыша, спроектированная инженером-новатором Владимиром Шуховым, была построена из современных материалов – стекла и металла. В Музее поначалу не имелось электрического освещения, осматривать экспонаты предполагалось при свете дня (верхний свет, льющийся сквозь прозрачную крышу, лучше всего подходил для знакомства со скульптурой).
Музей открывался под звуки кантаты М. М. Ипполитова-Иванова, исполнением которой дирижировал сам композитор. Торжественную церемонию почтила присутствием царская семья во главе с императором. Этот момент был запечатлен на кинопленке.
«Наш гигантский младший брат» – так назвала Музей великая поэтесса Марина Цветаева, дочь Ивана Цветаева. Позже Марина Ивановна вспоминала об открытии Музея:
Все мы уже наверху, в том зале, где будет молебен. Красная дорожка для царя, по которой ноги сами не идут. Духовенство в сборе. Ждем. И что-то близится, что-то, должно быть, сейчас будет, потому что на лицах, подобием волны, волнение, в тусклых глазах – трепет, точно от быстро проносимых свеч. «Сейчас будут… Приехали… Идут!.. Идут!..» «И как по мановению жезла» – выражение здесь не только уместное, но незаменимое – сами, само – дамы вправо, мужчины влево, красная дорожка – одна, и ясно, что по ней сейчас пойдет. Пройдет…