Здание Музея создавалось по проекту архитектора Романа Клейна, получившего образование в России и за рубежом. Клейн учился в Санкт-Петербургской академии художеств, а по окончании ее отправился на стажировку к выдающемуся французскому мастеру Шарлю Гарнье, создателю здания Парижской оперы. Вернувшись из Франции, молодой архитектор начал самостоятельную практику.
В 1896 году Роман Клейн принял участие в конкурсе на создание проекта Музея, объявленном Петербургской академией по обращению Московского университета. Всего на рассмотрение было предоставлено около девятнадцати проектов. Семь из них, занявшие призовые места, были направлены в университет, где лучшим был назван проект Клейна.
12 марта 1898 года Иван Цветаев и Роман Клейн представили проект Музея императору Николаю II. Макет был расположен в царской бильярдной. Император благосклонно отнесся к инициативе Цветаева. На строительство Музея им была выделена сумма в двести тысяч рублей. Участие государя подвигло многих состоятельных людей более активно совершать вклады в строительство Музея. Пожертвования принимались в любых объемах. Например, князья Юсуповы полностью оплатили создание Римского зала, а на деньги выдающегося архитектора Федора Шехтеля были сделаны слепки рельефов Пергамского алтаря. Значительную сумму в сто пятьдесят тысяч рублей выделила купчиха Варвара Алексеева, но при условии, что Музею будет даровано имя императора Александра III.
В августе 1898 года состоялась торжественная закладка здания. Под строительство Музея Городская дума после двух лет споров отвела большой пустырь на улице Волхонке, известный как Колымажный двор. Название пустыря происходит от царских конюшен и колымажных (т. е. каретных) сараев, которые располагались на том месте с середины XVI века. В XVIII и XIX веках на территории двора имелся манеж, где проходило обучение верховой езде. Затем на месте манежа возвели бараки: Колымажный двор начали использовать как пересылочную тюрьму. В конце 70-х годов тюрьму переведут в Бутырский замок, бараки снесут за ненадобностью, а пустырь огородят забором.
Строительство Музея продолжалось 15 лет. За это время в работах приняли участие около сорока различных фирм и множество специалистов, в том числе иностранных (например, бригада итальянских каменщиков). В ходе строительства в здании Музея произошел пожар. Архитектор Клейн лично участвовал в борьбе с огнем. К сожалению, в пламени погибли многие слепки, но главное – на преодоление последствий несчастья понадобились дополнительные денежные средства. Их вновь предоставил Ю. С. Нечаев-Мальцов.