Многие сотрудники Музея ушли в армию – по призыву и добровольцами. Среди оставшихся ввиду экономии было проведено сокращение. Чтобы сохранить ценных специалистов, часть сотрудников перевели на новые должности. Так, сотрудник Отдела античного искусства стал пожарным, экскурсовод – сторожем, реставратор – бухгалтером.
Начались бомбежки. Ночью 22 июля в Музей попало восемь зажигательных бомб. Эти «раны» до сих пор видны на стенах ГМИИ. И все же Музей продолжал работать. Осенью открылась выставка «Героическое прошлое русского народа». Сотрудники выступали с лекциями, в том числе выездными – в госпиталях.
Сильнейшее повреждение Музей получил в середине октября 1941-го, когда во двор соседнего дома упала и взорвалась фугасная бомба. Сила удара была настолько велика, что разрушилась стеклянная крыша, а на некоторых слепках разошлись швы. Погасло электричество, почти полностью отключилось отопление. С наступлением морозов снег начал покрывать полы Музея. Убирать его предстояло сотрудникам. Вооружившись лопатами, люди, всю жизнь изучавшие статуи древних богов и картины, изображавшие святых и вельмож, принялись разгребать снежные завалы. Грузовых машин не осталось – все они были взяты на фронт, поэтому снег вывозили на салазках.
Со временем Музей был перекрыт самодельной крышей. Но пришли новые напасти: отсыревали подвальные помещения, экспонаты начали покрываться плесенью. Часто не хватало рабочих рук. Сотрудников отправляли то на лесозаготовки, то на переборку овощей.
После наступления перелома в ходе войны ситуация в Музее начала постепенно налаживаться. Пришел новый директор – известный скульптор С. Д. Меркуров. С его появлением в Музее приступили к восстановительным работам. Прежде всего удалось возвести новую крышу, наладить отопление. Большое внимание Меркуров уделял заботе о своих подчиненных, следя за тем, чтобы они хорошо питались, были тепло одеты.
Шла реэвакуация музейного собрания – картины и слепки постепенно возвращались в родные стены. Музей приобретал новые экспонаты.
С. Д. Меркуров совместно с коллегами создал обновленную концепцию развития Музея, которая предполагала превращение ГМИИ в музей мирового уровня. В новом Положении о Музее статус учреждения был указан как «всесоюзный». Вновь увеличился столь сильно урезанный в годы войны штат: количество научных сотрудников возросло до 72, среди руководителей Музея появились ведущие ученые СССР, например Б. Р. Виппер. Середина 40-х годов была отмечена приходом в Музей молодых сотрудников, среди них и будущего директора Музея – Ирины Антоновой.