Тем временем Дом покинула большая часть его жителей. Попечитель, генерал-майор Василий Сергеевич Шереметев, оставляет вверенное ему учреждение, поскольку «надеется быть употребленным на составление военного ополчения в Нижнем Новгороде». Уходили в ополчение и рядовые сотрудники Дома.
В день входа французов в Москву, 2 сентября 1812 года, в «странноприимнице» находилось только 11 раненых офицеров, больных отправляли на лечение в Екатерининскую больницу. В богадельне обреталось 32 человека. Все меры, указанные советом, были приняты. Из тех, кто работал в Доме, остались канцелярский служитель Назаров, аптекарь Лорбеер (ему временно передал свои обязанности Петр Михайлович Бер), помощник аптекаря Гельвинг, швейцар, сиделки, прачки и рабочие. Помощника главного смотрителя Муравьева сменил надворный советник С. В. Протопопов. Доктор Яков Вильгельмович Кир направился на родину, в Шотландию (откуда вернулся лишь 8 июня 1813 года), передав свои обязанности штаб-лекарю Крылову. Военный караул, охранявший Дом в соответствии с выполненной императором Александром просьбой Шереметева, ушел в действующую армию. За безопасностью Дома теперь следили сами его служащие. В храме Живоначальной Троицы богослужения не прекращались до тех пор, пока это было возможно. Странноприимному дому предстояло испытать «все неистовства, какие токмо изобрести могут одни просвещенные французы». Так описывал пребывание неприятеля в Москве Федор Иванович Корбелецкий в своей книге «Краткое повествование о вторжении французов в Москву и о пребывании их в оной, описанное с 31 августа по 27 сентября 1812 г. Ф. Корбелецким с присовокуплением собственного его странствования», изданной в Санкт-Петербурге в 1813 году.
Напрасно ожидавший за городом депутатов с московскими ключами, Наполеон принял решение лично поехать за ними и оказался в Белокаменной во вторник, 3 сентября, въехав «в половине одиннадцатого часа утра в Дорогомиловскую заставу. Арбат был совершенно пуст». На улице Бонапарт увидел только содержателя одной из аптек и его семью, а также раненого французского генерала, «накануне к ним поставленного постоем». «Подъехав ближе, Наполеон посмотрел на них вверх весьма злобно», окинул быстрым взглядом весь дом, вновь бросил взгляд на находящихся у окна – и продолжил путь.