По инициативе Ростопчина казной были выделены два миллиона рублей для раздачи пособий пострадавшим, но этой суммы оказалось мало, и московский главнокомандующий стал объектом обвинений и упреков со стороны обделенных.
Москвичи не простили ему ни убийства, ни пожара, уничтожившего их имущество. А когда выяснилось, что в огне погибли несколько тысяч раненных, которых Ростопчин не успел вывести из Москвы (по слухам, вместо них он спасал казенные архивы и свое личное имущество), генерал стал конченым человеком. Молва винила главнокомандующего и в присвоении 100 тыс. казенных денег, и в том, что он неправильно распоряжался средствами, и в том, что подкармливал особо приближенных подрядчиков.
Окруженный злобой и недоверием Ростопчин пытался найти поддержку в Петербурге, но царь не хотел идти вразрез с общественным мнением, и 30 августа 1814 года граф был отставлен с поста московского генерал-губернатора. «Кроме ругательства, клеветы и мерзостей, ничего я в награду не получил от того города, в котором многие обязаны мне жизнью», – жаловался бывший губернатор. Граф словно предчувствовал свою судьбу. Еще до вступления французов в столицу он писал: «Я буду всему виною… Я буду за все и всем отвечать, меня станут проклинать сперва барыни, а там купцы, мещане, подьячие, а там все умники и православный народ… Я знаю Москву!»
После получения отставки Ростопчин, столкнувшись с враждебностью двора и простого народа, уехал с семьей в Европу и осел в Париже, где его повсюду сопровождала грозная слава. Очевидцы рассказывают, что если Ростопчин шел в театр, то публика смотрела не на сцену, а только на него… Позже домашние Ростопчина уверяли, что с наступлением темноты графа охватывало страшное волнение, и он не мог сдержать крика: перед его глазами вставал призрак окровавленного юноши Верещагина. С тех пор граф отходил ко сну, не гася свечей.
Поговаривали, что Ростопчин не обрел покоя и на чужбине. Его жена и дочери тайно приняли католичество, сын вел разгульную жизнь и угодил в долговую тюрьму, дочь заболела чахоткой. Смерть любимой дочери Елизаветы окончательно подорвала здоровье Ростопчина: его разбил паралич; он потерял способность двигаться и не мог
говорить, хотя оставался в полном сознании. Умирать Федор Васильевич вернулся в Россию и завещал похоронить себя без всякой помпы рядом с детьми на Пятницком кладбище.