По причине разногласий с генерал-губернатором Витебской губернии П. Н. Дьяковым, через два года подал в отставку и получил ее (24 октября 1838 г.). После этого поселился в Полоцке с семьей – женой, сыном Владимиром и двумя дочерьми (одна из них в замужестве – Глушкова, другая – Ган). Скончался там же от холеры 3 июля 1848 года. Погребен 5 июля под Полоцком на «Красном кладбище».
Воспоминания о жизни своей Иван Степанович начал писать лишь после того, как окончательно оставил государственную службу, отдав ей более 30 лет жизни (первая запись датирована 14 января 1841 г.) и закончил за несколько месяцев до кончины – в 1848 году. Записи он вел не регулярно, от случая к случаю и не всегда придерживаясь хронологической последовательности событий. Повествование доведено до 1838 года, до времени отставки с поста Витебского губернатора.
Первые страницы рукописи посвящены детским и юношеским годам автора, проведенным в Кадетском корпусе. Удивительно, что из его памяти (кстати говоря, совсем не безупречной), не стерлись детские воспоминания о товарищах по классам и преподавателях, яркие впечатления о посещении корпуса императором Павлом Петровичем, цесаревичем Александром Павловичем и великим князем Константином Павловичем. Повествование о событиях наполеоновских войн, в которых И. С. Жиркевичу пришлось участвовать в качестве офицера гвардейской артиллерии (с 1806 по 1815 гг.), насыщенное подробностями, представляет особый интерес как источник по истории отдельных сражений и повседневной жизни российского офицерства той великой эпохи.
В воспоминаниях И. С. Жиркевича читатель найдет много уникальных подробностей из жизни российского чиновничества и дворянства 1820-х – 1840-х годов, организации службы в центральных, губернских и уездных учреждениях; подробностях частного быта провинциальных городов Российской империи: Орла, Тулы, Симбирска, Витебска. Немало интересных деталей, не сохранившихся в официальных архивных документах, можно узнать из «Записок» Жиркевича об организации производства на Тульском оружейном заводе, о реализации в Симбирской губернии правительственной программы по переводу нескольких сот тысяч казенных крестьян в удельное ведомство, о трудном процессе присоединения униат Витебской губернии к Православной церкви и сложных взаимоотношениях гражданских и церковных властей в отношении этого вопроса.