По службе в армии, а затем на гражданском поприще, И. С. Жиркевичу приходилось встречаться со многими известными деятелями первой половины XIX столетия. Надо сказать, что автор «Записок» не пытался скрывать свою небеспристрастность в отношениях к сослуживцам, сотрудникам, начальникам и просто знакомым. Его характеристики почти всегда откровенно предвзяты. Справедливость требует отметить, что в тех случаях, когда приходилось признаваться в негативном отношении к отдельным людям, Иван Степанович добросовестно старался объяснить его причины, подробно описывая все нюансы своих с ними взаимоотношений. В частности, много неприятных моментов в жизни И. С. Жиркевича в Симбирской губернии и позднее, даже в отставке, были связаны с именем помощника управляющего симбирской удельной конторой Андрея Васильевича Бестужева. Однажды И. С. Жиркевич даже заявил посещавшему губернию графу Перовскому: «…с господином Бестужевым… я не хочу иметь ни дела, ни знакомства, ибо последним я его не удостаиваю!» А. В. Бестужев умел найти себе «высоких» заступников, а слишком горячий и прямой, никогда не считавший нужным скрывать свои мысли от вышестоящих, И. С. Жиркевич лучше умел находить врагов. После публикации глав «Записок», посвященных службе автора в Симбирской губернии, где фамилия А. В. Бестужева была скрыта, в редакцию «Русской старины» поступило возмущенное письмо одного из многочисленных родственников Андрея Васильевича – некоего В. А. Бестужева. Автор письма, опубликованного в одном из очередных номеров журнала, настаивал на высокой честности А. В. Бестужева и прямо обвинял И. С. Жиркевича во лжи. Доводы его, однако, не выглядят обоснованными, а в пользу низкого мнения об «удельном чиновнике» Бестужеве свидетельствуют и другие современники и свидетели их отношений с губернатором, в частности, служивший в то время в Симбирской губернии жандармский офицер Эразм Иванович Стогов. Воспоминания Стогова были предложены им самим к публикации в «Русской старине» после появления на страницах журнала первых нескольких глав из «Записок» И. С. Жиркевича.
При всей информативности воспоминаний Ивана Степановича, в них очень мало можно найти сведений о нем самом и его семье. Описаны лишь обстоятельства женитьбы на Александре Ивановне Лаптевой, но о характере ее, внешности, привычках можно судить лишь по отрывочным и косвенным сведениям. Только один раз автор подробно остановился на описании распорядка своего дня, чтобы показать, как много сил и времени занимала у него работа с документами на посту симбирского губернатора. И однажды, когда тяжелые обстоятельства жизни в отставке, почти в нищете, стали уж совсем невыносимы, он позволил себе излить душу на бумаге. Но этот отрывок был выпущен из текста «Записок» при первом издании, не увидит его и нынешний читатель.