Выйдя в отставку в начале 1860-х годов, И. Н. Захарьин некоторое время действительно был вольнослушателем Московского университета, однако обстоятельства заставили его вновь поступить на службу – на сей раз гражданскую. Этот период его жизни весьма примечателен, так как проходил в губерниях бывшей Речи Посполитой, после Польского восстания 1863 года. Сначала Захарьин занял должность мирового посредника в Могилевской губернии, затем, в конце 1870-х годов, – мирового судьи в губернии Подольской. С этим периодом жизни литератора связаны его статьи «Эпизоды из времени восстания 1863 года», «Воспоминания о Белоруссии 1864–1870 гг. (Из записок мирового посредника)», отчасти «Среди архивов Южнорусского края», а также книга «Жизнь, служба и приключения мирового судьи». С 1885 по 1896 годах И. Н. Захарьин управлял отделениями Крестьянского банка в Вильне, Ковно, затем в Оренбурге и Ставрополе.
В 1896 году Иван Николаевич окончательно вышел в отставку с чином статского советника и полностью посвятил себя литературе, хотя вступил на это поприще гораздо раньше, в 1861 году, размещая корреспонденции в газетах «Московские ведомости», «День», «Голос» – изданиях, преимущественно, консервативно-охранительного или умеренно-оппозиционного толка. В 1870–1873 годах И. Н. Захарьин был членом редакции «Биржевых ведомостей» (в период, когда эта газета имела умеренно-либеральное направление), одновременно в течение в 1870-х годов – фактическим редактором демократического сатирического журнала «Будильник» и литературно-художественного, в достаточной мере аполитичного «Живописного обозрения».
Множество стихотворений, рассказов, пьес, исторических статей и воспоминаний И. Н. Захарьина в разные годы появлялось на страницах «Исторического вестника», «Русской старины», «Вестника Европы» и др. Ряд этих произведений был впоследствии собран в книгах: «Люди темные» (1889), «Грезы и песни» (сборник стихов, 1-е издание 1883 г., за 13 лет выдержало четыре издания), «Тени прошлого. Рассказы о былых делах» (1885), «Молодая пора» (1891), «Для спектаклей» (1897), «Хива» (1898), «Жизнь, служба и приключения мирового судьи» (1900), «Граф В. А. Перовский и его зимний поход в Хиву» (1901), «Кавказ и его герои» (1901), «Для народа» (1897), «Встречи и воспоминания» (1903).