Будучи трудолюбивым и исполнительным чиновником, хорошо разбираясь в законах, Горемыкин быстро проходит одну ступень служебной лестницы за другой. В январе 1867 года его утверждают в должности полоцкого вице-губернатора, но в декабре того же года он уже уволен «по прошению» и причислен к канцелярии наместника Царства Польского. Через полгода оставляет и эту должность и переходит в Министерство внутренних дел, где назначается келецким вице-губернатором.
Близко соприкасаясь с крестьянским вопросом, к тому же обладая хорошими аналитическими способностями, Горемыкин собрал и систематизировал обширный материал, на основе которого написал книгу «Очерки истории крестьян в Польше» (1869 год). Печать сразу же отреагировала благожелательными отзывами – в «Библиографе», «Вестнике Европы», «Санкт-Петербургских ведомостях». Возможно, общественный интерес к этой проблеме сыграл не последнюю роль в награждении его серебряной медалью за деятельность по «устройству крестьян в Царстве Польском», которую он получил в июле 1866 года. Но его деятельность имела и обратную сторону – чуть раньше он удостоился и другой «почетной» медали – за «усмирение польского мятежа 1863–1864 гг». Карьера Горемыкина складывается весьма успешно, и в ноябре 1869 года он становится коллежским советником.
В 1869–1893 годах наряду со своими служебными обязанностями Горемыкин выполняет функции почетного мирового судьи по Боровичскому уезду – избирался он шесть раз, каждый раз на трехлетний срок.
В июне 1873 года Горемыкин становится членом, а с 1880 года – председателем временной комиссии при МВД по крестьянским делам губерний Царства Польского. Когда в октябре 1880 года император Александр II решает провести глубокую и всестороннюю ревизию Саратовской и Самарской губерний, ответственность за которую возлагает на сенатора И. И. Шамшина, Горемыкина прикомандировывают к комиссии в качестве старшего чиновника. Он непосредственно занимается исследованием экономики, быта и юридического положения крестьян, результатом чего стала обширная и толковая записка по этому вопросу.
В первой половине 1882 года Горемыкин состоял в комиссии по выработке правил о выкупе наделов в помещичьих имениях великороссийских и малороссийских губерний, решал и другие вопросы по так называемому крестьянскому делу. Здесь очень пригодился ему опыт, накопленный им в бытность его в Царстве Польском.