С 18 июня 1882 года в чине тайного советника Иван Логгинович был назначен членом консультации, учрежденной при Министерстве юстиции. Одновременно на него были возложены обязанности товарища обер-прокурора первого департамента Правительствующего сената, входящего в отделение по крестьянским делам. Благодаря энергии и трудолюбию он успевал многое – неоднократно исполнял обязанности обер-прокурора, участвовал в различных комиссиях и комитетах, в частности в работе Особого совещания для рассмотрения дел об административной высылке.
В феврале 1884 года Горемыкин занял место обер-прокурора второго департамента Правительствующего сената. Грамотного юриста и добросовестного чиновника нещадно эксплуатировали, привлекая одновременно ко множеству дел. Он одновременно исполнял обязанности обер-прокурора первого департамента и председателя хозяйственного комитета при нем, заведовал обер-прокурорскими делами первого общего собрания Сената, входил от Министерства юстиции в Особую комиссию при Государственном совете, созданную для «всестороннего обсуждения способов кодификации Особого приложения к законам о состояниях», а также в другую особую комиссию, но образованную уже при Министерстве внутренних дел, – эта занималась разработкой вопросов «о мерах к прекращению наплыва иностранцев в западные окраины», но и это еще не все. Горемыкин как опытный специалист подготовил и издал Сборник решений Правительствующего сената по крестьянским делам (1889 год). Следующим был солидный Свод узаконений и распоряжений правительства об устройстве сельского населения и учреждений по крестьянским делам, к нему прилагались разъяснения, содержащиеся в решениях Правительствующего сената и в постановлениях и распоряжениях высших правительственных учреждений в двух томах (1891 год). Этот Свод представлял большую ценность для практических судебных и прокурорских работников и выдержал за несколько лет пять изданий, каждый раз пополняясь новыми материалами. Свод узаконений хорошо раскупался и принес его составителю немало денежных дивидендов.
27 ноября 1891 года Горемыкин становится товарищем министра юстиции (министром тогда был Н. А. Манасеин), с 1894 года – сенатором и управляющим межевой частью на правах товарища министра. В апреле 1895 года он покидает Министерство юстиции и переходит в Министерство внутренних дел на должность товарища министра, оставаясь при этом сенатором. Этим назначением он был обязан обер-прокурору Святейшего синода К. П. Победоносцеву, который рекомендовал его императору, хотя сам министр И. Н. Дурново предпочел бы видеть на этом месте других кандидатов. Карьера продолжает складываться блестяще – спустя полгода Горемыкин становится управляющим Министерством внутренних дел, а 6 декабря 1895 года, опять же с помощью Победоносцева, его утверждают в должности министра внутренних дел.