21 августа 1868 года Геннадий был назначен епископом Сарапульским, викарием Вятской епархии и 22 сентября хиротонисан.
24 июня 1872 года он был переведён на Кинешемское викариатство в Кострому.
9 апреля 1883 года – переведён на Сумское викариатство в Харьков. В Харькове, по отзыву А. Ф. Ковалевского, Геннадия «очень полюбили», и «начинания его по Куряжскому монастырю (управляемому им) заслуживали похвал»; в нём видно было «ревнование поправить положение обители».
29 ноября 1886 года Геннадий был уволен на покой и назначен управляющим Тверским Желтиковым монастырём.
Он был доволен увольнением в Желтиков монастырь, где ему было «предоставлено только право делать распоряжения к приведению в исполнение предписаний епархиального начальства». 16 декабря 1886 года Геннадий прибыл в Желтиков и тотчас заболел, так что и в день Рождества не выходил в церковь.
Кавалер орденов Святой Анны I – III и Святого Владимира II – III степеней. Почетный член Костромского губернского статистического комитета (1871). Пожизненный член костромского отделения Православного Миссионерского общества (1881). Духовный писатель. Корреспондент «Воскресного чтения», «Северной пчелы», «Странника» и др.
21 мая 1891 года состоялся указ Синода о переводе Геннадия «по болезненному состоянию» в Высокогорскую пустынь Арзамасского уезда, но непосредственно за этим члены Синода, «движимые благостию», назначили Геннадия управляющим Козловским Троицким монастырём, в котором он уже настоятельствовал, будучи ректором Тамбовской семинарии.
Последние годы Геннадий был разбит параличом, но упорно отказывался от медицинского пособия. Он умер 10 февраля 1893 года, в 4 часа утра. Последние его слова были: «А когда я умру, то за меня, наверное, помолятся мои ученики – ведь их у меня в Тамбовской семинарии было очень много». Он был погребён в монастырской Троицкой церкви.
Речь, посвященная памяти Иннокентия, архиепископа Херсонского // Воскресное чтение.– 1857.– №14;
Северная пчела.– 1857.– №170; отд. отт.– СПб., 1857;
Речь Святейшему Синоду, произнесенная ректором Тамбовской духовной семинарии, архимандритом Геннадием при наречении его во епископа Сарапульского, викария Вятского // Странник.– 1868.– №10.– Отд. IV.– С. 7—8.
25.04.1883 – Указ Правительствующего Синода о перемещении Геннадия, епископа Кинешемского, викария Костромской епархии на кафедру епископа Сумского, викария Харьковской епархии, а Вениамина, епископа Сумского, викария Харьковской епархии на кафедру епископа Кинешемского, викария Костромской епархии.