Затем Голиков служил в гвардейском экипаже и несколько лет был флаг-офицером в плаваниях на императорских яхтах. Интеллигентный, грамотный и умный лейтенант пришелся по душе императору Александру Третьему, и тот всегда с удовольствием брал его с собой в море. Именно тогда будущий командир «Потемкина» достаточно близко познакомился и с будущим императором Николаем, который относился к флаг-офицеру с большим уважением и запросто называл его Женей. В 1883 году Голиков был на коронации Александра Третьего в Москве, что являлось большим доверием со стороны царствующей семьи. Однако придворная служба не удовлетворяла боевого офицера, и в 1885 году он переводится на Черноморский флот старшим офицером на канонерскую лодку «Уралец». А затем началось многолетнее командование Голикова различными кораблями и судами: транспорт «Псезуапе» и шхуна «Гонец», броненосец береговой обороны «Новгород» и судно «Эриклик», канонерская лодка «Уралец» и транспорт «Березань». При этом Голиков являлся признанным знатоком парусного спорта и в 1888 году стал инициатором создания яхт-клуба в Николаеве.
В 1903 году Голиков получил назначение на достраивающийся эскадренный броненосец «Князь Потемкин-Таврический». С началом Русско-японской войны вице-адмирал Макаров запросил Морское министерство прислать Голикова к нему в Порт-Артур (кроме Голикова он просил прислать к нему капитана 1-го ранга Миклуху и нескольких других офицеров, которых лично знал по боевым делам в турецкую войну). Однако капитан 1-го ранга Голиков был оставлен на Черном море. Дело в том, что никто тогда еще не знал, как пойдет война, и в министерстве имелся план посылки на Дальний Восток отряда черноморских кораблей, в том числе и «Потемкина». Когда же этот поход был отменен, Голикову был поручен скорейший ввод сильнейшего броненосца Черноморского флота в боевой состав, чем, собственно, летом 1905 года он и занимался.
В воспоминаниях матюшенковца Н. Рыжего командир броненосца Голиков предстает таким: «…Выше среднего роста, борода с проседью в форме лопатки, тупое выражение лица, манеры аристократа». Насчет манер аристократа спорить сложно, но вот насчет «тупого выражения лица» имеются сомнения. На дошедшем до нас портрете Е. Голикова у него, наоборот, на редкость весьма интеллигентное и приятное лицо. Впрочем, для матроса Н. Рыжего идеалом интеллектуала, видимо, был приблатненный корабельный «пахан» Матюшенко.