К 1867-1869 гг. был приурочен новый этап реорганизации ведомства. Великий князь Константин Николаевич с 1865 г. занимал пост председателя Государственного совета, а в 1862-1863 гг. был наместником Царства Польского. Новые обязанности вызвали охлаждение к повседневным делам морского ведомства, и поэтому управляющий Морским министерством получил права министра с передачей ему функций руководства всеми центральными учреждениями, причем сам управляющий подчинялся генерал-адмиралу. Кроме того, стремление экономить во что бы то ни стало привело к упразднению большинства департаментов и объединению всех хозяйственных дел в Канцелярии Морского министерства, превратившейся в главный орган управления ведомством. Естественно, что справляться со своими обязанностями директор Канцелярии мог только до тех пор, пока флот был невелик.
Кораблестроительно-Технический департамент был упразднен, а его функции переданы Морскому Техническому комитету, ставшему коллегиальным учреждением. Возникшая в результате структура центрального управления морским ведомством получила впоследствии название «системы 1867 г.».
В 1881 г. Константин Николаевич, после смерти старшего брата, вынужден был покинуть пост главного начальника флота и морского ведомства. Его сменил брат нового императора Александра III великий князь Алексей Александрович (1850-1908). Как и его дядю, Константина Николаевича, Алексея Александровича с детства готовили к роли будущего вождя русского флота. В 1871 г., когда великому князю исполнился двадцать один год, он был назначен старшим офицером фрегата «Светлана», на котором совершил плавание в Северную Америку, обогнул мыс Доброй Надежды, посетил Китай и Японию и побывал во Владивостоке. Алексей Александрович принял участие и в русско-турецкой войне 1877-1878 гг., наводя переправу через Дунай. 13 июля 1881 г. великий князь занял пост главного начальника флота и морского ведомства, а в 1888 г. получил чин генерал-адмирала.
Россия вступила в Русско-японскую войну, имея Морское министерство, структура которого была разработана и введена в первой половине 80-х гг. XIX в., при управляющем Морским министерством адмирале Иване Алексеевиче Шестакове (1820-1888). Его личность и деятельность вызвали в свое время крайне противоречивые оценки. Особенно негативно многие аспекты деятельности Ивана Алексеевича оценивались после Русско-японской войны, поскольку некоторые считали его человеком, заложившим основы поражения в той войне.