Снова став главкомом ВМС, он приложил много сил для принятия реальной государственной программы развития флота, и в конце концов программа строительства сбалансированного флота была принята и начала реализовываться. При Кузнецове была спроектирована и заложена первая атомная подводная лодка и началось создание ракетно-ядерного флота. На крейсере «Адмирал Нахимов» и в одной из береговых частей появились первые опытные образцы ракетных установок и проведены стрельбы.
Напряженная работа сказывалась на здоровье главкома. В мае 1955 года Николай Герасимович перенес инфаркт, просил освободить его от должности и дать ему работу меньшего объема. Но просьба его была оставлена без ответа. Но в декабре того же года Кузнецова, который из-за болезни уже длительное время, по существу, не мог руководить флотом, сняли с должности главкома за якобы «неудовлетворительное руководство ВМС».
В 1950-е годы очень четко проявилась тенденция принижения роли флота в связи с появлением ядерного оружия. Решающая роль в будущих войнах и обороне отводилась стратегической авиации. Кроме того, Министерство обороны с февраля 1955 года возглавил Г.К.Жуков, который от проблем флота был всегда далек и отводил флоту лишь вспомогательную роль. Тогда же по инициативе Н.С.Хрущева началось сокращение армии и флота. Военные корабли стали отправлять на металлолом. С этим Кузнецов согласиться никак не мог и сопротивлялся из последних сил.
Предлог для снятия строптивого главкома ВМФ нашелся очень быстро. В октябре 1955 года в Севастополе в результате взрыва затонул линкор «Новороссийск». Сразу же была создана специальная комиссия по расследованию причин случившегося, и на основании ее выводов в феврале 1956 года Н.Г.Кузнецов был понижен в звании до вице-адмирала и уволен с военной службы.
Уходя в отставку, Николай Герасимович сказал: «От службы во флоте я отстранен, но отстранить меня от службы флоту – невозможно». Будучи в отставке, несмотря на болезнь, Николай Герасимович написал десятки статей, несколько книг, выступал перед общественностью по вопросам истории и проблемам флота.
В декабре 1974 года ему сделали операцию. Больное сердце не выдержало, и 6 декабря 1974 года Николай Герасимович Кузнецов скончался. Он был похоронен в Москве на Новодевичьем кладбище.