Но ситуация в собственной семье Друза подорвала его решимость. Сестра Друза Ливия была несчастна: ее супруг, лучший друг Друза Квинт Сервилий Цепион, жестоко избивал ее. А она влюбилась в Марка Порция Катона и стала его любовницей. После двух дочерей от Цепиона Ливия Друза забеременела от рыжеволосого Катона и произвела на свет сына, также с огненными волосами. Она пыталась убедить Цепиона в том, что это его ребенок. Но старшая дочь, Сервилия, обожавшая отца, обвинила мать в неверности и вызвала кризис в семье. Цепион развелся с Ливией и отказался от всех троих детей. Друз и его жена взяли сторону Ливии. Чуть позже Ливия Друза вышла замуж за Катона и родила еще двоих детей – дочь Порцию и сына Катона-младшего (будущего Катона Утического).
Пока развивались события этой семейной драмы, Друз старался убедить Сенат в справедливости требований италиков предоставить им полные гражданские права. После скандала с Ливией эта задача оказалась осложнена ожесточенной враждебностью Цепиона.
В 96 году умерла жена Друза. В 93 году скончалась Ливия Друза, и пятеро ее детей перешли под опеку Друза. В 92 году умер Катон. Остались лишь двое врагов – Цепион и Друз.
Последний считался уже слишком старым для политической карьеры, однако он пришел к выводу, что единственный способ добиться равенства для италиков законным путем – стать плебейским трибуном и, вопреки упорной оппозиции Сената, уговорить Плебейское собрание предоставить италикам право голосовать.
Удивительно терпеливый и интеллигентный человек, он сумел обеспечить себе поддержку. Но некоторые консервативные сенаторы, включая Скавра, Катула Цезаря и Цепиона, решили сделать все, чтобы он не достиг цели. Накануне своей победы Друз был убит в атрии собственного дома. Это произошло в конце 91 года.
Пятеро детей Ливии Друзы и приемный сын самого Друза, Нерон, стали свидетелями его мучительной смерти. Теперь у этих молодых людей остался лишь Цепион, который отказался иметь с ними что-либо общее. Поэтому о них стали заботиться мать Друза и его младший брат Мамерк Эмилий Лепид Ливиан. В 90 году умер и Цепион, а через год ушла к праотцам мать Друза. Когда жена Мамерка отказалась приютить осиротевших, никому не нужных детей, Мамерк вынужден был оставить их в доме Друза на попечении незамужней родственницы и ее мамаши.