Публика была в восторге от звучного, далеко летящего голоса Яковлева, его темпераментной игры, богатырского склада фигуры. Но была у феерического успеха Яковлева и оборотная сторона. Энциклопедический словарь Брокгауза и Ефрона отмечал, что «малообразованному молодому человеку немудрено было потерять голову от триумфов, так легко ему доставшихся, и увериться в собственной гениальности; к этому вскоре присоединился загул в компании поклонников его таланта. Эта несчастная страсть не только отразилась на творчестве Яковлева, но исказила его характер, сделав его неудержимо заносчивым и грубым». Алкоголизм Яковлева довел его до попытки самоубийства: 24 октября 1813 года, находясь в гримерке, актер пытался перерезать себе горло, но был спасен коллегами по сцене.
По свидетельству современников, сильно подкосила Алексея Семеновича и несчастная любовь, сопровождавшая всю его сценическую жизнь. Этой любовью была его ровесница и партнерша по сцене Александра Дмитриевна Каратыгина (в будущем мать великого трагика Василия Каратыгина). Но Александра была замужем, разрушать ее брак Яковлев не хотел… Свои горестные чувства актеру оставалось изливать разве что в стихах:
Как вершины древ кудрявые
Меж собою ищут сблизиться,
Но стремленьем тока быстрого
Друг от друга отделяются,
Так подобно рок жестокий мой,
Мне увидеть дав волшебницу,
Воспретил мне быть ее спутником
На стезях тернистых жизни сей!
Надеясь прогнать горе, Яковлев женился на 17-летней актрисе Екатерине Ивановне Ширяевой. Она оказалась преданной и заботливой супругой, но настоящего счастья с ней Яковлев так и не обрел.
Несмотря на колоссальный успех ролей Яковлева и солидное жалованье, которое он получал, состоятельным человеком актер не был. Легко одалживал деньги, так же легко забывал отдавать долги, щедро помогал знакомым и незнакомым. «Отдать последний грош нуждающемуся человеку, пристроить бедную сироту, похоронить на свой счет беднягу, взять на попечение подкидыша и обеспечить существование несчастного ребенка, защитить в известном обществе приятеля от клеветы, и все это стараться делать, по писанию, втайне – вот весь Яковлев!» – вспоминал его современник. В итоге после смерти актера у его вдовы, оставшейся с двумя маленькими детьми на руках, было всего-навсего 9 рублей 44 копейки наличными. А долгов накопилось между тем на 3200 рублей.