Но эти успехи первых Комнинов не могли быть прочными в Византии, которая уже стояла перед катастрофой. В последние десятилетия XII в. при преемниках Мануила I внешняя ситуация резко обострилась, Византия была вынуждена перейти к обороне. В это же время Византийское государство было ввергнуто в пучину смут и междоусобиц. Начались выступления народных масс городов, недовольных экономическим засильем иностранцев. На волне этих движений к власти в 1183 г. пришёл двоюродный брат императора Мануила I – Андроник I Комнин (1183-1185), одна из наиболее колоритных фигур на византийском престоле. Его попытки с помощью реформ стабилизировать положение не имели успеха. Военные поражения и растущее недовольство самовластным правлением василевса привели к свержению в 1185 г. Андроника I Комнина с престола. Он был схвачен разъярённым константинопольским плебсом и предан мучительной казни. В 1185 г. к власти пришла династия Ангелов.
При дворе Мануила I Комнина было популярно пророчество, согласно которому из первых букв имён императоров династии Комнинов составится греческое слово αιμα, то есть «кровь». Предшественниками Мануила на ромейском престоле были Алексей и Иоанн Комнины. Историки полагают, что именно ради исполнения пророчества Мануил дал своему сыну имя Алексей (а не Иоанн, как можно было ожидать в соответствии с принципами средневековой ономастики). То же самое имя он выбрал для своего зятя Белы, который одно время рассматривался им в качестве вероятного наследника.
После смерти Мануила, престол перешёл его малолетнему сыну Алексею II. Но спустя год, его сверг и убил двоюродный брат покойного – Андроник I Комнин. Тем самым, пророчество AIMA стартовало заново. Новый правитель опасался свержения со стороны человека, чьё имя начиналось на букву I. Андроник I Комнин считал им своего родственника Исаака Комнина, захватившего Кипр. Однако угроза пришла к узурпатору со стороны другого Исаака Ангела. Он свергнул Комнина с престола империи, и после этого пророчество утратило смысл и силу.
Потомки Андроника I Комнина правили Трапезундской империей до её уничтожения турками в 1461 году. Долгое время они рассматривали византийских императоров как узурпаторов того, что по праву принадлежало их предкам. Трапезундские Комнины вступали в брачные союзы с крупными грузинскими феодалами – Багратионами, Джакели, Гуриели. От Алексея IV Великого Комнина и Иоанна IV по женской линии происходили Сефевиды и Великие Моголы. Софийский собор в Трапезунде стал усыпальницей Великих Комнинов.