Совсем другим был удел бедноты. В стороне от главных магистралей улицы города были узкими и темными, а от деревянных домов работников и нищих постоянно исходила угроза пожара. Ремесленники, задавленные западной конкуренцией, иногда использовали свои гильдии для защиты себя от властей. Обедневшая масса нищих вела скудное существование, будучи постоянно неуверенной в завтрашнем дне и испытывая недовольство. Здесь были распространены пьянство, проституция и преступность. Ко второй половине века ситуация усугубилась настолько, что стихийно появились демагоги, каждый из которых, как говорили, был истинным королем среди жителей своего района. Ненависть к латинянам объединяла и направляла население. Как только исчезла сдерживающая рука Мануила, толпа стала движущей силой в политике.
За пределами городов жизнью управляли крупные землевладельцы. Начиная с IX в. во всех уголках Византийской империи появились семьи, имевшие обширные земельные владения. Между 1071 и 1097 гг. землевладельцы в Анатолии, ранее самые богатые и известные люди, были сметены потоком турков-сельджуков. Комнины отвоевали эти земли, и эти люди отчасти вернули себе свое положение. Когда приблизительно в 1196 г. некий магнат из города Антиохия на реке Меандр праздновал свадьбу своей дочери, празднества были столь расточительными и шумными, что отпугнули турецкое войско, собиравшееся захватить этот город врасплох ночью. В балканских провинциях богатые семьи занимали хорошо упрочившееся положение, несмотря на неспокойные времена первых лет правления Алексея I. Поместья таких кланов, как Врана, располагались вокруг Адрианополя и были огромными. Отдельные семьи держались вместе, помогая своим главам семейств, и действовали только после совместного совещания. Брачные союзы и семейные договоры лежали в основе большинства политических распрей в Византии. Так как Комнины сами были выходцами из землевладельцев, они ценили значимость своего класса. Алексей I ввел новые почетные титулы для тех, кто породнился с императорской семьей, – такая практика активно поощрялась. Военная карьера давно уже была традиционной для представителей землевладельческих кланов; при Комнинах эта традиция продолжилась. В конце века историк Никита Хониат называет представителей знати those of blood (дословно: люди крови). Эта концепция «знатности по рождению» ознаменовала завершившееся изменение.