Поначалу гаремы существовали отдельно от дворцов правителей. После взятия турками Константинополя в 1453 г., султан Мехмед II переустроил его на собственный вкус. Одна из главных достопримечательностей современного Стамбула – гигантский дворец (сераль) Топкапы был возведен в 1470-х годах. Со временем сюда перекочевал и султанский гарем, расцветший при Сулеймане Великолепном. Возможно, это произошло не без влияния знаменитой Роксоланы, речь о которой пойдет позже. Во всяком случае, это переселение принесло обитательницам гарема новый статус и большие возможности влиять на султана и дела в государстве.
Лучшая часть дворца отводилась для гарема. В остальных частях принимали гостей, устраивались дипломатические приемы, парады и прочие церемонии.
Современник оставил нам соответствующие разъяснения: «Сераль – значит дворец: это имя дается резиденции государя, а также и резиденциям губернаторов, управляющих провинциями от имени султана. Под словом сераль разумеется совокупность дворцовых построек, обитаемых как женщинами, так и мужчинами. Наиболее распространенная часть этих построек предоставляется женщинам и называется гаремом. В другой части сераля помещаются мужчины и совершаются парадные приемы; отсюда происходит слово селамбик, что значит место церемоний. Впрочем, слово селамбик во дворце заменено более громким, хотя и выражающим то же понятие, именем императорского мобейна.
Сераль, в котором обыкновенно живет султан, представляет громадное мраморное здание, раза в четыре превосходящее размерами петербургский Зимний дворец. Три четверти всей этой массы построек составляют гарем, тогда как мобейн, относительно говоря, является только пристройкой к прочему зданию.
Между мобейном и гаремом находится громадная зала, с особыми лестницами, подъездами и своей почетной дверью, назначенная для официальных приемов иностранных монархов, посланников, министров и пр.
Независимо от этого главного корпуса существует еще множество пристроек к сералю, обширных зданий, служащих конюшнями, кухнями, складами, казармами и пр. Все эти здания составляют как бы маленький город, тянущийся вдоль Босфора на протяжении приблизительно двух километров».