Спустя 250 лет (в 332 году до н. э.) Иерусалим завоевал Александр Македонский. После этого город захватил царь Египта Птолемей, а затем и царь селевкидской Сирии. Шло время, а бедствия еврейского народа продолжались. Город разрушался новыми захватчиками. Так, император Антиох IV Эпифан (II век до н. э.) нанес огромный ущерб святилищу еврейской религии, осквернив Храм. Собрав последние силы, иудеи восстали. Они выгнали из города Селевкидов, восстановив независимость еврейского народа, и освятили Храм (164 год до н. э). Сто лет правила династия Хасмонееев (Маккавеев) в Израиле, но в 63 году до н. э. к столице подошли войска Помпея. Они подавили сопротивление местных жителей и превратили город в центр римского протектората. Только царь Ирод I, правивший в 37–34 годах до н. э., заключив союз с римскими правителями, смог поднять город из руин, укрепить его и восстановить некоторое великолепие архитектуры. При нем начали работать общественные и учебные заведения.
Власть Римской империи была невыносима для еврейского народа. Во время первой Иудейской войны была восстановлена независимость города, но, к сожалению, ненадолго. Спустя всего несколько лет евреям пришлось испытать новые удары судьбы. Тит, римский предводитель, снова завоевал Иерусалим. Вторая Иудейская война, длившаяся три года, принесла независимость еврейскому народу опять лишь на некоторое время. Подавив восстание, римляне выгнали жителей города, переименовали его в Элиа Капитолину и придали ему свой образ.
Полтора столетия продолжалось жалкое существование Иерусалима. Город потерял свое былое величие и красоту. В таком провинциальном виде городок жил до прихода византийского императора Константина, который вернул роскошь Иерусалиму, построив новые храмы, церкви и здания, образовав здесь христианский центр. Во время его правления был воздвигнут знаменитый храм Гроба Господня.
После четырех лет царствования императора Константина Палестину завоевали арабы. Халиф Омар захватил Иерусалим. Во время правления его сына Абд Ал-Малика была воздвигнута на Храмовой горе мечеть Омара. Дальше правила династия Омейядов, избравшая своей столицей Дамаск. За ней пришла к власти династия Аббасидов с резиденцией в Багдаде.
В 1099 году в город вторглись крестоносцы. Уничтожив всех местных мусульман и евреев, они сделали из Иерусалима столицу своего королевства. В период их правления снова началось строительство церквей и христианских храмов на месте синагог и мусульманских мечетей. На смену власти крестоносцев пришла власть Саладина, который завоевал город спустя 90 лет. Мамлюки, пришедшие из Египта, правили городом с 1250 года. С их помощью Иерусалим стал мусульманской религиозной столицей и украсился новыми зданиями.