При завоевании Иерусалима Иродом несколько колонн Храма были сожжены и дворы Храма залиты кровью защищавших его жителей. Тем не менее дальнейшее осквернение храма было Иродом остановлено.
Обветшавший Иерусалимский храм никак не мог гармонировать с новыми великолепными зданиями, которыми Ирод украсил свою столицу. Примерно в середине своего царствования (19 г. до н. э.) Ирод принял решение о переустройстве Храмовой горы и о перестройке самого храма, надеясь этим актом приобрести расположение не любившего его народа.
Поскольку объем работ был очень велик, они продолжались в течение 9,5 года. Работа по отделке и доработке отдельных частей здания храма и строительство в системе дворов на Храмовой горе продолжались еще долгое время после Ирода. Оно было окончательно завершено лишь при Агриппе II, в период правления наместника Альбина (62–64 гг. н. э.). То есть всего за 6 лет до разрушения храма римлянами в 70 г.
Великое иудейское восстание против римлян, вошедшее в историю как Первая Иудейская война (66–73 гг.), ознаменовалось прекращением регулярных жертвоприношений за благополучие римского императора. При подавлении этого восстания римская армия, во главе с Титом, осадила Иерусалим. С самого начала осады военные действия сконцентрировались вокруг храма. Осада и бои за город длились пять месяцев. Согласно свидетельству историка Иосифа Флавия, Тит намеревался пощадить Храм, но его подожгли римские солдаты. В то же время другой источник сообщает, что Тит требовал разрушить храм. Как бы там ни было, Храм запылал. Защищавшие его повстанцы сражались до конца, и, когда пламя охватило здание, многие из них остались там навечно. Храм горел в течение 10 дней, а к сентябрю весь Иерусалим превратился в руины. Храмовая гора была распахана. Римлянами были пленены почти 100 тыс. жителей. Общее же количество погибших в сражении, от голода и плененных за время войны, по свидетельству Иосифа Флавия, оказалось около 1 млн 100 тыс.
Часть уцелевшей храмовой утвари захватили римляне – эти трофеи, среди которых знаменитая Менора, изображены на рельефах триумфальной арки Тита на римском Форуме.
Разрушение Иерусалима и сожжение храма положило начало рассеянию евреев по всему миру. Город длительное время находился в руинах и запустении.
В 130 г. император Адриан повелел построить на развалинах Иерусалима римскую колонию, которой было дано название Элия Капитолина. Город строили по образцу римского военного лагеря: квадрат, внутри которого пересекающиеся под прямым углом улицы. На месте храма Адриан приказал воздвигнуть святилище, посвященное Юпитеру, а на том самом месте, где некогда находилась Святая Святых, была воздвигнута конная статуя Адриана. По свидетельству греческого историка Диона Кассия