Podobnie jak wcześniej „Pierwsza Świątynia”, tak również „Druga Świątynia” została w 168 r. przed Chr. sprofanowana i padła łupem grabieży. Dokonał tego Antioch IV Epifanes, przedstawiciel dynastii Seleucydów. Złupił on świecznik siedmioramienny, złoty ołtarz i wszystkie drogocenne sprzęty, a w dodatku zbezcześcił Świątynię umieszczając w niej „Ohydę Spustoszenia” – najprawdopodobniej posąg Zeusa Olimpijskiego (por. 1 Mch 1,54). Na niespełna cztery lata ustał więc kult świątynny. Ofiary zaczęto składać po oczyszczeniu Świątyni przez powstańców pod wodzą Judy Machabeusza (por. 1 Mch 4,36-59; 2 Mch 10,1).

Kolejnym ważnym wydarzeniem w dziejach Świątyni Jerozolimskiej było przejęcie władzy nad Świętym Miastem przez Rzymian dowodzonych przez Pompejusza (63 r. przed Chr.). W ich wyniku zakrojone na szeroką skalę prace budowlane w obrębie wzgórza świątynnego przedsięwziął Herod Wielki (37-4 r. przed Chr.), mianowany przez senat rzymski królem państwa żydowskiego. Rozpoczęły się one w 19 r. przed Chr. i trwały ok. 10 lat, przy czym samo wykończenie i upiększanie całego dzieła architektonicznego przedłużyło się do 64 r. po Chr.

Swym wyglądem i rozmachem miała nawiązywać nie do skromnej pod względem rozmiarów i ubogo urządzonej „Świątyni Zorobabela”, ale miała odtwarzać dokładnie – choć z jeszcze większym przepychem – „Świątynię Salomona”. Płaszczyznę, na której wznosiły się obiekty sakralne, podniesiono i zarazem powiększono niemal dwukrotnie, rozszerzając ją w trzech kierunkach. Dokonano tego poprzez zbudowanie ogromnych murów oporowych (fragment zachodniego muru stanowi znaną dziś „Ścianę płaczu” przy której modlą się Żydzi, opłakując dawną świetność i największą chlubę Izraela).

W ten sposób – oprócz znanego ze „Świątyni Salomona” dziedzińca wewnętrznego przeznaczonego dla kapłanów, mężczyzn i kobiet – powstał ogromnych rozmiarów dziedziniec zewnętrzny – „Dziedziniec Pogan”, otoczony pięknymi murami i portykami. Sama zaś „Świątynia Heroda” miała układ znany ze „Świątyni Salomona”.

Była ona ozdobiona białymi marmurami i złotem i – podobnie jak „Pierwsza Świątynia” – stanowiła prawdziwą chlubę i powód do dumy dla Izraelitów. Stąd też mówiono: „Kto nie widział budowli Heroda, nigdy nie widział czegoś pięknego!” (por. Mk 13,2). Tę właśnie Świątynię znał i w niej nauczał Jezus.

Niestety, w 70 r. po Chr. Rzymianie na czele z Tytusem zburzyli zarówno Jerozolimę jak i Świątynię. Tym samym spełniły się słowa Jezusa, że „nie zostanie z niej kamień na kamieniu” (por. Łk 19,43-44). W ten sposób „Świątynia Jahwe” zniknęła już na zawsze.