Biblia hebrajska wskazuje, iż do wybudowania Pierwszej Świątyni przez króla Salomona Arka Przymierza była przewożona na specjalnym wozie z zasłonami podczas wszystkich kampanii wojskowych prowadzonych przez Izraelitów. Była ona centrum kultu w czasie wędrówki Izraelitów do ziemi Kanaan. Wierzono, że armia posiadająca arkę jest niezwyciężona. W czasie oblężenia Jerycha obnoszono ją wokół murów miasta. Później przechowywano ją w miejscu najświętszym Przybytku w Szilo. Przez pewien czas Arka była w posiadaniu Filistynów, którzy jednak zwrócili ją, uznając, iż jest ona przyczyną ich klęsk (1 Sm 4 – 6). Król Dawid miał przenieść Arkę na wzgórze Syjon w Jerozolimie. Jego syn – Salomon po wybudowaniu świątyni przeniósł ją do specjalnego pomieszczenia zwanego Święte Świętych. Do miejsca tego wstęp miał jedynie arcykapłan raz w roku, z okazji święta Jom Kipur.

Arka Przymierza była ruchomym sanktuarium, które towarzyszyło Izraelowi od wyruszenia spod góry Synaj, aż do zbudowania świątyni, w której arka została umieszczona. Arka Przymierza była zatem była obecna podczas przeprawy przez Jordan, przy zdobyciu Jerycha, a także w czasie wojny z Filistynami. Umieszczając Arkę w Jerozolimie, Dawid podniósł to miasto do rangi centralnego sanktuarium zjednoczonego Izraela (2 Sm 6,1-19). Umieszczenie przez Salomona Arki w Miejscu Najświętszym świątyni jerozolimskiej, to ostatnie wydarzenie, o jakim wspominają źródła biblijne. Nie wiadomo, co działo się później z Arką Przymierza. Według niektórych, według późniejszych tradycji prorok Jeremiasz miał ukryć Arkę w grocie na górze Nebo. Miał on zasypać wejście do groty, by uniemożliwić odnalezienie Arki: „Z Bożego polecenia prorok kazał nieść za sobą namiot i arkę, gdy wyszedł. Kiedy zaś wszedł na górę, na którą Mojżesz wstąpił i z której przyglądał się dziedzictwu Bożemu, przyszedłszy tam znalazł Jeremiasz pomieszczenie w postaci pieczary. Umieścił tam namiot, arkę i ołtarz kadzenia, a wejście zarzucił kamieniami. Kilku z tych, którzy mu towarzyszyli, wróciło, aby zaznaczyć drogę, ale już nie mogli jej odnaleźć. Kiedy zaś Jeremiasz dowiedział się o tym, czyniąc im wymówki powiedział: „Miejsce to pozostanie nieznane, aż Bóg na powrót zgromadzi swój lud i okaże mu miłosierdzie. Wtedy to Pan ponownie pokaże to wszystko i będzie można widzieć chwałę Pańską i obłok, podobnie jak za Mojżesza można ją było widzieć i jak wtedy, gdy Salomon modlił się, aby miejsce zostało w uroczysty sposób poświęcone”” (2 Mch 2,4-8). Bardziej prawdopodobnym jest uznanie, iż Arka uległa zniszczeniu wraz ze świątynią w 586 roku przed Chrystusem. Przeciwnicy tej teorii wskazują, iż istnieją opisy zburzenia Jerozolimy, które podają szczegółowe listy przedmiotów zrabowanych ze świątyni przez Babilończyków, i nie ma w nich żadnej wzmianki o Arce. Istnieje również opinie, iż Arka została zabrana przez faraona Szoszenka czy też usunięta ze świątyni podczas reformy króla Ezechiasza.