耶路撒冷這座城市在舊約聖經中被提及了669次。這裡通常將這座城市稱為“耶和華神所選擇的地方。”第一次提到這座城市應該是在撒冷王麥基洗德迎接亞伯拉罕並祝福他的時候，撒冷是平安的意思。後來，亞伯拉罕在摩利亞山上將以撒獻上，並將這個地方命名為“以勒”，意為“將會看見”，即這裡是神“看見和被看見”的地方。
根據猶太人的解釋，耶路撒冷是「以勒」和「撒冷」這兩個詞的結合。這個名字是“將看到和平”的意思。在希伯來文中，它是以雙數形式結尾，彷彿描述的是兩座城市。或許這也寓指著除了地上的耶路撒冷，還有那「天上的耶路撒冷」。顯然，耶路撒冷在聖經中有著重要的地位。
耶路撒冷與猶太人的關係如何？
在拉比文學中，耶路撒冷被極盡讚美：“耶路撒冷是世界的光，而這城的光又是誰呢？是那配得讚美的聖者。”“耶路撒冷是聯繫所有猶太人的城市。”「世界若有十分美，神把九分給了耶路撒冷。」猶太人每天三次的祈禱都會面向耶路撒冷，並念及一個有關於耶路撒冷的特別祝福：“願你在我們的時代重建耶路撒冷這座聖城。”在猶太婚禮上，新郎會在婚禮帳篷下打破一個玻璃杯，以此紀念耶路撒冷被毀和預祝耶路撒冷的復興，從而重複猶太人千年的誓言：「耶路撒冷阿，我若忘記你，情願我的右手忘記技巧。 我若不記念你，若不看耶路撒冷過於我所最喜樂的，情願我的舌頭貼於上膛。」由此顯示即使在歡喜之時仍有遺憾。
一年猶太有許多的禁食日，大多都和耶路撒冷有關， 例如有節慶哀悼耶路撒冷第一和第二聖殿的毀滅；有節慶紀念耶路撒冷城牆被攻破；也有節慶緬懷巴比倫圍攻耶路撒冷開始。猶太人認為最重要的贖罪日以禱告來結束，而這個禱告則是以「明年在耶路撒冷相見」這句話來結束。因此，在節慶、禱告、祝福、用餐和婚禮等等時刻，耶路撒冷不斷在猶太人中被提醒。甚至當猶太人去世時，許多人在埋葬的土中會放一些從以色列運來的泥土。許多猶太人的遺願是被埋葬在以色列，特別是耶路撒冷附近。世界上最著名的猶太墓地就在耶路撒冷的橄欖山墓地，許多著名的學者、拉比，偉人都埋葬在那裡。
耶路撒冷在猶太人的詩中也佔有重要地位。
耶胡達·哈列維寫出名詩，“我的心在東方，而我卻身處西方的盡頭（My heart is in the East and I am at the end of the West）”中世紀的拉比們寫下許多首有關於以色列和耶路撒冷的詩，如今都常在每週的安息日餐桌上唱起。在現代，納奧米·謝默的美麗歌曲《金色的耶路撒冷》聞名世界。當以色列作家薩繆爾·約瑟夫·阿格農獲得諾貝爾文學獎時，丹麥國王問他在諾貝爾獎頒獎典禮後將去哪裡。阿格農回答說：「我要去耶路撒冷。」他的朋友提醒他在頒獎典禮後需要立即開始全球講座之旅。阿格農回應說：“確實我有一個講座之旅，但無論猶太人去哪裡，他們總是朝著耶路撒冷前進。”其實不少猶太人在羅馬人摧毀聖殿後仍生活在耶路撒冷。在拜占庭迫害下，他們堅持留下；當十字軍來時，他們禁止猶太人進城，但薩拉丁從十字軍手中征服這城後，猶太人又再次返回。
猶太人總是一次又一次地失去又返回耶路撒冷。
中世紀西班牙著名的拉比納赫曼尼德在晚年定居以色列，並在耶路撒冷的一棟廢棄建築中建立了一個會堂。偉大哲學家詩人耶胡達·列維也向耶路撒冷義無反顧，而最終在耶路撒冷城門口被阿拉伯人的馬踩踏至死。15世紀和16世紀，西班牙的猶太難民抵達這裡。 18世紀和19世紀，維爾納的學生也來到耶路撒冷。 19世紀和20世紀，逃離俄羅斯和烏克蘭大屠殺的猶太人回歸耶路撒冷。 20世紀，猶太人摩西·蒙蒂菲奧爾爵士建立了舊城牆外的第一個社區。來自英國的蒙蒂菲奧爾爵士是當時世界上最富有的人之一，而他所建立的這沙阿納尼姆社區在最開始時卻無人居住，因為人們恐懼在城牆外的危險。他不得不白送房屋，甚至付錢請人住。而如今不到一個世紀後，每一間在這美麗社區的公寓都售價數百萬美元。
當現代以色列國建立時，更多的猶太人來到耶路撒冷。
1967年六日戰爭期間，約旦發動了對以色列進攻，而以色列國防軍則成功地將約旦軍隊趕出舊城，再次統一了耶路撒冷。如同在耶利米、以西結和以賽亞的日子裡，猶太人回到了古老的耶路撒冷和摩利亞山，曾經聖殿的所在地。耶路撒冷的學術研究蓬勃發展。耶路撒冷有數百個吸引來自世界各地學生的學府，還有研究所、博物館和出版社。以賽亞書中的預言似乎也將實現：“訓誨必出於錫安，耶和華的言語必出於耶路撒冷。”
自六日戰爭以來，猶太人在希伯來曆以亞爾月的第28天慶祝耶路撒冷日，因為就是在1967年的這一天整個耶路撒冷回到猶太人手中。在這一天人們揮舞著以色列國旗從各個老城的城門進入，直到會合於哭牆，在那曾經代表屈辱的孤牆下，歡呼雀躍。而城牆之上的聖殿山巨大平台繼續提醒猶太人，耶路撒冷仍未完整，千年的期待
