ŻIH jest rzadkim w Warszawie przykładem instytucji, która może się pochwalić swoim genius loci, "duchem miejsca", ponieważ ma szczęście mieścić się w gmachu o własnych tradycjach historycznych.
Przed wojną był on siedzibą Głównej Biblioteki Judaistycznej oraz Instytutu Nauk Judaistycznych. Bibliotekę zbudowano w sąsiedztwie Wielkiej Synagogi, będącej dziełem Leandra Marconiego z lat 1876-1878. Autorem projektu Biblioteki, wzniesionej w latach 1928-1936, był Edward Zachariasz Eber.

W czasie wojny nasz budynek był jednym z centrów kulturalnego i społecznego życia warszawskiego getta. Zbiory Biblioteki liczyły około 30 tys. tomów. Zostały wywiezione w grudniu 1939 r., większość zaginęła zapewne bezpowrotnie. W budynku zaczęła urzędować Żydowska Samopomoc Społeczna, jedyna żydowska organizacja, na której działalność wyraziły zgodę niemieckie władze okupacyjne.

Od 16 listopada 1940 do marca 1942 r. budynek Biblioteki znajdował się w obrębie getta. Odbywały się tu koncerty oraz inne imprezy kulturalne. Miały tu miejsce również zakonspirowane spotkania grupy Oneg Szabat (hebr.: Radość Soboty), która pod kierownictwem Emanuela Ringelbluma gromadziła wszechstronną dokumentację życia i zagłady Żydów w Polsce w okresie II wojny światowej.

W kwietniu 1942 r. ulokowano tu około 2000 Żydów przesiedlonych z Niemiec. Podzielili oni los Żydów Warszawy, wymordowanych przez Niemców kilka miesięcy później w ośrodku zagłady w Treblince. Po wyłączeniu z getta ulicy Tłomackie do Biblioteki i Synagogi oraz na placyk przed nimi zwożono meble zrabowane z wyludnionych mieszkań. 16 maja 1943, na znak zduszenia oporu w getcie warszawskim, Niemcy wysadzili w powietrze Wielką Synagogę i podpalili gmach Biblioteki. Ślady pożaru zachowały się na posadzce głównego hallu.

Wypalony budynek nowe władze Warszawy przydzieliły Centralnemu Komitetowi Żydów w Polsce, który po gruntownej odbudowie, sfinansowanej przez Joint (amerykańską żydowską organizację dobroczynną), ulokował tu swoją Centralną Żydowską Komisję Historyczną. Ta zajęła się ratowaniem pamięci o Żydach polskich, w tym zbieraniem w gmachu ocalałych resztek ich spuścizny kulturalnej. W 1947 r. Komisja przekształciła się w Żydowski Instytut Historyczny, który mieści się tu do dzisiaj. Najcenniejszym spośród zbiorów Instytutu jest Archiwum Ringelbluma, odnalezione w gruzach warszawskiego getta w 1946 i 1950 r.

Gmach dawnej Biblioteki jest znakiem wielowymiarowego życia duchowego i umysłowego Żydów przed wojną, duchowego oporu w czasie wojny, świadkiem śmierci społeczności i świadkiem prób jej odrodzenia po 1945 r. Teraz służy zachowaniu, odtwarzaniu i upowszechnianiu dziedzictwa Żydów polskich i pamięci o nich.