Początki osadnictwa żydowskiego w Kazimierzu Dolnym (jid. Kuzmir) to prawdopodobnie wczesne średniowiecze - być może koniec XI wieku. Niektórzy badacze twierdzą, że w XIV wieku, za panowania króla Kazimierza Wielkiego istniała tu już zorganizowana gmina żydowska. Jednakże najstarsze wzmianki źródłowe o społeczności żydowskiej, zamieszkującej to miasto pochodzą dopiero z początków XV stulecia (z 1406 roku). Potwierdzenie istnienia gminy znajdujemy w późniejszym o wiek rejestrze osiedli żydowskich z 1507 roku. Faktem jest, że obok Lublina, Chełma i Szczebrzeszyna gmina kazimierska była jedną z najstarszych na Lubelszczyźnie. Do rozwoju osadnictwa żydowskiego w Kazimierzu przyczyniło się niewątpliwie korzystne położenie miasta na szlaku handlowym przy przeprawie przez Wisłę i rola, jaką Kazimierz odgrywał w handlu i spławianiu zboża do Gdańska. W połowie XVI wieku Żydzi stanowili około 16% ludności miasta. Podobnie jak w niektórych innych miastach kazimierscy Żydzi mogli "przystępować do prawa miejskiego", czyli uzyskiwać pełne prawa obywateli, jednakże wiązało się to z wysoką opłatą, na którą stać było jedynie nielicznych. Dzielnica żydowska w Kazimierzu (zwana Na Tyłach) zlokalizowana była na południowy wschód od Rynku Głównego i zabudowana była - w odróżnieniu od dzielnic chrześcijańskich - głównie drewnianymi budynkami. Prawdopodobnie w połowie XVI wieku powstała tam pierwsza drewniana bóżnica, która po kilkunastu latach, w 1567 roku, padła pastwą pożaru. Przed rokiem 1622 zastąpiła ją murowana synagoga, wzniesiona prawdopodobnie w tym samym miejscu, co późniejsza XVIII-wieczna, która funkcjonowała do czasów II wojny światowej. Pomiędzy społecznościami chrześcijańską i żydowską dochodziło dość często do konfliktów na tle ekonomicznym (handel zbożem, prawo propinacji), które starano się łagodzić poprzez zawierane ugody. W czasach wojen w II połowie XVII wieku miasto, a wraz z nim i społeczność żydowska, mocno ucierpiało. W 1656 roku Kazimierz został spalony przez wojska hetmana Stefana Czarnieckiego, a większość Żydów została wymordowana. Do odrodzenia się życia żydowskiego przyczynił się król Jan III Sobieski, który nadał tamtejszym Żydom szerokie uprawnienia. Odnośny dokument głosił iż "chcąc miasto do dawnej przywrócić perfekcyi zezwala niewiernym Żydom dać wolność i pozwolić szynki, handle i przekupieństwa wszelakie prowadzić, piwa i miody robić, browary swoje budować." Żydzi uzyskali wówczas także nieograniczone prawo nabywania nieruchomości i budowy domów, a król zabronił ich prześladowania. Podobne uprawnienia uzyskali w Kazimierzu także osiedlający się w mieście Grecy i Ormianie. Bogacąca się szybko społeczność żydowska zaczęła wypierać chrześcijan z kamienic w okolicach rynku. W końcu XVIII wieku ponad 90% najokazalszych domów należała do Żydów. Na początku XIX wieku, obok tradycyjnego nurtu religijnego pojawił się w Kazimierzu ruch chasydzki. Prawdopodobnie w 1827 roku osiadł tu cadyk Ezechiel ben Cwi-Hirsz Taub, którego potomkowie stali się założycielami dynastii chasydzkich w centralnej Polsce, a w roku 1925 jeden z nich - Szmuel Elijahu Taub - założył osadę rolniczą w Palestynie. W latach 80. XIX wieku w Kazimierzu osiedlił się też cadyk z Czarnobyla Mordechaj Twerski, który jednakże w 1905 roku przeniósł się wraz z wyznawcami do Warszawy. W tym czasie Żydzi stanowili już 89% populacji Kazimierza. Po I wojnie światowej ich liczba znacznie się zmniejszyła - stanowili wówczas około 40% mieszkańców. W okresie międzywojennym życie żydowskie w Kazimierzu rozwijało się bardzo dynamicznie. W mieście działały żydowskie partie polityczne i organizacje społeczne. Powstała żydowska biblioteka, kluby sportowe "Makabi" i "Sztern", kasa zapomogowa, prywatne szkoły. Z inicjatywy syjonistów powstała też szkoła hebrajska. W Kazimierzu i okolicach nakręcono też dwa popularne wśród Żydów filmy: "Dybuk" oraz "Jidł mitn fidł". Tuż przed wybuchem II wojny światowej w mieście mieszkało około 2500 Żydów, co stanowiło 64% populacji. Podczas okupacji niemieckiej Kazimierz Dolny znalazł się w dystrykcie lubelskim Generalnego Gubernatorstwa (General Gouvernement). Los społeczności żydowskiej był podobny, jak w wielu innych miejscach okupowanej Polski. Przymus pracy, nakaz noszenia opasek z gwiazdą Dawida, blokada kont, pozbawienie świadczeń socjalnych, a w 1940 roku - przesiedlenie do getta, utworzonego na terenie tradycyjnej dzielnicy żydowskiej, do którego przewieziono również Żydów z okolicznych miejscowości. Warunki życia w przeludnionym getcie były bardzo ciężkie, a ludność dziesiątkowały głód i choroby. W marcu 1942 roku Niemcy rozpoczęli ostateczną likwidację kizimierskiego getta. Mieszkańców przepędzono pieszo do stacji w Nałeczowie, skąd wywieziono ich koleją do obozu zagłady w Bełżcu. Żydowska dzielnica została rozebrana, a jej pozostałości - spalone. Dziś jedynym jej reliktem jest odrestaurowana synagoga oraz zrekonstruowany budynek jatek przy Małym Rynku.
Pierwszy cmentarz żydowski w Kazimierzu Dolnym powstał prawdopodobnie na przełomie XV i XVI wieku tuż za ówczesną dzielnicą żydowską u stóp wzgórza Sitarz. Rozkład grobów na nim był dość chaotyczny. Wiele macew zamożniejszych Żydów wyróżniało się bogatą ornamentyką - zwłaszcza grób cadyka Ezechiela Tauba. Nie zachowały się jednak żadne przekazy ikonograficzne. Cmentarz został zdewastowany przez Niemców już na początku okupacji. Okupanci wykorzystali macewy do utwardzenia terenu przy siedzibie magistratu i brukowania ścieżek wiodących do szaletów. Na terenie cmentarza Niemcy zbudowali baraki i kasyno wojskowe. Obecnie mieści się tam szkolne boisko.
Ponieważ w końcu XVIII wieku opisany wyżej cmentarz znalazł się w obrębie zwartej zabudowy miejskiej, gmina żydowska stanęła przed koniecznością zorganizowania nowego miejsca pochówku. W roku 1851 powstała nowa nekropolia, zlokalizowana na zboczach wąwozu na Czerniawach. Również i ten cmentarz został niemal doszczętnie zniszczony przez Niemców. Na jego terenie okupanci dokonywali egzekucji zarówno Żydów, jak i Polaków.
W latach 80. XX wieku z ocalałych macew utworzono lapidarium, zaprojektowane przez inż. Tadeusza Augustynka. Płyty nagrobne starano się zgrupować zgodnie z żydowskim podziałem na kwatery męskie i kobiece, a większość macew umieszczono na pękającej w środku "ścianie płaczu", która ma symbolizować tragiczny los polskich Żydów. Część macew ustawiono w lesie, po drugiej stronie pomnika.
