Zdaniem niektórych badaczy, hiszpańscy Żydzi, znani jako sefardyjczycy, dotarli na półwysep Iberyjski po zburzeniu Pierwszej Świątyni w VI wieku p.n.e. Zdaniem większości historyków przybycie ich miało jednak miejsce później - po zburzeniu Drugiej Świątyni w 70 roku n.e. Nie dysponujemy praktycznie żadnymi informacjami o życiu Sefardyjczyków przed nastaniem na półwyspie władzy Wizygotów, którzy, po przyjęciu chrztu przez władcę, zakazali praktykowania judaizmu w swoim królestwie. W roku 711 n.e. na półwysep wkroczyli muzułmanie i dość szybko opanowali większą jego część. Żydzi, zmuszeni dotąd do życia w ukryciu, z radością powitali nową władzę.
W 755 roku Abd-ar-Raman I ustanowił królestwo Omajadów ze stolicą w Kordobie. Podczas rządów Omajadów na tym terenie panowały dobre warunki ekonomiczne, co przyczyniło się także do poprawienia sytuacji Żydów. Tolerancyjna władza pozwalała im na zajmowanie stanowisk w medycynie, handlu, pracę w rzemiośle. Równolegle z arabską kwitła żydowska nauka i kultura - szczególnie udanym okresem w tym względzie były rządy Abd-ar-Rahmana III w X wieku. Wówczas to Kordoba stała się ośrodkiem kulturalnego życia tak Żydów, jak i Arabów, a obie strony wywierały na siebie ubogacający wpływ. Z czasem pozycja Kordoby podupadła, skończyły się rządy Omajadów, ale nie zmalała rola Sefardyjczyków w życiu muzułmańskiego państwa. Byli wśród nich finansiści, poeci, pisarze, wybitni naukowcy. Ich życie nie zawsze było jednak łatwe - w 1066 roku muzułmanie zaatakowali żydowską społeczność Grenady, pod rządami dynastii Almorawidów podjęto próbę nawracania Żydów siłą. W 1146 roku do władzy doszła fanatyczna berberyjska dynastia Almohadów. Ich sukces przyniósł kres rozwojowi żydowskiego życia w Andaluzji - zamknięto uczelnie i szkoły, zakazano praktykowania judaizmu, a Żydów zmuszano do konwersji na islam.
W XI wieku walkę o odzyskanie panowania nad półwyspem rozpoczęli władcy chrześcijańscy - w połowie XIII stulecia w rękach muzułmańskich pozostała już jedynie Granada położona w południowo-wschodniej części półwyspu. Żydowskie życie istniało także pod rządami chrześcijan. Także tutaj istniały żydowskie społeczności, których członkowie niejednokrotnie pełnili istotne funkcje. Często, po zdobyciu zajmowanego przez muzułmanów miasta, Żydom pozwalano w nim pozostać i cieszyć się religijną wolnością. Trwało to do zakończenia rekonkwisty w 1492 roku, kiedy to Żydom pozostawiono wybór - albo konwersja na chrześcijaństwo, albo wygnanie...
