Dwa kilometry od Olkusza znajdują się ruiny zamku w Rabsztynie. Jego mury zajmują skaliste, wapienne wzgórze. Początki zamku nie sa dokladnie znane. Pierwsze wzmianki pochodzą z 1396 roku. Dzięki nim wiemy, że zamek był wowczas w zastawie wojewody krakowskiego Sytka z Melesztyna.
Później warowia trafiła w posiadanie Andrzeja tęczyńskiego herbu Topór. Wkrótce przyjął on nazwisko Rabsztyński i był pierwszysm starostą tych ziem. Następnie zamek był własnością Bonerów, Zygmunta Myszkowskiego, Mikołaja Wolskieo i Korycińskich.
W 1657 roku zamek został ograbiony i spalony przez Szwedów. Późniejsi starostowie rabsztyńscy zamieszkiwali go już tylko częściowo. Ostatnim z nich był Kazimierz Mieczkowski. Urząd swój sprawował do 1792 roku.
Od 2003 roku przy Stowarzyszeniu Zamek Rabsztyński działa Bractwo Rycerskie "Kruk". Jego członkowie kultywują dawne tradycje rycerskie. Co roku w lipcu bractwo współorganizuje festyn oraz turnieje rycerskie.