Pierwszy murowany kasztel stanąw w Nieborowie w XV wieku, Był on własnością Jana z Nieborowa. Później kasztel przeszedł w ręce Michała Radziejowskiego Prymasa, nastepnym właścicielem był Michał Ogiński - jemu pałac zawdzięcza klatkę schodowa wyłozoną ręcznie zdobionymi kaflami wykonanymi ok. 1700 roku w Holandii.
Pałac rozkwitł za czasów Michała i heleny Radziwiłłów. Był to ośrodek życia kulturalnego , gdzie bywali pisarze, malarze. Zachowała się znaczna część bezcennego księgozbioru , galeria portretów władców XVIII wiecznej Europy, dwa weneckie globusy obrazujące Ziemię i niebo.
Park przylegający do pałacu w stylu francuskim zawiera labirynty, posągi.
Są to przyjemne miejsca dla połażenia z dziećmi.
W drodze powrotnej wstąpili wszyscy do Kiernozi, tam w 1786 roku urodziła się Maria Łączyńska , kóra po poslubieniu królewskiego szambelana Anastazego walewskiego stała się Marią Walewską, znaną dzięki romansowi z Napoleonem Bonaparte.