Zamek został rozbudowany i połączony z murami miejskimi za czasów biskupa Floriana z Mokrska, następni właściciele zamienili go w rezydencję renesansową. Zamek gościł Władysława Jagiełłę, Aleksandra Jagiellończyka, Zygmunta Starego, Zygmunta III Wazę i Władysława IV. W lochach zamkowych więzieni byli heretycy.
W 1788 zamek przejęli Austriacy, którzy urządzili tu mieszkania dla urzędników, a potem szpital wojskowy. Później na zamku organizowano zabawy publiczne, a pożar, który wybuchł po jednej z nich, na początku XIX w., całkowicie strawił zamek. Mieszkańcy Iłży stopniowo rozbierali ruiny, a kamień wykorzystywali do własnych budów.
Zamek składał się z właściwego zamku wysokiego i zamku niskiego (od strony północnej) oraz podzamcza. Zachowała się cylindryczna wieża, ślady po zamkowej studni oraz pozostałości fortyfikacji typu bastejowego.
W 1788 zamek przejęli Austriacy, którzy urządzili tu mieszkania dla urzędników, a potem szpital wojskowy. Później na zamku organizowano zabawy publiczne, a pożar, który wybuchł po jednej z nich, na początku XIX w., całkowicie strawił zamek. Mieszkańcy Iłży stopniowo rozbierali ruiny, a kamień wykorzystywali do własnych budów.
Zamek składał się z właściwego zamku wysokiego i zamku niskiego (od strony północnej) oraz podzamcza. Zachowała się cylindryczna wieża, ślady po zamkowej studni oraz pozostałości fortyfikacji typu bastejowego.
