Choć od przeszło pięciuset lat stoją w ruinie, Trzy Zamki wciąż przypominają burzliwe dzieje walijsko-angielskiego Pogranicza. Wrośnięte w łagodny krajobraz wschodniego Monmouthshire, opowiadają o podboju, nietrwałych fortunach, królach, baronach i czasach, gdy tylko grube mury kamiennych twierdz dawały namiastkę poczucia bezpieczeństwa.
Żyzne niziny południowo-wschodniej Walii od wieków stanowiły łakomy kąsek dla każdego, kto rządził Wielką Bytanią. Tu chętnie osiedlili się pierwsi mieszkańcy Wysp, wyparci z czasem przez Celtów, których z kolei spacyfikowali Rzymianie. I w tym kierunku ruszyła ekspansja Normanów, którzy po zwycięstwie pod Hastings w 1066 roku, zaczęli podporządkowywać sobie Brytanię. Problem w tym, że tę urodzajną krainę od Anglii oddziela trudna do przebycia naturalna granica. Z jednej strony, od północy, wyrastają Czarne Góry, w owych czasach porośnięte jeszcze gęstymi dębowymi lasami. Na południu zaś, w swojej głębokiej dolinie o klifowych ścianach, wije się rzeka Wye. Jedynie wąski przesmyk niewielkich wzgórz pomiędzy dzisiejszymi miasteczkami Monmouth i Abergavenny łączy "ogrody Gwent" z resztą świata. Kto go kontrolował - mógł panować nad Południową Walią.
Doskonale wiedział o tym William FitzOsbern (fitz Osbern), jeden z najbliższych stronników Wilhelma Zdobywcy i earl ówczesnego Herefordshire, któremu powierzono zadanie rozszerzenia nowego królestwa na zachód. Prawdopodobnie to właśnie on wpadł na pomysł, by w promieniu zaledwie kilku kilometrów zbudować trzy forty strzegące newralgicznego przesmyku. Tak zaczęła się historia The Three Castles - Trzech Zamków: Grosmont, Skenfrith i White - odtąd zawsze już wymienianych jednym tchem.
Na mniej więcej sto lat na Pograniczu zapanował spokój. Tyle czasu potrzebowali Walijczycy, żeby w końcu przestać rywalizować o władzę w swoich małych księstwach, pozbierać się do kupy i z dziką siłą ruszyć na okupantów. Zaczęli od spalenia zamku w Abergavenny i zabicia szeryfa Hereford wizytującego graniczne garnizony. Anglicy (czy raczej wciąż jeszcze Normanowie?), którzy na tych ziemiach stanowili zdecydowaną mniejszość, postanowili się "okopać". W 1201 roku, król Jan podarował Trzy Zamki swojemu zaufanemu człowiekowi, hrabiemu Hubertowi de Burgh, a ten przez prawie czterdzieści lat budował, przerabiał i dostosowywał je tak do obrony, jak i do mieszkania.