Chociaż de Burgh miał kilkanaście zamków, a jego posiadłości rozrzucone były po dwudziestu siedmiu hrabstwach królestwa, wyraźnie faworyzował Trzy Zamki. Szczególnym zaś uczuciem darzył Grosmont. Na miejscu drewniano-ziemnego fortu pamiętającego czasy podboju, wybudował kamienne apatamenty z wydzieloną, luksusową jak na owe czasy, częścią mieszkalną, po czym... starcił zamek. I to w wyjątkowo nieprzyjemnych okolicznościach! Pod koniec 1203 roku, hrabia Hubert, dzielny rycerz, ruszył na wojnę do Francji bić się za swojego króla. Dowodził zamkiem Château de Chinon, podczas trwającego rok oblężenia. Pech chciał, że trafił do niewoli. Na całe dwa lata. W tym czasie, król Jan... oddał The Three Castles Williamowi de Barose, znanemu z niepohamowanej chciwości lordowi Abergavenny. Pikanterii sprawie dodawał fakt, że obaj szlachcice, mówiąc delikatnie, nie przepadali za sobą.
Fortuna kołem się jednak toczy. Po powrocie z niewoli, de Burgh nie tylko szybko odzyskał wpływy i pozycję, ale awansował na stanowisko justicar'a - pozycję, której dziś odpowiadałby premier rządu. Dodatkowo, w 1216 roku, zwcięską obroną zamku Dover przed Francuzami prawdopodobnie uratował Anglię przed podporządkowanem sąsiadowi z kontynentu. Nie mogło stać się inaczej i wkrótce Trzy Zamki wróciły do hrabiego.
Z lat wojaczki, oprócz blizn i glorii zwycięzcy, de Bugh przywiózł też sporo wiedzy i doświadczeń, które teraz chciał wykorzystać w swoich zamkach. W Grosmont, drewnianą palisadę otaczającą dziedziniec zastąpił wysokim murem z blankami i trzema potężnymi wieżami na każdym rogu. Do zwodzonego mostu strzegącego wejścia, dobudował zaś dwupiętrową bramę. Ciekawostka: wszystkie trzy wieże miały głębokie piwnice, służące zapewne za magazyny, na wypadek długiego obleżenia. Najwyraźniej obrona Château de Chinon na długo zapadła hrabiemu w pamięci.
Ale nie głodem wzięto zamek. Ambicje Huberta de Burgh musiały przysparzać mu wielu wrogów, bo powoli tracił wpływy na dworze, aż w końcu, w 1239 roku, na dobre stracił wszystkie Trzy Zamki. Niemniej, można uznać, że praktycznie wszystko co przetrwało w Grosmont do dzisiejszych czasów, to efekt modernizacji de Burgh'a.
Kilka późniejszych, kosmetycznych zmian, głównie upiększających i ułatwiających codzienne życie w zamku, to zasługa kolejnych właścicieli Grosmont - rodziny Lancaster. W 1254 roku król Henryk III, oddał Trzy Zamki, wraz ze wszystkimi walijskimi posiadłościami, swojemu najstarszemu synowi Edwardowi. Temu, który ostatecznie podporządkował Walię Londynowi, otaczając ją pierścieniem kamiennych twierdz, a który do historii przeszedł jako "młot na Szkotów" (niezbyt przychylnie sportretował go Mel Gibson w swojej superprodukcji Braveheart). Edward nie cieszył się nimi jednak zbyt długo. Nabrał trochę doświadczenia, po czym wybrał się na wyprawę krzyżową do Ziemi Świętej i wrócił z niej już jako król Anglii. The Three Castles przypadły jego młodszemu bratu Edmundowi, hrabiemu Lancaster.
Lancasterowie urzędowali w Grosmont przez kolejne sto lat. Do istniejących apartamentów, w miejsce jednej z wież, dobudowali kolejne, po których do dziś pozostały tylko fundamenty i... imponujący, ozdobny komin. Wzmocnili i unowocześnili też lekko obronę zamku, ale nie były to zmiany znaczące. Na Pograniczu zapanował spokój, więc nie było szczególnej potrzeby, by szykować się na wojnę. Grosmont stał się bardziej lordowską rezydencją niż fortecą. W dodatku rezydencją prowincjonalną, oddaloną od świata wielkiej polityki. Z czasem, coraz rzadziej odwiedzany, zamek zaczął popadać w zapomnienie.
Po raz ostatni na kartach historii Grosmont pojawia się na początku piętnastego wieku. W 1404 roku bezskutecznie oblegali go powstańcy Owaina Glyndŵr walczący o uwolnienie Walii spod angielskiego panowania. Rok później zamek próbował zdobyć syn Owaina, Gruffyd, ale i jemu się nie powiodło. Swoją drogą, skoro walijskim insurgentom udało się zdobyć potężne edwardiańskie fortece w Harlech i Aberystwyth, a spod Grosmont odjeżdżali ze spuszczonymi głowami, duch Huberta de Burgh musiał w zaświatach pękać z dumy.
Pękać, niestety, zaczęły też zamkowe mury. Po incydencie z Walijczykami, Grosmont Castle opustoszał na zawsze. Powoli stawał się romantyczną ruiną, miejscem schadzek i składem materiałów budowlanych dla mieszkańców miasteczka, które przez stulecia rozwijało w jego bezpiecznym cieniu. Miejscowe legendy mówią nawet, że w średniowieczu, w całej Południowej Walii, z Grosmont równać mogły się jedynie Abergavenny i Carmarthen. Gdy jednak walijscy powstańcy nie mogli zdobyć zamku - spalili miasto. Według księcia Henryka - późniejszego króla Henryka V - który na czele angielskiego wojska ruszył z Hereford na odsiecz Grosmont, spłonąć mogło nawet sto domów. To prawdopodobnie więcej niż stoi ich dziś w uroczej i cichej wsi, jaką się stało.
Wsi z jednym jedynym sklepem, w którym obok węgla w workach i proszku do prania, można kupić swojską kaszankę, ciastka pieczone przez sąsiadkę i cały zastaw książek o Trzech Zamkach. Da się też stąd wysłać pocztówki z pozdrowieniami (koniecznie z zamkiem, albo okolicznymi krajobrazami!), bo w sklepie wydzielono miniaturową pocztę z zupełnie osobnym okienkiem. Dwa kroki dalej, pub The Angel Inn, zaprasza na przekąski i lokalne napitki. W dawnym, zbudowanym w 1832 roku ratuszu (chociaż to trochę duże słowo), tuż obok pubu, urządzono niewielki, otwarty punkt informacji turystycznej, gdzie można zapoznać się z trasami okolicznych szlaków i najciekawszymi atrakcjami Pogranicza. A gdy wszystkie ziemskie sprawy zostaną już załatwione, warto zajrzeć na chwilę do kościoła Świętego Mikołaja z Miry.
Saint Nicholas Church to jeszcze jedna, obok zamku, pamiątka po dawnej świetności Grosmont. Duży, zdecydowanie zbyt duży, jak na wiejską parafię kościół wybudowano za czasów hrabiego de Burgha dla potrzeb zamkowego garnizonu. Ośmioboczna wieża i kilka mniejszych dodatków, to zasługa Edmunda Crouchbacka - hrabiego Lancaster, który w drugiej połowie trzynastego wieku przebudował kościół specjalnie dla swojej matki, pobożnej królowej Eleonory Prowansalskiej.
W środku uwagę zwraca przede wszystkim ogromna nawa ze stropem wspartym na dwóch rzędach arkadowych łuków. Oddzielona od reszty kościoła - wykorzystywanej do ceremonii religijnych - odznaczająca się podobno fantastyczną akustyką, służy dziś mieszkańcom Grosmont jako miejsce spotkań. Tu organizuje się wiejskie festyny dożynkowe (tak, tak, to nie tylko polska domena!), imprezy charytatywne i wszelkie zebrania lokalnej społeczności.
Grosmont to też doskonałe miejsce dla tych, którzy uprawiają, coraz ostatnio popularniejszy, setjetting, czyli podróże szlakiem planów filmowych. W 2006 roku, ekipa Garetha Lewisa nakręciła tu bardzo przyzwoitą komedię kryminalną The Baker. W roli tytułowego piekarza (uwaga! pozory mylą!) wystąpił brat reżysera - Damian Lewis, znany przede wszystkim z roli majora Wintersa w serialu Kompania Braci. Klimat filmu tworzą jednak głównie aktorzy drugo- i trzecioplanowi, jak choćby Dyfan Dwyfor, Gwenno Dafydd czy Rhodri Meilir. Dziwacznie brzmiące nazwiska gwarantują powiew świeżości, genialny (!!!) południowowalijski akcent i masę zabawy.
