Nad miastem Senj góruje imponująca czworokątna twierdza Nehaj, wzniesiona w XVI w. przez uskoków – uciekinierów z terenów podbitych przez Turków, głównie z Serbii, a później – znanych adriatyckich piratów, którzy uczynili Senj bazą dla swych wypraw morskich. Położenie i konstrukcja twierdzy pozwalały na ostrzeliwanie z dział całej okolicy, a grubość murów, dochodząca do 3,5 m, zapewniała bezpieczeństwo obrońcom. Z twierdzy rozpościera się piękny widok, m.in. na wyspy Krk i Rab oraz góry Velebit. Na wschód od miasta znajduje się przełęcz Vratnik (698 m n.p.m.), najniższa między wybrzeżem a resztą kraju. Wieje przez nią, szczególnie zimą, porywisty i zimny wiatr bora, co sprawia, że Senj jest najchłodniejszym miastem nad Adriatykiem.
W twierdzy znajduje się też muzeum i restauracja ( w maju była jeszcze nieczynna )
