Na rzece Patapsco, tuż przed wejściem do portu w Baltimore znajduje się niewielka, płaska wysepka. Na pierwszy rzut oka wygląda jak niedokończone fundamenty większej budowli. W praktyce jest to nie ukończony w pełni Fort Carroll z połowy XIX wieku.
W połowie XIX wieku, nie licząc Meksyku, jedynym zagrożeniem militarnym dla Stanów Zjednoczonych był desant z morza. Długa linia brzegowa połączona z stosunkowo słabą i małą flotą sprawiały, że jedyną obroną przed ewentualnym atakiem były liczne forty budowane na wybrzeżu, zwłaszcza w okolicach dużych miast portowych. Jednym z ważniejszych portów na wschodnim wybrzeżu USA było wówczas Baltimore. Chociaż do portu można było dopłynąć jedynie rzeką Patapsco, wzdłuż której znajdowały się już różne stanowiska obronne, władze miasta koniecznie chciały wzmocnić obronę budując fort tuż przed wejściem do portu, na środku rzeki.
W 1847 roku władze stanu Maryland wydały zgodę na budowę sztucznej wyspy i fortu, który miał bronić miasta. Jego projekt przygotował Robert E. Lee (późniejszy dowódca armii konfederackiej podczas wojny secesyjnej). Zaprojektował on heksagonalną twierdzę z ścianami o wysokości 9 m (3 piętra) i dysponującą aż 225 działami. Według założeń fort miał być bardzo potężnie uzbrojony, a dzięki swojemu położeniu, miał całkowicie blokować dostęp do portu od morza.
Budowę twierdzy rozpoczęto w 1848 roku, 8 października 1850 roku nadano mu nazwę Fort Carroll, a w 1853 roku zbudowano latarnię morską. Niestety prace przeciągały się, a gdy w 1861 roku wybuchła wojna secesyjna, przerwano je. Mimo to wojska Unii obsadziły twierdzę, umieszczając na stanowiskach około 30 armat. Ze względu na niedokończoną konstrukcję fortu, w 1864 roku jego magazyny zostały zalane, przez co częściowo nie nadawał się do eksploatacji.
Po wojnie nie wznowiono prac budowlanych, a twierdza została częściowo opuszczona. Dopiero w trakcie wojny amerykańsko-hiszpańskiej Fort Carroll został ponownie obsadzony. Ze względu na całkowicie przestarzałe uzbrojenie, nie był on jednak zbyt przydatny w celach obronnych, w związku z czym podjęto decyzję o zainstalowaniu na jego terenie trzech baterii z łącznie 6 działami kalibru 305 mm, 127 mm i 76,2 mm. Umieszczono je na specjalnych, chowanych stanowiskach ogniowych. Prace ukończono w 1900 roku, już po zakończeniu wojny.
Przez kolejne lata Fort Carroll pozostawał obsadzony szczątkową załogą, ale po włączeniu się Stanów Zjednoczonych do I wojny światowej zdecydowano się na jego rozbrojenie i wykorzystanie nie najnowszych już dział w innych miejscach. Do 1920 roku twierdzę całkowicie rozbrojono, a w marcu 1921 roku usunięto z niej całe pozostałe wyposażenie.
W 1923 roku fort wystawiono na sprzedaż, ale mimo wielu propozycji zagospodarowania wyspy, nie podjęto żadnych działań. Niszczejący fort podczas II wojny światowej został wykorzystany jako punkt kontrolny dla statków pływających do Baltimore a później ponownie go opuszczono. W 1958 roku ponownie wystawiony na sprzedaż obiekt trafił w ręce Benjamina Eisenberga, który zapłacił za niego… 10 000 dolarów (współcześnie około 86 800 dolarów). Nowy właściciel chciał zbudować na wyspie kasyno, ale planów nie zrealizował. Od tego czasu fort cały czas stoi opuszczony i zapomniany, a w 2015 roku wpisano go do rejestru zabytków. Obecnie na opuszczonej wyspie żyje bardzo wiele gatunków ptaków, przez co prawdopodobnie zostanie uznana za sanktuarium dla zwierząt.
Sporo zdjęć z wnętrza fortu można znaleźć w galerii Baltimore Sun.
