Letterlijk vertaald betekent ‘Bagne des Annamites’ gevangenis van de Annamieten. Vanaf 1887 heerste Frankrijk over de Unie van Indochina, bestaande uit Vietnam, Cambodja en Laos. De Fransen refereerden aan de inwoners van de Unie als ‘Annamieten’ (afkomstig van de voormalige kolonie Annam, gelegen in het centrum van het tegenwoordige Vietnam). Na de Tweede Wereldoorlog is de Unie van Indochina uiteen gevallen, als gevolg van vele opstanden en onafhankelijkheidsbewegingen.

Vrijheidsstrijders van de Unie werden door Frankrijk gevangen genomen en gedeporteerd naar strafkolonie Frans-Guyana. Een groot deel van deze gevangen genomen vrijheidsstrijders zijn destijds weggestopt in een gevangenis diep in het bos – Bagne des Annamites.

De gevangenis is vergaan en de natuur heeft de overhand gekregen. Sinds 2012 is het grondgebied eigendom van het Conservatoire du Littoral. Het beheer is onder gebracht bij Association Trésor.