La Prigione di Phu Quoc trae le sue origini dall'epoca coloniale francese. Nel 1953, le autorità coloniali francesi sfruttarono una vecchia base delle truppe nazionaliste cinesi del Kuomintang (guidate dal generale Hoang Kiet) per realizzare il «Campo dell'Albero di Cocco», un'area di 40 ha ad An Thoi. Qui vennero rinchiusi circa 14.000 prigionieri di guerra comunisti provenienti dai fronti del Nord, del Centro e del Sud. Dopo gli Accordi di Ginevra del 1954, la maggior parte dei detenuti fu rimpatriata.
Sotto la Repubblica del Vietnam (con il supporto statunitense), nel 1967 il complesso fu notevolmente ampliato nella valle di An Thoi fino a raggiungere una superficie di 400 ha, suddivisa in 12 zone (a cui si aggiunsero le zone 13 e 14 nel 1972). Ciascuna zona era articolata in 4 sottozone, con una capienza di 3.000 persone per zona. Divenne così la principale prigione per prigionieri di guerra di tutto il Vietnam del Sud, arrivando a detenere oltre 32.000 prigionieri (fino a 40.000 presenze includendo i prigionieri politici). Sebbene sia rimasta attiva per meno di sei anni (dal giugno 1967 al marzo 1973), fu teatro di innumerevoli tragedie. In seguito agli Accordi di Parigi del 1973, i prigionieri furono liberati e la struttura venne smantellata. Nel 1995 il luogo è stato riconosciuto monumento di interesse nazionale e nel 2014 è stato elevato a monumento nazionale speciale. Oggi il sito è accuratamente ricostruito a fini educativi e turistici.
