La princesa Ngoc Son, cuyo nombre de nacimiento era Nguyen Phuoc Hy Hy (1886–1905), fue hija del emperador Dong Khanh, el octavo monarca de la dinastía Nguyen (1885–1889). Contrajo matrimonio con el comandante Trung Quan Do Thong Nguyen Huu Tien, hijo del gran letrado Dong Cac Nguyen Huu Thang, un prestigioso alto dignatario de la corte. Sin embargo, la vida de la princesa fue efímera: falleció a los 20 años tras dar a luz a una hija, dejando un profundo pesar en su familia y en los habitantes de la capital imperial.
En 1921, en memoria de su difunta primera esposa, el consorte real Nguyen Huu Tien mandó construir la residencia y templo conmemorativo de la Princesa Ngoc Son en un terreno de casi 2.400 m² en la antigua zona de Gia Hoi, al este de la Ciudadela de Hue. Además de ser un lugar de culto a la princesa, la residencia también fue el hogar del consorte real junto a su segunda esposa, la princesa Cong Ton Nu Thi Tran, y sus siete hijos. A lo largo de más de 90 años de vicisitudes históricas, la casa jardín se ha conservado casi intacta gracias a la dedicación de generaciones de descendientes, en especial de la señora Nguyen Thi Suong (nieta del consorte real) y su esposo, el investigador Phan Thuan An.

Aunque no pertenecía directamente al conjunto de palacios reales, la residencia de la Princesa Ngoc Son guarda un estrecho vínculo con la historia de la antigua capital. Este lugar no solo preserva la memoria de una talentosa princesa de trágico destino, sino que también es considerado una singular «biblioteca familiar» con miles de libros antiguos en diversos idiomas. Valiosos objetos de época, como medallas del reinado de Khai Dinh, un juego de dados de adivinación de hueso, porcelana china encargada por la corte y bandejas de té finamente taraceadas, siguen presentes hoy en día, forjando el valor cultural único y el encanto singular de Phu Ngoc Son.

