Chùa Từ Hiếu được gọi là “chùa của thái giám” xuất phát từ sự đóng góp to lớn của các quan thái giám triều Nguyễn trong việc xây dựng và bảo trợ ngôi chùa. Theo các tài liệu lịch sử, vào thế kỷ 19, dưới thời vua Thiệu Trị và Tự Đức, các thái giám – những người bị thiến để phục vụ trong cung cấm, đã quyên góp tiền bạc và công sức để trùng tu và mở rộng chùa. Họ không chỉ hỗ trợ tài chính mà còn coi chùa như nơi nương náu tinh thần cuối đời, vì cuộc sống của họ đầy cô độc, không vợ con, không dòng dõi.
Người Pháp, khi chiếm đóng Việt Nam, đã gọi chùa là "Pagode des Eunuques" (chùa của thái giám) vì nhận thấy sự gắn bó đặc biệt này. Cụ thể, vào năm 1893 dưới thời vua Thành Thái, thái giám Nguyễn Văn Tường đã khởi xướng việc quyên góp để xây dựng nghĩa địa riêng cho đồng nghiệp, biến chùa thành nơi an nghỉ vĩnh viễn của họ. Ngày nay, danh xưng này vẫn được lưu truyền, nhấn mạnh giá trị lịch sử độc đáo của chùa Từ Hiếu, nơi lưu giữ bi kịch của một lớp người bị xã hội phong kiến đẩy vào cảnh éo le.



