Tháp xây trên gò Rùa nơi xưa từ thời [[vua Việt Nam|vua]] [[Lê Thánh Tông]] đã dựng ''Điếu Đài'' ở đó để nhà vua ra [[câu (hành động)|câu cá]].<ref>Trần Độ (chủ biên). ''Văn hóa Việt Nam''. Hà Nội: Ban Văn hóa Văn nghệ Trung ương, 1989. Trang 101.</ref> Sang thời [[Nhà Lê trung hưng|Lê Trung Hưng]] (khoảng [[thế kỷ 17]]-[[thế kỷ 18]]) thì [[chúa Trịnh]] cho xây đình Tả Vọng trên gò nhưng sang thời [[nhà Nguyễn]] thì không còn dấu tích gì. nữaSau khi Pháp hạ [[hoàng thành Thăng Long|thành Hà Nội]] năm [[1883]] thì dân vùng ven hồ xiêu tán cả. Các quan Việt cũng bỏ sở nhiệm. Riêng có Nguyễn Ngọc Kim, chức dịch làng Tự Tháp được cử làm trung gian giữa quân Pháp và người Việt, lại được chính quyền mới tín nhiệm nên ít lâu sau ông trở thành bá hộ, tục gọi là Bá hộ Kim. Năm [[1886]] thấy huyệt đất trên gò Rùa hợp [[phong thủy]] ông xuất tiền xây tháp trên gò với ý định chôn hài cốt của cha vào đó. Việc không thành nhưng ngọn tháp ba tầng vẫn được hoàn tất. Vì vậy nên ban đầu Tháp này có tên là '''Tháp Bá hộ Kim'''. Vì vị trí đẹp giữa hồ, Tháp Rùa nghiễm nhiên biến thành thắng tích Hà Nội.<ref>Nguyễn Văn Uẩn. ''Hà Nội nửa đầu thế kỷ XX''. Hà Nội: nxb Hà Nội, 2000. trang 649.</ref><ref>[[Nguyễn Vinh Phúc]] trong cuốn "Phố và Đường Hà Nội" xuất bản năm 2004 có nói ông Nguyễn Ngọc Kim là ông nội của bí thư Thành ủy đầu tiên của thành phố Hà Nội, ông [[Nguyễn Ngọc Vũ]]</ref>
Sau khi Pháp hạ [[hoàng thành Thăng Long|thành Hà Nội]] năm [[1883]] thì dân vùng ven hồ xiêu tán cả. Các quan Việt cũng bỏ sở nhiệm. Riêng có Nguyễn Ngọc Kim, chức dịch làng Tự Tháp được cử làm trung gian giữa quân Pháp và người Việt, lại được chính quyền mới tín nhiệm nên ít lâu trở thành bá hộ, tục gọi là Bá hộ Kim.<ref>[[Nguyễn Vinh Phúc]] trong cuốn "Phố và Đường Hà Nội" xuất bản năm 2004 có nói ông Nguyễn Ngọc Kim là ông nội của bí thư Thành ủy đầu tiên của thành phố Hà Nội, ông [[Nguyễn Ngọc Vũ]]</ref>
Năm [[1886]] thấy huyệt đất trên gò Rùa hợp [[phong thủy]] ông xuất tiền xây tháp trên gò với ý định chôn hài cốt của cha vào đó. Việc không thành nhưng ngọn tháp ba tầng vẫn được hoàn tất. Vì vậy nên ban đầu Tháp này có tên là '''Tháp Bá hộ Kim'''. Vì vị trí đẹp giữa hồ, tháp nghiễm nhiên biến thành thắng tích Hà Nội.<ref>Nguyễn Văn Uẩn. ''Hà Nội nửa đầu thế kỷ XX''. Hà Nội: nxb Hà Nội, 2000. trang 649.</ref>
[[Pháp thuộc|Thời Pháp thuộc]], trên đỉnh Tháp Rùa có dựng một phiên bản của [[tượng Nữ thần Tự do|tượng Nữ Thần Tự Do]] (1890-1896) mà dân chúng biếm gọi là ''tượng Đầm Xòe''. Sang [[thập niên 1950]] tượng này đã bị phá bỏ khi chính phủ [[Đế quốc Việt Nam|Việt Nam]] của [[thủ tướng]] [[Trần Trọng Kim]] nắm chính quyền thay cho quân [[Pháp]].
