พระเจดีย์บนเขารูปช้างสร้างขึ้นโดยเจ้าพระยาวิเชียรคีรี (บุญสังข์) ผู้สำเร็จราชการเมืองสงขลา ลำดับที่ 5 (พ.ศ.2390-2408) มีลักษณะเป็นเจดีย์ก่ออิฐถือปูนตั้งอยู่บนก้อนหินใหญ่ ฐานเจดีย์เป็น รูปสี่เหลี่ยมจัตุรัส กว้างยาวด้านละ 2.50 เมตร องค์ระฆังทรงเหลี่ยมแบบย่อมุมไม้สิบสอง เมื่อ พ.ศ.2528 นายบันเทิง พูลศิลป์ อดีตหัวหน้าพิพิธภัณฑสถานแห่งชาติ สงขลา ให้ความเห็นไว้ว่า ยอดเจดีย์หักเนื่องจากถูกกระสุนปืนของกองทัพญี่ปุ่นที่บุกจังหวัดสงขลาเมื่อวันที่ 4 ธันวาคม พ.ศ.2424 ทั้งนี้เจดีย์องค์นี้เคยถูกขโมยลักขุดฐานเมื่อ พ.ศ.2516 บริเวณพื้นที่เขารูปช้างเป็นพื้นที่ยุทธศาสตร์ทางการทหาร ที่สำคัญ เนื่องจากมีที่ตั้งอยู่ในจุดบรรจบของเส้นทางเข้าสู่เมืองสงขลาทั้งจากฝั่งเมืองปัตตานี และไทรบุรี ถูกใช้เป็นสถานที่ตั้งมั่นทางทหารทั้งในคราวศึกไทรบุรี และลักษณะที่เป็นภูเขาสูงสามารถมองเห็นเมืองสงขลาและพื้นที่โดยรอบได้ชัดเจนจึงถูกใช้เป็นที่ตั้งสถานีตรวจการณ์เมื่อครั้งสงครามมหาเอเชียบูรพาใน พ.ศ. 2484

ต่อมาสำนักศิลปากรที่ 13 สงขลา ได้บูรณะเจดีย์บนเขาทวดช้างเมื่อวันที่ 4 สิงหาคม พ.ศ. 2563 โครงการอนุรักษ์และพัฒนาโบราณสถานเจดีย์เขารูปช้าง ตำบลเขารูปช้าง อำเภอเมือง จังหวัดสงขลา ซึ่งได้ดำเนินการแล้วเสร็จ

ปัจจุบันเจดีย์ทวดช้างอยู่ใกล้กับริเวณหอดูดาวจังหวัดสงขลาใช้ทางขึ้นทางหอดูดาว รับผิดชอบโดย มหาวิทยาลัยราชภัฎ สงขลา สำนักศิลปะและวัฒนธรรม มหาวิทยาลัยราชภัฎสงขลาได้จัดพิธีบวงสรวงสักการะทวดช้าง ในทุกปี