วัดเกาะถ้ำ ได้มีการสร้างขึ้นเป็นวัดในปี พ.ศ.2357 ช่วงต้นกรุงรัตนโกสินทร์ในรัชสมัยของ พระบาทสมเด็จพระพุทธเลิศหล้านภาลัย (รัชกาลที่ 2 ) สมัยก่อวัดตั้งอยู่ในพื้นที่ราบใช้ชื่อว่า วัดสะพานยาว และเมื่อคราวที่เมืองสงขลา ถูกข้าศึกยกทัพมาบุกโจมตี ณ บริเวณเกาะถ้ำแห่งนี้ ได้กลายมาเป็นสถานที่ที่ใช้ในการยกทัพมาต่อสู้กัน และมีการใช้กลอุบายทำให้ข้าศึกต้องถอยทัพกลับไปในที่สุด ส่งผลให้สงขลามีชัยเหนือข้าศึก หลังจากได้รับชัยชนะจากการสู้รบ เมืองสงขลาก็ปลอดจากศึกสงคราม การค้าขายกับชาวต่างชาติ ก็มีความรุ่งเรือง พระยาวิเชียรคีรี (บุญสัง) เจ้าเมืองสงขลา ณ ขณะนั้น ได้มีการสร้างรอยพระพุทธบาทจำลองลงบนหิน และประดิษฐานไว้บนยอดเขา แล้วได้มีการย้ายวัดสะพานยาวจากพื้นที่ราบ ไปสร้างใหม่บนภูเขา วัดเกาะถ้ำ ตราบจนทุกวันนี้

วัดแห่งนี้ตั้งอยู่บนเนินเขา ท่ามกลางธรรมชาติและต้นไม้เขียวขจี สร้างขึ้นเมื่อปี พ.ศ.2357 ภายในวัดยังมีพระพุทธรูปปางต่างๆ เช่น พระพุทธไสยาสน์ รอยพระพุทธบาทจำลอง รวมถึงโบราณสถานสำคัญ เมื่อเดินเข้ามาภายในวัดเกาะถ้ำ จะพบกับพระพุทธไสยาสน์ หรือพระนอน ประดิษฐานอยู่ใต้ก้อนหินขนาดใหญ่ ซึ่งเป็นสิ่งศักดิ์สิทธิ์ที่ชาวบ้านให้ความเลื่อมใสศรัทธา บนก้อนหินลูกนี้ยังมีพระเจดีย์เก่าแก่ประดิษฐานอยู่บนก้อนหินอีกด้วย

วัดเกาะถ้ำ ไม่ได้มีโบราณสถานเพียงอย่างเดียว แต่ยังมีอุโบสถที่มีสถาปัตยกรรมอันวิจิตรงดงาม ซึ่งราวบันไดทางขึ้นสร้างเป็นรูปปั้นพญานาคขนาบทั้งสองข้าง เมื่อมองจากบันไดทางขึ้นไปยังอุโบสถสวยงามราวกับวิมารสวรรค์ วัดเกาะถ้ำ เป็นอีกหนึ่งสถานที่ท่องเที่ยวทางศาสนา เต็มไปด้วยเรื่องราวทางประวัติศาสตร์ที่น่าสนใจ อีกทั้งบรรยากาศในวัด ร่มรื่น เงียบสงบ ดังนั้นหากใครมาเที่ยวสงขลา ก็ลองหาโอกาสแวะมาเที่ยวชมที่วัดเกาะถ้ำแห่งนี้