Stirling Castle adalah rumah bagi dua hantu terkenal. Yang lebih mencolok dari mereka dikenal sebagai Wanita Pink. Dia adalah wanita cantik yang mendapat julukan itu karena kerap kali ditemui memakai gaun mewah berwarna pink yang sering dia pakai. Penduduk setempat percaya dia adalah perwujudan hantu Mary, seorang Ratu Skotlandia. Menurut legenda lain, ia mungkin istri seorang tentara yang terbunuh ketika Edward I dan pasukannya mengepung Stirling Castle pada awal abad ke-14, yang hingga kini dipercaya masih mencari suaminya yang telah mati untuk selamanya.
The Pink Lady menghabiskan waktunya berkeliaran di sekitar kastil dan daerah sekitarnya.
Hantu kedua dikenal sebagai Green Lady atau Grey Lady, tergantung siapa yang menceritakannya. Sebuah cerita populer mengatakan bahwa dia adalah roh seorang gadis pelayan yang menyelamatkan Ratu Mary muda dari api, mungkin dia mati sendiri saat melakukannya. Setiap kali dia muncul, bencana besar pasti akan terjadi. Meskipun ini mungkin akan terdengar aneh bagi sebagian orang tetapi Lady Grey benar-benar berusaha untuk memperingatkan orang-orang dari ancaman bahaya, mencoba menyelamatkan mereka seperti dia menyelamatkan ratu nya bertahun-tahun yang lalu.
Namun, jangan berpikiran bahwa semua hantu di Benteng Stirling baik hati. Ada desas-desus tentang hantu ketiga yang lebih misterius. Ini berwujud sebagai jejak tak terlihat di area yang dikenal sebagai blok gubernur. Dikatakan bahwa seorang penjaga abad ke-19 meninggal di sini saat sedang berpatroli menjalankan tugas, hantu itu menerror orang orang dengan kepala terpelintir yang sangat menakutkan.