Hakkında herhangi bir yazıtı bulunmayan kalenin inşa tarihi hakkında net bir bilgiye ulaşılamazken, kalenin 12’nci yüzyılda yapıldığı tahmin ediliyor. Kozluk ilçesinin 12 kilometre güneyinde yer alan ve Garzan Çayı’na hakim bir tepe üzerinde konumlandırılmış olan kale, adını yakınında bulunan Yıldızlı Köyü’nden alıyor. Tarihi Erzen Kalesi’nin kuzeybatısında ve Tarihi Balıklı Göl’ün bulunduğu Yeşilyurt Mezrası’nın tam karşısında bulunan Yıldızlı Kalesi, kaderine terk edildiğinden yok olmaya yüz tuttu.

Sahipsizlikten dolayı define ve altın avcılarının istilasına uğrayan kalenin tarihi yapısında bozulmalar meydana geldiği görülüyor. Doğal bir kayalıktan oluşan tepe üzerinde İç kale şeklinde topografyaya uygun olarak inşa edilen ve dikdörtgen bir yapıya sahip olan kalenin geçmişte önemli bir geçit noktası üzerinde kurulduğu ve yapısında savunma mimarisinin örneklerini bariz bir şekilde ortaya koyduğu görülüyor. Batı yönünden gelebilecek saldırılara karşı inşa edilen yüksek sur duvarları ve nöbet yerleri halen varlığını korurken, bu yapıların büyük çoğunluğu ise gerek beşeri ve gerekse de doğal yollarla zaman içerisinde yok olmuştur. Batı yönünde 275 metre, kuzey – güney yönünde 288 metre ölçümünde geniş bir alana sahip olan kale, içinde bulundurduğu toprakla örtülmüş gizli mağara ve tünelleriyle dikkat çekiyor.