Στην κορυφή της χερσονήσου της Παναγίας δεσπόζει η Ακρόπολη της Καβάλας, η οποία χτίστηκε στο μεγαλύτερο μέρος της το πρώτο τέταρτο του 15ου αιώνα μ.Χ. Σήμερα ο επισκέπτης μπορεί να δει:
Τον κεντρικό κυκλικό πύργο, που αποτελούσε τον ύστατο χώρο άμυνας
Την αποθήκη πυρομαχικών και τροφίμων, που αργότερα μετατράπηκε σε φυλακή
Το φυλάκιο, που ήταν χώρος κατάλληλος για καταλύματα αξιωματικών ή φρουράς
Τη δεξαμενή νερού
Στα τείχη του εξωτερικού περίβολου της ακρόπολης ξεχωρίζουν δύο τετράγωνοι και ένας πολυγωνικός πύργος, ενώ στο εσωτερικό του λειτουργεί υπαίθριο θέατρο για πολιτιστικές εκδηλώσεις και αναψυκτήριο για τους επισκέπτες.