Στις αρχές του 19ου αιώνα ο Μωχάμετ Άλη, ιδρυτής της τελευταίας Αιγυπτιακής δυναστείας, ίδρυσε στην γενέτειρά του Καβάλα το Ιμαρέτ, ένα θρησκευτικό, εκπαιδευτικό και φιλανθρωπικό ίδρυμα. Μέχρι το 1902 λειτούργησε ως ισλαμικό ιεροδιδασκαλείο, καθώς η εκπαίδευση των μουσουλμάνων μέχρι το 1846 ήταν άμεσα συνδεδεμένη με τη θρησκεία. Από τα τέλη του 1922 οι χώροι του Ιμαρέτ χρησιμοποιήθηκαν για τη στέγαση των προσφύγων. Μεταγενέστερα λειτούργησε ως μουσείο, καφετέρια και εστιατόριο.