Στις αρχές του 19ου αιώνα ο Μωχάμετ Άλη, ιδρυτής της τελευταίας Αιγυπτιακής δυναστείας, ίδρυσε στην γενέτειρά του Καβάλα το Ιμαρέτ, ένα θρησκευτικό, εκπαιδευτικό και φιλανθρωπικό ίδρυμα. Μέχρι το 1902 λειτούργησε ως ισλαμικό ιεροδιδασκαλείο, καθώς η εκπαίδευση των μουσουλμάνων μέχρι το 1846 ήταν άμεσα συνδεδεμένη με τη θρησκεία. Από τα τέλη του 1922 οι χώροι του Ιμαρέτ χρησιμοποιήθηκαν για τη στέγαση των προσφύγων. Μεταγενέστερα λειτούργησε ως μουσείο, καφετέρια και εστιατόριο.
Το μέγαρο όπου στεγάζεται σήμερα ο Δήμος Καβάλας αποτελεί ένα από τα πιο εντυπωσιακά κτίσματα της πόλης, με μια μοναδική αρχιτεκτονική γραμμή, που φαντάζει «ξένη» μέσα στην πόλη της Καβάλας και παραπέμπει σε μικρογραφία ουγγρικού πύργου.
Η οικοδόμησή του τοποθετείται στο τέλος της δεκαετίας του 1890. Ανήκε στην ιδιοκτησία του Ούγγρου καπνεμπόρου βαρόνου Pierre Herzog και χρησιμοποιήθηκε ως κατοικία και επαγγελματική έδρα. Το 1937 το κτίριο αγοράστηκε από το Δήμο Καβάλας και μέχρι σήμερα, στεγάζει το Γραφείο Δημάρχου και κάποιες από τις διοικητικές του υπηρεσίες.
