Το μέγαρο όπου στεγάζεται σήμερα ο Δήμος Καβάλας αποτελεί ένα από τα πιο εντυπωσιακά κτίσματα της πόλης, με μια μοναδική αρχιτεκτονική γραμμή, που φαντάζει «ξένη» μέσα στην πόλη της Καβάλας και παραπέμπει σε μικρογραφία ουγγρικού πύργου.
Η οικοδόμησή του τοποθετείται στο τέλος της δεκαετίας του 1890. Ανήκε στην ιδιοκτησία του Ούγγρου καπνεμπόρου βαρόνου Pierre Herzog και χρησιμοποιήθηκε ως κατοικία και επαγγελματική έδρα. Το 1937 το κτίριο αγοράστηκε από το Δήμο Καβάλας και μέχρι σήμερα, στεγάζει το Γραφείο Δημάρχου και κάποιες από τις διοικητικές του υπηρεσίες.