Ο ΠΑΟΚ ιδρύθηκε το 1926 στη Θεσσαλονίκη από Έλληνες πρόσφυγες που είχαν έρθει από την Κωνσταντινούπολη, μετά τη Μικρασιατική Καταστροφή.
Οι πρόσφυγες αυτοί, έχοντας χάσει την πατρίδα τους, θέλησαν να δημιουργήσουν έναν σύλλογο που θα τους ένωνε και θα διατηρούσε τις παραδόσεις και την ταυτότητά τους. Πολλοί από αυτούς ήταν μέλη παλαιότερων αθλητικών συλλόγων της Κωνσταντινούπολης, όπως ο «Ερμής» και ο «Πέραν», και μετέφεραν την εμπειρία και την αγάπη τους για τον αθλητισμό στη νέα τους πατρίδα.
Έτσι, αποφάσισαν να ιδρύσουν έναν νέο σύλλογο, τον ΠΑΟΚ (Πανθεσσαλονίκειος Αθλητικός Όμιλος Κωνσταντινουπολιτών), που θα εκπροσωπούσε όλους τους Έλληνες της Πόλης. Το όνομα αυτό δείχνει ξεκάθαρα την καταγωγή των ιδρυτών και τον σκοπό του συλλόγου.
Το έμβλημα που επέλεξαν ήταν ο δικέφαλος αετός, σύμβολο του Βυζαντίου, αλλά με κλειστά φτερά, για να συμβολίζει το πένθος για τις χαμένες πατρίδες. Τα χρώματα του συλλόγου, το μαύρο και το άσπρο, έχουν επίσης συμβολική σημασία: το μαύρο εκφράζει τη θλίψη και το άσπρο την ελπίδα για ένα νέο ξεκίνημα.
Από την ίδρυσή του, ο ΠΑΟΚ δεν ήταν απλώς μια αθλητική ομάδα, αλλά ένα σημαντικό κομμάτι της ιστορίας και της ζωής των προσφύγων, που με τον καιρό εξελίχθηκε σε έναν από τους μεγαλύτερους συλλόγους της Ελλάδας.