Το τμήμα πόλο του ΠΑΟΚ ιδρύθηκε το 1931. Οι πρώτες προπονήσεις γίνονταν θαλάσσιο χώρο μπροστά στη σημερινή «Στάση Φλέμινγκ» δίπλα στα Λουτρά του Μ. Αλεξάνδρου. Ο ΠΑΟΚ όπως και όλοι οι τοπικοί σύλλογοι ελλείψει κολυμβητηρίου προπονούνταν στη θάλασσα. Ο Ελευθέριος Βενιζέλος είχε εγκαινιάσει από το 1932 την ξύλινη παραλιακή εξέδρα στο Νέο Κουρί.
Μεταπολεμικά συγκροτείται η ομάδα με προπονητή το Βαλαβάνη και σημείο αναφοράς ένα δωματιάκι στο Καραμπουρνάκι. Ο χώρος ανάμεσα σε μια βάρκα και μια θαλάσσια σκάλα οριοθετούσε το χώρο των προπονήσεων. Με πρόεδρο τον Παντελή Καλπατσόγλου και έφορο το Γιώργο Ατακτίδη σημειώνεται η πρώτη μεγάλη νίκη απέναντι στον Ηρακλή το 1952 και επί του Άρη το 1954. Ο ΠΑΟΚ τη δεκαετία αυτή αγωνιζόταν στη Β’ κατηγορία.
Το 1975 το Εθνικό Κολυμβητήριο Θεσσαλονίκης που ήταν το πρώτο που κατασκευάστηκε στην πόλη. Έτσι ο ΠΑΟΚ είχε τη δυνατότητα να προπονηθεί ισάξια με τις ομάδες της Αθήνας που διέθεταν από πολύ νωρίτερα κολυμβητικές εγκαταστάσεις. Το 1985 η ομάδα του ΠΑΟΚ αγωνίστηκε για πρώτη φορά στην Α’ Εθνική και παρά τις μεγάλες νίκες απέναντι σε Ολυμπιακό και Χίο υποβιβάστηκε στην Α2 όπου παρέμεινε για 15 χρόνια.
Από το 1989 ο πρόεδρος Θανάσης Κατσαρής και ο έφορος Γιάννης Ελευθεριάδης με προπονητή το Όμηρο Πολυχρονόπουλο προχωρούν στην ενίσχυση της ομάδας. Το 1999 με προπονητή το Παναγιώτη Βέργο ο ΠΑΟΚ κερδίζει την άνοδο για την Α1 κατηγορία ολοκληρώνοντας τη σεζόν με μια μόνο ήττα.
Τα τελευταία χρόνια έχει καθιερωθεί στις σημαντικές δυνάμεις της ελληνικής υδατοσφαίρισης. Το πρόσωπο που συνέδεσε το όνομά του με την πορεία της ομάδας πόλο, όπως και του τμήματος κολύμβησης, είναι αυτό του προπονητή Ανέστη Σουμελίδη, ο οποίος υπηρέτησε από το πόστο αυτό τον ΠΑΟΚ για 36 χρόνια.
