Στο πρώτο ταξίδι που έκανε στην Ελλάδα γνώρισε τον συγγραφέα Γρηγόρη Ξενόπουλο και δημιούργησαν μια δυνατή φιλία. Ο Καβάφης του έστελνε ταχυδρομικά τα ποιήματα του. Το 1903 ο Γρηγόριος Ξενόπουλος δημοσιεύει ένα άρθρο στην εφημερίδα «Παναθήναια» σχετικά με το ποιητικό έργο του Καβάφη. Τον συστήνει στην ελληνική διανόηση που αμέσως αναγνωρίζει το ταλέντο και την αυθεντικότητα των ποιημάτων του, καθώς δε μιμείται κανένα γνωστό ποιητικό στυλ.
Τα ποιήματά του έχουν μια εξαιρετική δύναμη. Ο ποιητής γίνεται ευρέως γνωστός στην Ελλάδα και αρκετά σημαντικά πρόσωπα της λογοτεχνίας, έπειτα από την ανάγνωση του άρθρου ταξίδεψαν στην Αλεξάνδρεια στο σπίτι του συγγραφέα για να συζητήσουν και να τον δουν από κοντά. Εκείνη περίπου την εποχή ξεκίνησε και η κόντρα του με τον ποιητή Κωστή Παλαμά.
Ο Παλαμάς , ο κυριότερος εκπρόσωπος ποιητών της γενιάς του 1880, μιας γενιάς που γνώριζε σταδιακή παρακμή, δεν υποδέχτηκε με τον καλύτερο τρόπο τα καινούρια μορφολογικά μονοπάτια πάνω στα οποία πατούσε η ποίηση του Καβάφη. Ο Παλαμάς σε αντίθεση με τον κοσμοπολίτη Καβάφη δεν είχε ταξιδέψει στο εξωτερικό και ο λυρισμός της ποίησης του πήγαζε κυρίως από την περιγραφή της φύσης. Ο στίχος του ήταν κατά κύριο λόγο έμμετρος, γραμμένος στη δημοτική και εμπλουτισμένος με πολλά κοσμητικά επίθετα. Ο Καβάφης έφερε μοντέρνες τεχνοτροπίες με ελεύθερο στίχο. Τα θέματα που τον απασχολούσαν ήταν τόσο διαφορετικά . Αυτό δεν άρεσε καθόλου στον Παλαμά που δήλωνε ότι «τα ποιήματά του Καβάφη ομοιάζουν με ρεπορτάζ από τους αιώνες και όχι από τα καλύτερα». Δεν δίστασε να κάνει λόγο και για «ανορθόδοξη ερωτική θεματογραφία».
Σήμερα η ποίησή του όχι μόνο έχει επικρατήσει στην Ελλάδα , αλλά και κατέλαβε μία εξέχουσα θέση στην όλη ευρωπαϊκή ποίηση, ύστερα από τις μεταφράσεις των ποιημάτων του αρχικά στα Γαλλικά, Αγγλικά, Γερμανικά και κατόπιν σε πολλές άλλες γλώσσες.
Το σώμα των Καβαφικών ποιημάτων περιλαμβάνει: Τα 154 ποιήματα που αναγνώρισε ο ίδιος (τα λεγόμενα Αναγνωρισμένα), τα 37 Αποκηρυγμένα ποιήματά του, τα περισσότερα νεανικά, σε ρομαντική καθαρεύουσα, τα οποία αργότερα αποκήρυξε, τα Ανέκδοτα, δηλαδή 75 ποιήματα που βρέθηκαν τελειωμένα στα χαρτιά του, καθώς και τα 30 Ατελή, που βρέθηκαν στα χαρτιά του χωρίς να έχουν πάρει την οριστική τους μορφή. Τύπωσε ο ίδιος το 1904 μια μικρή συλλογή με τον τίτλο Ποιήματα, στην οποία περιέλαβε τα ποιήματα: Φωνές, Επιθυμίες, Κεριά, Ένας γέρος, Δέησις, Οι ψυχές των γερόντων, Το πρώτο σκαλί, Διακοπή, Θερμοπύλες, Τα παράθυρα, Περιμένοντας τους βαρβάρους, Απιστία και Τα άλογα του Αχιλλέως. Η συλλογή, σε 100-200 αντίτυπα, κυκλοφόρησε ιδιωτικά.
Το 1910 τύπωσε πάλι τη συλλογή του, προσθέτοντας άλλα επτά ποιήματα: Τρώες, Μονοτονία, Η κηδεία του Σαρπηδόνος, Η συνοδεία του Διονύσου, Ο Βασιλεύς Δημήτριος, Τα βήματα και Ούτος εκείνος. Και αυτή η συλλογή διακινήθηκε από τον ίδιο σε άτομα που εκτιμούσε.
Το 1935 κυκλοφόρησε στην Αθήνα , με επιμέλεια της Ρίκας Σεγκοπούλου, η πρώτη πλήρης έκδοση των (154) Ποιημάτων του, που εξαντλήθηκε αμέσως. Δύο ακόμη ανατυπώσεις έγιναν μετά το 1948.
Ο ποιητής επεξεργαζόταν επίμονα κάθε στίχο, κάποτε για χρόνια ολόκληρα, προτού τον δώσει στην δημοσιότητα. Σε αρκετές από τις εκδόσεις του υπάρχουν διορθώσεις από το χέρι του και συχνά όταν επεξεργαζόταν ξανά τα ποιήματά του τα τύπωνε διορθωμένα.