Στις 26 Οκτωβρίου του 1954, συνοδευόμενος από το Σωκράτη Λοϊζίδη, όπως αναφέρει στα Απομνημονεύματα του, ο Γρίβας αναχώρησε από τον Πειραιά για τη Ρόδο, όπου θα τον παραλάμβανε μικρό ιστιοφόρο Άγιος Γεώργιος. Τα μεσάνυχτα της 8ης Νοεμβρίου αναχώρησε από τη Ρόδο μυστικά και μυστικά αποβιβάσθηκε σε ερημική τοποθεσία στην Κύπρο, κοντά στο χωριό Χλώρακα της Πάφου, στις 10 το βράδυ της 10ης Νοεμβρίου. Ο οπλισμός τον οποίο είχε αποστείλει πιο πριν στο νησί ο Γρίβας, ήταν ασήμαντος: 8 οπλοπολυβόλα, 21 αυτόματα, 47 τυφέκια, 7 περίστροφα, 290 χειροβομβίδες, 20 κιλά εκρηκτικές ύλες και αρκετές σφαίρες. Με τον οπλισμό αυτό, όπως ο ίδιος σημειώνει στα Απομνημονεύματά του, άρχισε τον αγώνα. Μια δεύτερη ποσότητα οπλισμού, που εστάλη με το ιστιοφόρο «Άγιος Γεώργιος» δεν παρελήφθη γιατί το ιστιοφόρο συνελήφθη από τους Άγγλους, στ' ανοικτά της Πάφου, το βράδυ της 25ης Ιανουαρίου 1955.
Ο Γρίβας είχε φέρει μαζί του στην Κύπρο σχέδιο δράσης, το οποίο είχε καταρτίσει στην Αθήνα. Παρά την επιθυμία του όμως, δεν του επετράπη από τον Μακάριο και την ελληνική κυβέρνηση να πάρει μαζί του στην Κύπρο Ελλαδίτες στρατιωτικούς ή άλλους παλαιούς συνεργάτες του.
Οι πρώτες του ενέργειες στην Κύπρο ήταν η στρατολογία μελών και συγκρότηση μαχητικών ομάδων, η εκπαίδευση των ομάδων σε μεθόδους ένοπλης δράσης και δολιοφθορών, η δημιουργία πυρήνων στην ύπαιθρο για δικτύωση της οργάνωσης και, γενικά, η συγκρότηση της ίδιας της οργάνωσης. Δεδομένου ότι κανένας στην Κύπρο δεν είχε την απαιτούμενη πείρα σε τέτοια πολεμικά ζητήματα, ολόκληρο το βάρος της τελικής αυτής προπαρασκευής ανελήφθη από τον ίδιο τον Γρίβα. Το βάρος γινόταν ακόμη μεγαλύτερο επειδή όλα έπρεπε να γίνονται με κάθε μυστικότητα, αλλά κι επειδή πίεζε και ο χρόνος, δεδομένου ότι είχε συμφωνηθεί ν' αρχίσει δυναμική δράση στην Κύπρο κατά τη στιγμή που το πρόβλημα θα συζητείτο στα Ηνωμένα Έθνη. Όμως ο Μακάριος δεν έδωσε το πράσινο φως από τη Νέα Υόρκη ή, κατ' άλλες πληροφορίες, το έδωσε αλλά δεν έφθασε ποτέ στον Γρίβα.
Τον Δεκέμβριο του 1954 το Κυπριακό ζήτημα παρουσιάστηκε στα Ηνωμένα Έθνη, χωρίς οποιαδήποτε επιτυχία. Σε συνεννόηση με τη Μεγάλη Βρετανία, η Νέα Ζηλανδία υπέβαλε ψήφισμα που ζητούσε να μη εξεταστεί το Κυπριακό και το ψήφισμα αυτό ενεκρίθη. Ο Μακάριος επέστρεψε στην Κύπρο και είχε τις τελικές συναντήσεις του με τον Γρίβα. Κατ' αυτές είχε αποφασιστεί ν' αρχίσει ο αγώνας στις 25 Μαρτίου, επέτειο της ελληνικής επανάστασης, τελικά όμως η μέρα έναρξης μετακινήθηκε μια εβδομάδα αργότερα.
Αφού οι ετοιμασίες συμπληρώθηκαν, ο Γρίβας έδωσε στη μυστική οργάνωση που δημιούργησε την ονομασία ΕΟΚΑ (από τα αρχικά των λέξεων Εθνική Οργάνωσις Κυπρίων Αγωνιστών). Ο ίδιος υιοθέτησε για τον εαυτό του το ψευδώνυμο Διγενής και μ' αυτό υπέγραψε την πρώτη επαναστατική του προκήρυξη που κυκλοφόρησε την 1η Απριλίου του 1955.
Ο αγώνας της ΕΟΚΑ: Όπως ο ίδιος ο Γρίβας έγραψε, η Κύπρος δεν προσφερόταν για ένα απελευθερωτικό κίνημα, εξαιτίας κυρίως της περιορισμένης έκτασής της, της νησιώτικης φύσης της και της σημαντικής απόστασης που τη χωρίζει από τις ηπειρωτικές ακτές που δυνατό να εχρησιμοποιούντο ως ορμητήρια, ή ως βάσεις ανεφοδιασμού. Ακόμη, όπως σημειώνει ο Γρίβας (Ἀπομνημονεύματα, σ. 12), οι ίδιοι οι Κύπριοι ἦσαν ἐντελῶς ἀπειροπόλεμοι, ἐκ φύσεως δέ ἢρεμοι καί πραεῖς τόν χαρακτῆρα, ξένοι δέ πρός τήν ἰδέαν χρησιμοποιήσεως ἐνόπλου βίας δι' οἱονδήποτε σκοπόν. Ἡ ἐθνική των ἀντίστασις ὑπῆρξεν ἐπί αἰῶνας παθητική, περιορισθεῖσα ἀποκλειστικῶς εἰς τό στάδιον τῆς ἀμύνης καί πολύ σπανίως μεταπηδήσασα εἰς τό στάδιον τῆς ἐπιθέσεως (...) Οἱ Κύπριοι οὐδέποτε ἐστρατεύθησαν καί οὐδέποτε ἐγνώρισαν τήν χρῆσιν τῶν ὃπλων. Ἐδημιουργεῖτο λοιπόν, εὐθύς ἐξ ἀρχῆς τεράστιον πρόβλημα....
Το απειροπόλεμο των Κυπρίων, η ακαταλληλότητα του εδάφους του νησιού για διεξαγωγή ανταρτοπόλεμου, η δυνατότητα της κρατούσας δύναμης για εύκολο αποκλεισμό του νησιού και οι μεγάλες δυσχέρειες στην προμήθεια πολεμικών εφοδίων, σε αντίθεση μάλιστα προς τους Βρετανούς που είχαν στη διάθεσή τους κάθε σύγχρονο πολεμικό μέσο, συνιστούσαν ανυπέρβλητες σχεδόν δυσκολίες και το εγχείρημα ανάληψης και διεξαγωγής απελευθερωτικού αγώνα, και μάλιστα με αξιώσεις επιτυχίας, ήταν ιδιαίτερα τολμηρό.
Ο Γρίβας, με χρηματοδότη του τον αρχιεπίσκοπο Μακάριο και, γενικότερα, την Κυπριακή Εκκλησία, εργάστηκε σκληρότατα για να σηκώσει το βάρος του αγώνα, τον οποίο επέμενε να διεξαγάγει όπως ο ίδιος τον είχε σχεδιάσει, δίνοντας σ' αυτόν τη μορφή κανονικού ανταρτοπολέμου (προσαρμοσμένου βέβαια στις τοπικές συνθήκες και δυνατότητες) αντί της αρχικής ιδέας του αρχιεπισκόπου Μακαρίου που ήταν ο περιορισμός της δράσης των αγωνιστών κυρίως σε πράξεις δολιοφθοράς για δημιουργία θορύβου ο οποίος θα εξυπηρετούσε τους πολιτικούς χειρισμούς του ιδίου του αρχιεπισκόπου στο διεθνές πεδίο. Η έναρξη δράσης της ΕΟΚΑ, την 1η Απριλίου 1955, έγινε με πράξεις δολιοφθοράς στις διάφορες πόλεις και είχε παγκόσμια απήχηση. Ο Γρίβας άρχισε τον αγώνα με ελάχιστους μάχιμους άνδρες και με ασήμαντο πολεμικό υλικό. Αλλά και οι μάχιμοι άνδρες του δεν ήσαν παρά άνθρωποι που υπέστησαν μια σύντομη βασική στρατιωτική εκπαίδευση και μόνο ένας απ' αυτούς, ο Γρηγόρης Αυξεντίου, ήταν καταρτισμένος στην πολεμική τέχνη αφού λίγο πιο πριν είχε φοιτήσει σε σχολή εφέδρων αξιωματικών στην Ελλάδα και είχε υπηρετήσει για σύντομο χρονικό διάστημα στον ελληνικό στρατό. Μέχρι το τέλος του αγώνα, που κράτησε 4 περίπου χρόνια, οι τάξεις των μάχιμων ανδρών της ΕΟΚΑ όλο κι ενισχύονταν με νέες εντάξεις και στρατολόγηση, όμως καθόλη τη διάρκειά του βασικό του χαρακτηριστικό παρέμενε η πολεμική απειρία των Ελλήνων Κυπρίων. Εάν μελετήσει κανείς τον κατάλογο των πεσόντων του αγώνα, που παραθέτει ο ίδιος ο Γρίβας στην αρχή των Απομνημονευμάτων του, θα διαπιστώσει ότι οι περισσότεροι σκοτώθηκαν από αδικαιολόγητες αιτίες εξαιτίας της απειρίας τους, όπως ηλεκτροπληξία, έκρηξη βόμβας που κατασκεύαζαν ή μετέφεραν κλπ. Αλλά και αρκετοί από εκείνους που σκοτώθηκαν σε μάχη, έχασαν και πάλι εξαιτίας της πολεμικής τους απειρίας τη ζωή τους. Στην ενέδρα στο Μερσινάκι για παράδειγμα (15 Δεκεμβρίου 1955), ένας μόνο Βρετανός, ο ταγματάρχης Κουπ, κατόρθωσε να εξουδετερώσει 9μελή αντάρτικη ομάδα της ΕΟΚΑ, σκοτώνοντας ένα αντάρτη, τραυματίζοντας άλλους δυο και συλλαμβάνοντας δυο, οι οποίοι αργότερα απαγχονίστηκαν.
Ωστόσο ο Γρίβας, παρά τα δυσμενέστατα γι' αυτόν δεδομένα, κατόρθωσε να συνεγείρει τους Έλληνες Κυπρίους, να τους εμφυτεύσει την αγωνιστική διάθεση, να τους κατευθύνει καθόλη τη διάρκεια του αγώνα, να τους διοικήσει με πυγμή και αυστηρότητα που, σε μερικές περιπτώσεις, έφθασε στα άκρα, να τους εμπνεύσει μέχρι του σημείου να διεξαγάγουν ακόμη και παράλογες πράξεις ηρωισμού και ανδρείας. Στόχος του ήταν η κινητοποίηση ολόκληρου του ελληνικού πληθυσμού της Κύπρου και η στράτευσή του στον αγώνα, πράγμα που πέτυχε. Παράλληλα προς τη σύσταση και οργάνωση των αντάρτικων ομάδων της ΕΟΚΑ που δρούσαν τόσο στην ύπαιθρο όσο και στις πόλεις, ακόμη και μέσα σ' αυτές τις ίδιες τις θεωρητικά απόρθητες βρετανικές στρατιωτικές βάσεις, ο Γρίβας επεδίωξε και σε σύντομο χρονικό διάστημα κατόρθωσε να οργανώσει και να κατευθύνει τη νεολαία, μέσω της οργάνωσης ΑΝΕ (Άλκιμος Νεολαία ΕΟΚΑ). Η νεολαία, που χρησιμοποιήθηκε πλατιά κατά τη διάρκεια του αγώνα ως μεγάλη μαχητική δύναμη (διαδηλώσεις -συγκρούσεις με τους Βρετανούς, μεγάλες δυνάμεις των οποίων απασχολούσε μόνιμα), αλλά και ως πολύτιμη βοηθός σε ρίψεις φυλλαδίων, μεταφορές, αναγραφές συνθημάτων κλπ., πρόσφερε κατά το διάστημα 1955 - 59 τον καλύτερο εαυτό της. Όσον αφορά τις πλατιές μάζες του λαού, ο Γρίβας κατόρθωσε να τις στρατεύσει κι αυτές. Οι εντολές που κατά καιρούς και σύμφωνα προς τις εκάστοτε εκτιμήσεις του έδινε προς το λαό για συγκεκριμένες δραστηριότητες που εξυπηρετούσαν τον αγώνα σε δεδομένες στιγμές (όπως παναπεργίες, διαδηλώσεις, παθητική αντίσταση, μποϊκοτάζ των αγγλικών προϊόντων κλπ.), ακολουθούνταν πάντοτε κατά γράμμα, αλλά και με ενθουσιασμό. Εξάλλου, η υιοθέτηση του αγώνα από τον λαό ήταν βασικότατη προϋπόθεση για τη διεξαγωγή του, όπως, βέβαια, είναι και ο κανόνας. Πρέπει όμως να σημειωθεί ότι κατά τη διάρκεια του αγώνα δεν έλειψαν και οι προδοσίες. Στο ημερολόγιο που κρατούσε ο Γρίβας, και το οποίο ανακάλυψαν και δημοσίευσαν οι Άγγλοι, σημειώνει πράξεις προδοσίας ακόμη και κατά το στάδιο προπαρασκευής του αγώνα και πριν αυτός αρχίσει.
Αρχικά ο Γρίβας κατηύθυνε τον αγώνα από αρχηγείο το οποίο εγκατέστησε σε σπίτι στη Λευκωσία, όμως πολύ συχνά, για λόγους ασφάλειας, μετεκινείτο και διέμενε σε διαφορετικά σπίτια. Γρήγορα όμως μετακινήθηκε στα βουνά του Τροόδους, όπου είχε κρησφύγετα σε διαφορετικές τοποθεσίες. Είχε πάντα κοντά του ένα προσεκτικά διαλεγμένο και έμπιστο επιτελείο, που απεδείχθη ικανότατο σε πολλές περιπτώσεις κατά τις οποίες είτε δόθηκαν μάχες (όπως στα Σπήλια όπου ο Γρίβας και οι άνδρες του κινδύνευσαν άμεσα), είτε παρέστη ανάγκη ταχείας διαφυγής μέσα από τον κλοιό Άγγλων στρατιωτών. Πολλά σχέδια αντάρτικης δράσης συνέτασσε ο ίδιος, ενώ άλλα που του υποβάλλονταν για τελική έγκριση τροποποιούσε και διόρθωνε. Είχε οργανώσει επίσης ένα πολύ ικανοποιητικό δίκτυο συλλογής πληροφοριών, ένα καλό δίκτυο επικοινωνίας μέσω συνδέσμων, που εργαζόταν ταχύτατα και κάλυπτε ολόκληρη την Κύπρο, ενώ τα φυλλάδια και οι προκηρύξεις του σκορπίζονταν το ίδιο ταχύτατα σ' ολόκληρο το νησί. Ίδρυσε επίσης την Πολιτική Επιτροπή Κυπριακού Αγώνος (ΠΕΚΑ) που κατευθυνόταν προσωπικά από τον ίδιο, διατηρούσε μόνιμη επαφή με την Ελλάδα και με παράγοντες στην Κύπρο, η δε όλη αλληλογραφία του, που ήταν ογκώδης, διεξαγόταν με τη χρησιμοποίηση ψευδωνύμων.