Το φρούριο του Κολοσσιού, που θυμίζει ένα αρκετά μεγάλων διαστάσεων πύργο, παρόμοιους του οποίου συναντούμε στην Ευρώπη και ιδιαίτερα στη Γαλλία, κτίστηκε το 1454 από τον μεγάλο διοικητή του τάγματος των Ιωαννιτών Louis de Magnac στα ερείπια, όπως προαναφέρθηκε, παλαιότερου φρουρίου που ανάγεται στις αρχές του 13ου αι. Δικό του Magnac θεωρείται και το οικόσημο που βρίσκεται στο κάτω μέρος της πλάκας, που είναι εντοιχισμένη στον ανατολικό τοίχο του φρουρίου.
Το φρούριο, για την εποχή που κτίστηκε, ήταν πολύ ισχυρό και πρόσφερε ικανοποιητική ασφάλεια στην περιοχή. Οι τέσσερις πλευρές του έχουν μήκος 16 μέτρα εξωτερικά και 13,5 μέτρα εσωτερικά η κάθε μια, πράγμα που σημαίνει ότι οι τοίχοι έχουν πάχος 1,25 μέτρα. Το ύψος του φρουρίου είναι 21 μέτρα. Τούτο αποτελεί ένα επιβλητικό τετράγωνο καλοκτισμένο πύργο.
Το φρούριο αποτελείται από τρία πατώματα. Το πρώτο (ισόγειο), το δεύτερο και το τρίτο πάτωμα. Το ισόγειο εχρησιμοποιείτο πιθανώς ως αποθήκη και χωριζόταν σε τρία τμήματα με τις μακριές πλευρές παράλληλες με την ανατολική και τη δυτική. Στους δυο από τους τρεις χώρους υπάρχουν τα στόμια υδατοδεξαμενών.
Το δεύτερο πάτωμα από τα βόρεια προς τα νότια διαιρείται σε δυο μεγάλες ορθογώνιες αίθουσες. Στη δυτική αίθουσα υπάρχει ένα μεγάλο απλό τζάκι που φανερώνει πως αυτή χρησίμευε ως κουζίνα. Στην ανατολική αίθουσα υπάρχει μια μεγάλη τοιχογραφία 2,5 Χ 2,5 μέτρα. Αυτή παριστάνει τη σταύρωση του Ιησού, με την Παναγία στη μια πλευρά και τον άγιο Ιωάννη στην άλλη. Στην κάτω αριστερή γωνιά της τοιχογραφίας διακρίνεται καθαρά το οικόσημο του Louis de Magnac, κτήτορα του πύργου.
Η είσοδος στο δεύτερο πάτωμα εξασφαλιζόταν με μια κρεμαστή γέφυρα, που βρισκόταν στη νότια πλευρά. Η κρεμαστή αυτή γέφυρα, μαζί με τη βάση πάνω στην οποία στηριζόταν όταν ήταν κατεβασμένη, καταστράφηκαν και αντικαταστάθηκαν το 1933 με πέτρινη σκάλα, που σώζεται μέχρι σήμερα, και μια νέα κινητή γέφυρα. Στο μέσο περίπου της ανατολικής πλευράς του δεύτερου πατώματος υπάρχει πέτρινη σκάλα που οδηγεί στο ισόγειο. Στη νοτιοανατολική γωνιά του δεύτερου επίσης πατώματος, υπάρχει μια δεύτερη πέτρινη κυκλική σκάλα, που έχει σχήμα ανεμόσκαλας, κι οδηγεί στο τρίτο πάτωμα και στην οροφή.
Στο τρίτο πάτωμα βρισκόταν η κατοικία του μεγάλου διοικητή, ή, πιο συχνά, του υπολοχαγού του: Τούτο αποτελείται από δυο μεγάλες αίθουσες και στην κάθε μια υπάρχουν περίτεχνα τζάκια, που φέρουν το τρίφυλλο έμβλημα του Louis de Magnac. Τέσσερα παράθυρα σε κάθε δωμάτιο πλαισιώνονται από καθίσματα σκαλισμένα στο πάχος του τοίχου. Από τις τρύπες που διακρίνονται στους τοίχους φαίνεται πως τα δωμάτια αυτά στο μισό τους περίπου ύψος, με τη βοήθεια ξύλινου πατώματος, χωρίζονταν στο πάνω μέρος σε σοφίτες ή αποθήκες και στο κάτω μέρος σε καθιστικό χώρο.
Από το τρίτο πάτωμα η πέτρινη σκάλα οδηγεί στην οροφή του φρουρίου, που έχει τετράγωνο σχήμα, 16 Χ 16 μέτρων. Η οροφή προστατευόταν από 19 πολεμίστρες, που βρίσκονται στις τέσσερις πλευρές της και τη ζεματίστρα. Η ζεματίστρα ή φονιάς, σώζεται προεξέχοντας από το κτίριο με πέντε ανοίγματα, που έχουν διαστάσεις 40 Χ 40 εκ. και καταλαμβάνουν συνολικά μήκος 3 μέτρων. Απ' αυτά οι υπερασπιστές του φρουρίου έριχναν ζεματιστό λάδι ή νερό, για να εμποδίσουν την είσοδο του εχθρού στο φρούριο. Η ζεματίστρα βρίσκεται ακριβώς πάνω από την είσοδο του φρουρίου, έτσι που το ζεματιστό λάδι έπεφτε εναντίον όσων προσπαθούσαν να την παραβιάσουν.
Στην ανατολική πλευρά του φρουρίου υπάρχει μια μαρμάρινη πλάκα, που έχει σχήμα μεγάλου σταυρού και φέρει μέσα στο κέντρο θυρεό, που διαιρείται σε τέσσερα διαμερίσματα και παριστάνει το τότε πλήρες οικόσημο των Λουζινιανών της Κύπρου. Το οικόσημο αυτό τοποθετήθηκε στο κέντρο της μαρμάρινης πλάκας, με σκοπό να υπογραμμίσει την αφοσίωση και νομιμοφροσύνη του τάγματος των ιπποτών του Αγίου Ιωάννη στο βασίλειο της Κύπρου, την ασφάλεια του οποίου αυτοί, εξάλλου, είχαν ταχθεί να υπηρετούν. Πάνω από το θυρεό υπάρχει στέμμα, ενώ στις δυο πλευρές του βασιλικού οικόσημου των Λουζινιανών βρίσκονται τα οικόσημα των δυο μεγάλων μαγίστρων του τάγματος —του Jean de Lastic (από το 1427) και του Jaque de Milli(1454-1461). Σκοπός της πιο πάνω πλάκας, από την οποία φαίνεται και η χρονολογία ανέγερσης του φρουρίου, είναι να σημειώσει το έτος 1454, όταν ο Jaque de Milli εκλέχθηκε μέγας μάγιστρος του τάγματος του Αγίου Ιωάννη, σε διαδοχή του Jean de Lastic, ενώ τότε ο Louis de Magnac ήταν μέγας διοικητής της Κύπρου. Οι δυο μεγάλοι μάγιστροι αντιπροσωπεύονται από τις ασπίδες τους, μια σε κάθε πλευρά των κυπριακών βασιλικών όπλων. Το οικόσημο, που βρίσκεται στο κάτω μέρος του πλαισίου, ακριβώς κάτω από τα βασιλικά οικόσημα, είναι του μεγάλου διοικητή Louis de Magnac, που θεωρείται πως είναι και ο κτήτορας του φρουρίου.
Στα νότια ακριβώς του κυρίως οικοδομήματος του κάστρου υπάρχει περιτειχισμένη αυλή. Υπάρχουν επίσης τα ερείπια βοηθητικού οικοδομήματος στη νοτιοδυτική πλευρά του κτιρίου, που πιθανώς εχρησιμοποιείτο ως αποθηκευτικός χώρος και σταύλος. Στη νοτιοδυτική γωνία του κτιρίου αυτού υπάρχει είσοδος, που προστατευόταν από κυκλικό πύργο του οποίου σώζονται τα κατάλοιπα.
Το 1488 με τη συγκατάθεση του τάγματος, το Κολόσσι πέρασε στην κατοχή της οικογένειας Κορνάρο. Ο πρώτος από τους νέους ιδιοκτήτες ήταν ο Γεώργιος Κορνάρο, αδελφός της βασίλισσας Αικατερίνης.
Η Commanderie του Κολοσσιού για μεγάλο χρονικό διάστημα ήταν η πλουσιότερη κτήση που είχαν στην κατοχή τους οι ιππότες. Αυτό φαίνεται και από το γεγονός ότι το 1468 καθορίστηκε όπως από το εισόδημα της Commanderie καταβάλλονται κάθε χρόνο 4.000 δουκάτα στο ταμείο των ιπποτών της Ρόδου. Στην αρχή της Βενετοκρατίας (1489) η Commanderie είχε ακόμη στην κατοχή της 41 χωριά που έδιναν ετήσιο εισόδημα 8.000 δουκάτα.
Η σημαντική αυτή περιουσία μαζί με τον κληρονομικό τίτλο του μεγάλου διοικητή δόθηκε ως δώρο στον Γεώργιο Κορνάρο, όταν αυτός κατόρθωσε να πείσει την αδελφή του Αικατερίνη να παραιτηθεί από το θρόνο και να παραχωρήσει το νησί στη Βενετική Δημοκρατία. Μετά την κατάκτηση του νησιού από τους Τούρκους το 1570-71, η οικογένεια Κορνάρο έχασε αυτή την περιουσία, αλλά εξακολουθούσε να κατέχει τον τίτλο του μεγάλου διοικητή. Ο οίκος Κορνάρο εξέλιπε το 1799, αλλά τον τίτλο διεκδικούσε ακόμη και μετά το έτος αυτό ο κόμης Μοτσενίγγο, που νυμφεύθηκε την κληρονόμο του οίκου Κορνάρο.