Το Κάστρο της Χίου έχει έκταση 180.000 τ.μ. και τα τείχη του περικλείουν οικιστικό σύνολο με 650 κατοίκους. Η κατοίκηση στον χώρο του Κάστρου μαρτυρείται τουλάχιστον από τους ελληνιστικούς χρόνους. Ευρήματα ανασκαφών πιστοποιούν τη συνέχισή της στους ρωμαϊκούς και στους πρωτοβυζαντινούς χρόνους. Ναοί των μεσοβυζαντινών χρόνων μαρτυρούνται από τις πηγές (10ου αι.) και από ευρήματα ανασκαφών (11ου αι.).
Το σημερινό Κάστρο της Χίου ταυτίζεται με το γνωστό από τις πηγές οχυρό που άρχισε να οικοδομεί το 1328 ο Γενουάτης ηγεμόνας της Χίου Martino Zaccaria. Το 1329 το κάστρο καταλήφθηκε για λογαριασμό του βυζαντινού αυτοκράτορα από τον Ανδρόνικο Γ' Παλαιολόγο και παρέμεινε στους κόλπους της Βυζαντινής Αυτοκρατορίας έως το 1346, οπότε η Χίος περιήλθε οριστικά ως κτήση στη Δημοκρατία της Γένουας. Η περίοδος της Γενουατοκρατίας στη Χίο διήρκεσε δύο αιώνες, από το 1346 έως το 1566. Στους μεσαιωνικούς χρόνους το Κάστρο της πόλης (η Civitas Chii) ήταν το κέντρο της πολιτικής και της στρατιωτικής διοίκησης της Χίου. Έξω από τα τείχη του εκτεινόταν η πόλη, το borgo. Τη διακυβέρνηση του νησιού είχε αναλάβει μια εμπορική εταιρεία, η Μαόνα, της οποίας τα μέλη από το 1362 και εξής ανήκαν στη φατρία (Albergo) των Ιουστινιάνι (Giustiniani) στη Γένουα και από τότε έφεραν το επώνυμο Ιουστινιάνι.
Το 1566 ο Πιαλή πασάς κατέλαβε το Κάστρο αμαχητί για λογαριασμό του Οθωμανού Σουλτάνου Σουλεϊμάν του Μεγαλοπρεπούς. Το 1694 το κατέλαβαν για ένα εξάμηνο οι Ενετοί, που πραγματοποίησαν εκτεταμένες εργασίες στις οχυρώσεις παρά το μικρό διάστημα της κυριαρχίας τους. Έκτοτε το Κάστρο παρέμεινε αδιάλειπτα στα χέρια των Οθωμανών έως το 1922, οπότε η Χίος απελευθερώθηκε και εντάχθηκε στο Ελληνικό Κράτος.
Η Ελληνική Πολιτεία έλαβε από το 1924 μέτρα προστασίας του μνημείου και με Προεδρικό Διάταγμα τον Οκτώβριο της ίδιας χρονιάς χαρακτήρισε το Κάστρο ως διατηρητέο αρχαιολογικό και ιστορικό χώρο. Παρ΄ όλ΄ αυτά το μνημείο απειλήθηκε σοβαρά κατά τη διάρκεια του 20ού αι., όταν μερίδα της χιακής κοινωνίας ζητούσε επιτακτικά την κατεδάφισή του, αίτημα που αναζωπυρωνόταν κατά καιρούς, στη δεκαετία του 1930 αρχικά και κατόπιν κατά τις δεκαετίες του 1950 και του 1970. Καθοριστικές για την απαξίωση και την κακή κατάσταση διατήρησης του μνημείου στους νεότερους χρόνους ήταν οι φυσικές καταστροφές (σεισμοί) του 1881 και του 1949, η κατασκευή της νέας προκυμαίας το 1896 που αλλοίωσε δραστικά το επιλιμένιο τείχος, η μαζική εγκατάσταση στο Κάστρο των Ελλήνων προσφύγων που κατέφυγαν στη Χίο μετά την μικρασιατική καταστροφή του 1922 και η γερμανική κατοχή, όταν προμαχώνες και οικοδομικό υλικό του Κάστρου χρησιμοποιήθηκαν για το άλεσμα των σιτηρών. Ακόμη, μετά την απελευθέρωση της Χίου από τους Οθωμανούς το 1912 τα τείχη λιθολογήθηκαν συστηματικά, καταστράφηκαν μερικώς δύο προμαχώνες, η δυτική Πύλη («Επάνω Πορτέλλο»), καθώς και τμήματα του επιθαλάσσιου τείχους με τη χρήση εκρηκτικών.
Τα τείχη του, χερσαία και επιθαλάσσια, σχηματίζουν ένα μη κανονικό πεντάγωνο. Εννέα πύργοι διαφορετικής αρχιτεκτονικής, ανάλογα με την περίοδο που χτίστηκε ο καθένας, δεσπόζουν κατά μήκος των τειχών (σώζονται οκτώ από τους εννέα, μερικοί σε πολύ καλή κατάσταση). Μέρος της ανατολικής πλευράς των τειχών δεν σώζεται σήμερα.
Tα χερσαία τείχη περιέβαλλε τάφρος, δημιουργώντας ένα τεχνητό νησί και συμβάλλοντας έτσι στην καλύτερη άμυνα του Κάστρου. Σήμερα η τάφρος έχει αποστραγγιστεί και επιχωματωθεί.
Το Κάστρο είχε τρεις εισόδους, την κύρια είσοδο-πύλη, την ονομαζόμενη «Πόρτα Μαγγιόρε» (Porta Maggiore), τη Δυτική Πύλη («Επάνω Πορτέλλο») και τη Θαλασσινή Πύλη (Porta di Marina), η οποία σήμερα δεν σώζεται.
Την κύρια είσοδο του Κάστρου αποτελεί η μνημειώδης Νότια Πύλη (Porta Maggiore), η οποία προστατεύεται από έναν κυκλικό πύργο στα δεξιά και διακοσμείται με παραστάσεις, γείσο και συμμετρικά πτερύγια. Μια μεγάλη επιγραφή με το λιοντάρι του Αγίου Μάρκου και το όνομα του δόγη Silvestro Valerio, που δύσκολα διακρίνεται σήμερα μετά από τη σφυροκόπησή της από τους Τούρκους, δηλώνει την προσπάθεια των Βενετών για τη μετασκευή της πύλης μετά το 1694.
Μετά την καμαροσκεπή στοά που ακολουθεί προβάλλει το Παλάτι των Ιουστινιάνι, κτίριο του 15ου αιώνα, που αναστηλώθηκε πρόσφατα και χρησιμοποιείται ως εκθεσιακός χώρος παλαιοχριστιανικών ψηφιδωτών, βυζαντινών τοιχογραφιών, μεταβυζαντινών εικόνων και ξυλόγλυπτων. Στον ίδιο χώρο βρίσκεται και η «σκοτεινή φυλακή» στην οποία φυλακίστηκαν εβδομήντα προύχοντες της Χίου μαζί με τον μητροπολίτη Πλάτωνα, πριν απαγχονιστούν στις 23 Απριλίου του 1822. Το μνημείο είναι μια τετράγωνη αίθουσα (10x8,5 μ.) στεγασμένη με τέσσερα οξυκόρυφα σταυροθόλια.
Στον κεντρικό δρόμο του Κάστρου υψώνονται το τέμενος Μπαϊρακλή Τζαμί και ο ναός του Αγίου Γεωργίου (άλλοτε Εσκί Τζαμί). Πιο κάτω, στη βόρεια γωνία του οχυρού, συναντούμε ένα συγκρότημα τούρκικων λουτρών του 18ου αιώνα με σφαιρικούς θόλους, καθώς και τον κυκλικό πύργο του Ζeno με την αμυντική δομή του, έργο των Βενετών από το 1694. Τα ερείπεια του επιθαλάσσιου τείχους διασώζουν στοιχεία της γενουάτικης περιόδου.
Την είσοδο προς το λιμάνι της Χίου έλεγχε παλαιότερα το μικρό οχυρό Μπούρτζι που σήμερα δεν σώζεται. Άλλα αξιοθέατα του Κάστρου αποτελούν η Κρύα Βρύση, μια ημιυπόγεια δεξαμενή με βυζαντινές φράσεις, το Τουρκικό νεκροταφείο με μνήματα Τούρκων στρατηγών και ναυάρχων και ο τουρκικός πύργος Κουλάς, κτισμένος εξ ολοκλήρου από αρχαίο οικοδομικό υλικό.
