Το κάστρο έχει χρονολογηθεί στον 12ο-13ο αιώνα όταν, μετά την οριστική απώλεια των κτήσεων στη Νότια Ιταλία, η Κέρκυρα έγινε το δυτικό σύνορο της βυζαντινής αυτοκρατορίας. Ωστόσο, έχει προταθεί η χρονική τοποθέτηση μίας πρώτης οικοδομικής του φάσης στον 6ο αιώνα, όταν εγκαταστάθηκαν στην περιοχή κάτοικοι της παλαιάς Εύροιας, που εγκατέλειψαν την πόλη τους λόγω Γοτθικών επιδρομών, ενώ υπάρχει και η άποψη ότι το κάστρο κατασκευάζεται τον 13ο αιώνα από τους τότε κυρίαρχους του νησιού Ανδεγαυούς.
Το 1386, οι Βενετοί πολιορκούν το κάστρο, το οποίο υπέστη μεγάλες καταστροφές. Στα χρόνια που ακολούθησαν και παρόλο που σε εκθέσεις των Βενετών Προβλεπτών σημειώνεται η ανάγκη για την επισκευή του κάστρου, στην πράξη δεν επισκευάστηκε ποτέ. Αντίθετα, μεταξύ των ετών 1537 και 1558 αφαιρούνται συστηματικά υλικά δομής του προκειμένου να επαναχρησιμοποιηθούν στο Παλαιό Φρούριο της πόλης της Κέρκυρας. Το κάστρο της Κασσιώπης εγκαταλείπεται οριστικά και ερημώνεται μετά τις οθωμανικές επιδρομές των ετών 1537 και 1571.
Το λιμάνι και η πόλη της Κασσιώπης, ήδη πριν τη βενετική κατάκτηση του νησιού, αλλά κυρίως κατά τη διάρκεια της βενετικής περιόδου, εμφανίζονται συχνά σε περιηγητικά κείμενα ταξιδιωτών που σταματούσαν εκεί για ανεφοδιασμό. Φαίνεται πως, κυρίως από τον 14ο αιώνα και εξής, η μικρή εκκλησία που βρίσκεται στα νοτιοανατολικά του κάστρου, αφιερωμένη στην Παναγία Κασσωπίτρα, υπήρξε σημαντικό προσκύνημα, καθώς αναφέρεται σε πάμπολλα κείμενα προσκυνητών. Σύμφωνα με τις μαρτυρίες τους, ο ναός φιλοξενούσε μία θαυματουργή εικόνα της Παναγίας, η οποία κάποια στιγμή φαίνεται να αποδόθηκε στον ευαγγελιστή Λουκά, καθώς και ένα άσβεστο καντήλι, το λάδι του οποίου θεωρούσαν πως θεράπευε τους πυρετούς και προστάτευε τα πλοία από τη θαλασσοταραχή. Πολλοί από τους περιηγητές αναφέρουν και το κάστρο της Κασσιώπης ως ερημωμένο ή/και κατεστραμμένο. Συχνά, επίσης, μεταφέρονται διάφορες παραλλαγές ενός μύθου, σύμφωνα με τον οποίο η πόλη και το κάστρο καταστράφηκαν από έναν δράκο που έβγαζε φωτιά από το στόμα του.