Il primo castello normanno fu costruito presso Lydford subito dopo la conquista del 1066; i resti della suo sterri possono essere visto sul lato sud della Chiesa di St Petrock. Una nuova torre fu costruita nel 1195, leggermente a nord del castello originale, possibilmente per uso come una prigione. Sometime nel XIII secolo che fu completamente ricostruita. A fossato è stato scavato intorno la torre e il suolo ammucchiati contro il piano terra per formare un monticello. Alto due piani sono stati convertiti in un piccolo mastio, mentre al piano terra è stato riempito poll allo stesso tempo che il bailey sterro a nord-ovest è stato costruito. L'inizio del XVIII secolo il castello era diventato derelitto, ma esso è stato riparato, e per il prossimo secolo servì come una prigione e il Palazzo di giustizia, prima di essere abbandonata ancora una volta e lasciata per cadere in rovina.