Sir Roger Fiennes è stata concessa una licenza per costruire Herstmonceux nel 1441. Il castello fu uno dei primi ad essere costruita in mattoni e fu costruito in un lago, in modo che l'acqua ha agito come un ampio fossato. Il castello era ben arredate, progettato per il comfort rispetto per la difesa di più. Purtroppo il castello non era ben tenuto da alcuni dei suoi successivi proprietari. Entro la fine del XVIII secolo che gran parte di essa era stata demolita per fornire materiali da costruzione per il posto di Herstmonceux, più in alto sulla collina.