Castello bianco, insieme a Skenfrith e Grosmont, è uno dei tre castelli costruiti per proteggere una delle principali rotte attraverso la regione di confine tra Inghilterra e Galles del sud. Nel 1130 tardo di King Stephen ha tutti e tre i castelli riunito sotto un'unica Signoria che controllava i 'tre castelli' come una sola unità difensiva. Di nel 1180 castello bianco sembra essere stato il primo dei tre castelli ad essere ricostruito in pietra. White Castle è stato originariamente chiamato Castello di Llantilio, ma acquisito il nuovo nome dal rendering intonaco bianco che copriva le pareti. Nel secolo XIII che Hubert de Burgh ha tenuto la signoria dei tre castelli. Ha costruito castelli di pietra moderne a Grosmont e Skenfrith, ma ha lasciato le difese di pietra esistenti presso White Castle. a differenza di altri due castelli castello bianco sembra essere principalmente un avamposto militare, piuttosto che una casa per una famiglia nobile.