Fino al tardo XVI secolo, la maggior parte del terreno basso tra segale e Winchelsea era un porto poco profondo, chiamato il Camber, protetto dal mare da una lunga serie di banche di ciottoli. Tra il 1512 e il 1514 Sir Edward Guldeford costruì una torre circolare alla fine di uno di questi spiedi di ghiaia per difendere il porto. Nel 1538 la minaccia di invasione da cattolica Francia e Spagna portò Enrico VIII per creare una catena di forti artiglieria lungo la costa meridionale per proteggere le zone vulnerabili e strategiche. L'attuale torre di Camber venne incorporata in un nuovo forte costruito tra il 1544 e il 1539. Tuttavia il castello era di avere una vita molto breve attiva. Entro la fine del XVI secolo l'insabbiamento del Camber reso il castello in gran parte obsoleto e nel 1637 venne congedata la guarnigione. Abbandono del castello presto questo ha significato che a differenza di altri Henrician forti, come il castello di Walmer, che sono stati notevolmente modificati nel corso dei secoli, al castello di Camber il disegno originale rimane ancora.