Il castello di Raby venne costruito fra il 1367 e il 1390 da John Neville, III barone Neville di Raby e qui nacque sua nipote Cecily Neville, futura madre di Edoardo IV d'Inghilterra e di Riccardo III d'Inghilterra, il 3 maggio 1415. Dopo la fallita Rivolta dei papisti a vantaggio di Maria Stuarda nel 1569 cui prese parte anche Charles Neville, VI conte di Westmorland (18 agosto 1542-16 novembre 1601) il castello finì sotto la custodia reale.