Omstreeks het jaar 960 wordt Rumpt vermeld in een lijst van bezittingen van de St. Maartenskerk te Utrecht. Later heeft de Heerlijkheid Rumpt evenals Gellicum behoord tot het land van Arkel. Uit eindelijk komt het Huis te Rumpt in het bezit van Thomas van Scherpenzeel. Sindsdien is dit geslacht vervolgens tot 1741 aan dit huis en het dorp verbonden geweest. In 1721constateerde een tante Barbara van Scherpenzeel dat haar neef Johan, de tegenwoordige heer van Rumpt inteerde op zijn vermogen. Bij de dood van Johan in 1741 kwam het in het bezit van zijn neef Diederik Johan Heerman. In die familie zijn de landbouw gronden nog vele jaren in hun bezit gebleven. Het verval van het kasteel nam hand over hand toe, het trotse bouwwerk bleek niet meer te redden en is niet meer herrezen.
Staande met de rug naar het Huis te Rumpt kijkt men uit over twee kolken. De grote en het kleine wiel. Tussen deze twee wielen stond in de Middeleeuwen het kasteel. Hier staat nu een hardstenen veldkruis ter herinnering aan Otto van Scherpenzeel. Hij sneuvelde hier in 1524 in de strijd tegen de krijgsbenden van zijn oom, Rudolf van Arnholt bisschop van Utrecht. Twee bisschoppelijke krijgsbendes trekken vanuit Wijk bij Duurstede de Rijn over en plunderen het Gelderse land. Jonker Ot maakt met een aantal knechts het kasteel gereed voor de verdediging. Het is de 23e oktober in het jaar 1527 als de krijgsbende op het kasteel afkomt. De slotbrug is opgehaald maar de groep ziet toch kans het voorplein te bereiken via de slotgracht. Ot weert samen met een aantal knechts de aanval af, maar toch treft een lans hem naast de helm zodat hij met een grote gapende hoofdwond neervalt. Uiteindelijk krijgen de knechts de overhand en dringen de bende de slotgracht in waar vele de dood vinden onder de felle slagen van spaden en dorsvlegels.
Uit kwartaalblad Mededelingen Historische Kring West-Betuwe.
Huys te Rumpt is onderdeel van de kastelenroute West Betuwe 1: Lingeroute, welke tot stand is gekomen door Stichting Kunst & Cultuur West Betuwe (SKCWB) m.m.v. de Historische Kring West Betuwe. Kijk hier voor meer informatie over de kastelenroute.
Lees meer