Ingesloten door woningen, scholen, kerk en een winkelcentrum is het moeilijk voor te stellen dat hier ooit een indrukwekkend kasteel met gracht stond. Wat nog herinnert aan de tijd van ridders en jonkvrouwen zijn de fundamenten, nu in gebruik als plaatselijke speelplaats en jeu de boules baan. Het gat in de grond met wat kleine gemetselde muren geeft redelijk de grootsheid weer van kasteel Hedel, dat al in 1336 vermeld wordt in de geschiedenisboeken. In 1591 werd het ontmanteld, zodat het militair geen betekenis meer had. Toen de Fransen in 1794 de Nederlanden binnenvielen, vernielden zij het kasteel. In 1802 kocht de katholieke gemeenschap van Hedel de resten en sloopte deze. In de Tweede Wereldoorlog, toen Hedel in de vuurlinie lag, werd de laatste nekslag toegediend. Veel opgegraven voorwerpen uit voornamelijk de voormalige gracht zijn te zien in het nabij gelegen Historisch Museum Hedel.