Na Huis ten Bosch was het Huis ter Noot, aan de zuidzijde van de Bezuidenhoutseweg het meest opvallende gebouw aan de Bezuidenhoutseweg. Volgens oude verhalen was dit huis in de Middeleeuwen als kasteel gebouwd en dankte het zijn naam aan de moedige daad van een zekere ridder Geldolph de Kortenaer. De ridder had gravin Ada uit een belegerde woning gered en mocht zijn kasteel Huis ter Noot noemen. Er zijn nog twee van dit soort fraaie verhalen over het middeleeuwse huis, maar in werkelijkheid was het geen middeleeuws huis. Het werd pas in 1595 gebouwd in opdracht van Karel ter Noot. Van der Noot op dat moment kapitein van de lijfwacht van prins Maurits. Hij zou later gouverneur (commandant) van achtereenvolgens Oostende en Sluis worden. Daar had ons land (het was de Tachtigjarige Oorlog) garnizoenen liggen.

Karel ter Noot had een ouderwetse geest of hij ging om een andere reden niet met zijn tijd mee, want hij liet zijn nieuwe huis een kasteelachtig uiterlijk geven. Veel huizen in Den Haag zagen er nog kasteelachtig uit, maar die raakten langzamerhand juist uit de gratie. Ze werden afgebroken en vervangen door een kleinere en moderner ingerichte woning. Een middeleeuwse woning stond niet als huis aan de straat, want aan de straat stond een muur met een poort. Door de poort kwam je op een binnenhof en daar lag de woning dan aan, samen met enkele bijgebouwen. Raadpensionaris Johan van Oldenbarnevelt kocht zo’n ouderwets wooncomplex, liet het slopen en vervangen door een moderner ogend huis waarvan de voorgevel deels nog aan de Kneuterdijk staat. Het huis van Johan de Witt aan de Kneuterdijk had ook zo’n middeleeuwse voorganger. Karel ter Noot’s huis werd ook wel ‘hofstede’ genoemd, een aristocratisch lijkend wooncomplex en misschien ook zijn bedoeling.