Il semblerait que le château ait été construit à la place d'un manoir* qui existait à tout le moins entre 1560 et 1612, dates entre lesquelles le duc de Croÿ demanda au peintre Adrien de Montigny (Valenciennois) de reproduire en dessins, gouaches et autres aquarelles les ....de ses fiefs.
Nous avons ainsi put retrouver grâce à la collaboration de la DRATLP un des "Albums du Duc de Croÿ" traitant du comté du Hainaut dans lequel une gouache est reproduite représentant le village de "Torricourt".....
* Un manoir (en latin : manerium) est la résidence ou la demeure (en latin manere : demeurer, rester) d'un noble. Le bâtiment est parfois désigné aussi par « gentilhommière », l'habitation d'un « gentil », c'est-à-dire d'un noble de naissance. Avec son allure de petit château implanté sur un fief ou un « domaine », c'est donc bien souvent, dans un village ou un hameau, la bâtisse la plus vaste, la plus belle et la mieux équipée, puisque y habitait un hobereau, qui pouvait, contrairement à d'autres plus fortunés et puissants encore, ne pas disposer d'autres résidences telles qu'un hôtel particulier dans la ville proche, plus confortable en hiver. On peut distinguer un manoir d'un château par le fait que l'exploitation agricole était essentielle pour le manoir et gérée directement par son seigneur, qui n'avait pas le privilège d'exercer des fonctions plus honorifiques, militaires ou administratives (acquises non par compétence mais par achat de « charges »). Le manoir est donc aussi dans toutes les provinces et jusqu'à la Révolution française le centre décisonnel de la figure locale de la petite noblesse, faisant exploiter elle-même les terres de son domaine par « ses » paysans, ses plus proches voisins, « son » peuple
