L'histoire du château du Vergier commence vraisemblablement au XVIe siècle, quand les seigneurs du Verger, une famille noble de Désaignes, décide d'en entreprendre la construction. Il s'agit à l'origine d'une simple maison forte rectangulaire avec une tour d'escalier.

Le château et le domaine (fermes, prairies, troupeaux) passent aux mains de la famille de Tournon par le mariage de Jean de Tournon et d'Isabelle du Vergier. Leurs héritiers Francois-Christophe de Tournon-Meyres et sa femme s'installent au château en 1630, le réaménagent, font construire la chapelle de la Croix du Verger dans la cour du château. Ils font également progresser l'économie locale en développant la production de soie à Désaignes : ils font planter 31 000 mûriers sur leurs terres et font certainement bâtir la magnanerie pour cultiver les vers à soie.


En 1746, pour des raisons d'héritage, Jacques de Tournon accole le nom de jeune fille de sa mère au sien ; la branche s'appelle désormais de Tournon-Simiane.
Son petit-fils Just-Hippolyte vient se fixer définitivement au château au début du XIXe s.
En 1830, il fait reconstruire la façade nord du château : le bâtiment est élevé d'un étage et toute la maison ornée de machicoulis.
La tour est aussi élevée et garnie de créneaux ; la terrasse est faite en 1859. Enfin, en 1868, des platanes sont plantés le long de l'avenue du Vergier.
Des vignes et des pommiers sont également plantés en cette fin du XIXe s.
La petite nièce de Just-Hippolyte épouse à la même époque le comte Jean de Chabannes-La Palice, famille qui conserve le château jusqu'en 1994.

Texte établi d'après l'exposition "La famille de Tournon à Désaignes ", réalisée par J. et G. Popon et J et D. Bernard