然而 在历史上这座小城堡确实也是隶属于女人,它是被女人占据的秘密花园。城堡最早的主人戴安娜(Diane de Poitiers)是国王亨利二世所钟爱的情人,1559年,国王去世后,善妒的王后凯瑟琳(Catherine de Medicis)无法忍受如此美丽的城堡竟然在情敌手中,想办法把戴安娜赶出了香侬堡,将城堡据为己有。如今在城堡的房间里,经常可以看到一组组的徽饰,两个相反的“C”相交组成的徽饰代表王后凯瑟琳,而金色的“H”则代表了国王亨利二世,两者相叠本来是表示国王和王后在一起,不过从另一个角度看,却正好是戴安娜的徽饰-两个相交的“D”。看着大幅油画上的凯瑟琳王后,一袭黑衣,面色阴冷,想来住在情敌城堡里的她心情也愉快不起来。