Construit au XVI° siècle pour la partie la plus ancienne, le château « d’Auxon-Dessous » s’insère sur la pente entre l’église et le ruisseau, la fontaine et le moulin. C’est un ancien petit logis féodal sans prétention ni style caractéristique.
Aujourd’hui on y accède par un porche arrondi encadré de deux petites tours carrées. Au rez-de-chaussée, la cuisine à voûtes sur pilier central abrite un âtre sous son vaste manteau. À l’étage on découvre entre autres la chapelle, une vaste salle, une chambre et son cabinet de toilette. Le second étage comprend des chambres indépendantes.
La première mention écrite qui le relate est l’acte de vente du 15 mars 1609 par Louis de Scey, seigneur de Chevroz, d’une portion de seigneurie située à Auxon Dessous pour la somme de 1000 francs à Claude Antoine BUSON, co-gouverneur de Besançon, avocat et conseiller au parlement de Dole alors capitale de la province avant la conquête par Louis XIV seigneur des Auxon et Fontain.La bâtisse qui s’apparente à une ruine n’est pas habitable.
C’est Simon Claude François BUSON, fils de Claude Antoine, qui entreprend de le reconstruire entièrement au cours des années suivantes. Sa devise « Aut perfice aut ne tentes » qui peut se traduire par « ne tente rien qui ne soit parfait », se retrouvera en façade du château, de même que son blason. Celui-ci est visible à l’église, au bas du tableau ornant le retable.
Le lundi 11 juillet 1633, il passe le marché de maçonnerie et règle les dépenses au fur et à mesure de l’avancement des travaux. Au mois de septembre 1633 la construction du bâtiment commence. Le 8 octobre la moitié de la charpente est montée.
Le 30 avril 1634, il passe un marché pour deux arcades de 12 pieds, coût 14 francs et 11 gros, avec Jean BAILLY qui travaille aussi à la muraille qui ferme la cour : coût 420 francs. Le 13 août, il achète à la tuilerie du village 17 200 tuiles pour 86 francs et 200 cornières pour 6 francs et 3 gros. Le 14 août, il débourse 240 francs à François PEROT pour la ramure et quatre tournelles. Le 14 octobre, il règle successivement 335 francs et 6 gros, puis 350 francs et enfin 374 francs.
Les travaux sont terminés le 12 avril 1635. Ils ont coûté plus de 1800 francs, somme considérable payée à Jean BAILLY qui semble avoir été l’entrepreneur, le maçon PARIGOT, Jean-Louis ARBELET, Du BILLARD, Jean GILLOT de Myon, MARGAUD, Jean COURGEY, Richard BOUSAND et le charpentier Ligier GAUTHIER.
En 1658 les notaires Jean COURTOT de Cromary et Pierre JANNOT de Moncey en font la description suivante :« Une maison consistant tant en cuysine, poèlle, chambre en bas et en hault et au-dessus d’icelles les galetas ». En fait, il y a d’une part le logis proprement dit avec au rez-de-chaussée la cuisine, le poêle et une chambre puis l’escalier qui mène aux chambres du premier étage et encore au-dessus les greniers. Le portail d’entrée de la propriété est encadré de deux tours à usage de remise couronnées chacune d’une pièce à laquelle on accède par un escalier extérieur.
Le châtelain, Simon Claude Antoine BUSON, que ses fonctions retiennent à Besançon, n’habite à Auxon qu’épisodiquement, principalement à la belle saison. Le reste de l’année, le bâtiment est entre les mains de quelques domestiques qui y logent et en assurent l’entretien.Le dimanche des Rameaux, le 4 avril 1700, l’incendie qui ravage la plus grande partie du village sauf 4 maisons, n’épargne pas le château. Anne BUSON, épouse d’Antoine François d’ARVISENET, entreprend de le faire réparer en 1705. Elle l’agrandit en y adjoignant toute l’aile Est.
Il se présente alors ainsi : l’entrée principale se fait sur la façade nord par un perron de trois marches. Au rez-de-chaussée, à gauche, un couloir dessert un salon et une porte qui donne sur une petite cour intérieure qui ouvre sur la rue par une porte voûtée surmontée de l’écusson des BUSON. Il sera martelé par les révolutionnaires en 1789. A droite la cuisine à voûtes sur pilier central abrite l’âtre sous son vaste manteau.
Un escalier monumental aux marches de pierre et à balustrade en fer forgé conduit au premier étage auquel on accède aussi par trois marches depuis la rue de l’Église. A ce niveau on découvre une chambre, la chapelle flanquée de sa sacristie, deux vastes salles dont une aux boiseries sculptées qui s’ouvre par deux portes fenêtres sur la terrasse à l’ouest. Cette pièce communique avec une plus petite à usage de chambre à coucher adjointe d’un cabinet de toilette. Le sol de ce premier étage est construit entièrement en pierres alors que celui du second est en bois, de même que l’escalier qui y conduit. On y recense cinq chambres indépendantes. Un petit escalier en pierres part du corridor du rez-de-chaussée. Éclairé de deux petites fenêtres, il dessert les deux étages de l’aile Est, aux niveaux décalés par rapport à ceux de l’autre partie plus ancienne. Les quatre chambres, desservies par un couloir courant tout au long de la façade Sud, donnent pour trois d’entre elles sur le Nord.
Le château n’est qu’une partie du domaine. « Au joignant de la maison il y a un fort grand et spacieux espace de grangeage au-devant duquel il y a une belle cour et au bout d’icelle un jardin. Le tout entouré de murailles ». Il s’agit de la ferme située au nord et en contrebas. Constituée d’un grand bâtiment, elle comprend une grange au sol dallé encadrée de deux écuries pavées. La place d’aisances devant donne sur la rampe d’accès par un porche couvert de tuiles. L’arrière-cour présente un escalier en pierres lui aussi couvert de tuiles, il permet de rejoindre le devant du château.
Plus tard, un petit corps de logis à deux niveaux sera construit pour fermer cette cour comprenant au rez-de-chaussée trois pièces dont deux dallées avec chacune un âtre. Sur le linteau d’une quatrième plus petite était gravée dans la pierre la date de 1737. A l’étage, deux chambres sur plancher donnent de plain-pied sur le devant du château tandis que l’accès d’une troisième se fait par un escalier partant de la cour.
« De la cour l’on entre dans un beau jardin carré. Au bout et au joignant d’icelluy est un colombier rond couvert de laves ». Ce pigeonnier a disparu depuis longtemps.« Au joignant cour et jardin il y a un beau vergier de la contenance d’environ un journal (soit environ 33 ares. Sous l’Ancien Régime il s’agissait de la quantité de terre qu’une charrue pouvait labourer, ou qu’un homme pouvait travailler, ou la quantité de pré qu’il pouvait faucher, etc. en une journée).
Sur le côté du moulin il y a une réserve pour y mettre du poisson. Le tout est entouré de murailles au travers desquelles passe un ruisseau qui alimente le moulin. La partie située plus à l’ouest est traversée par une allée bordée d’imposants tilleuls plantés par Monsieur BOURGON au début du XIX° siècle. Elle est close d’une grille à deux vantaux soutenus par deux piliers carrés.
A la veille de la Révolution de 1789, la propriété appartient à Joseph Philippe Prosper, marquis d’ARVISENET, arrière-petit-fils d’Antoine François. En 1790, ses biens sont confisqués, rachetés comme biens nationaux par Jean Baptiste Alfred BOURGON, président à la Cour Impériale de Besançon. C’est vers cette époque que l’occupation du château devient presque permanente.
En 1860, sa fille Henriette, épouse Antoine HUGON comte d’Augicourt, en hérite. Pendant l’hiver 1870-1871, le château abrite une ambulance de campagne où sont soignés les blessés des combats des ponts sur l’Ognon à Cussey et les malades du Bataillon des Mobiles de la Haute Garonne qui y monte la garde.En 1892, la famille TRUCHIS de Varennes recueille l’héritage puis en fait don en 1903 à l’archevêché qui y crée une maison d’accueil pour les prêtres âgés du diocèse.En 1923, elle dépend de l’association Diocésaine et devient Maison Diocésaine de Retraite. L’activité fermière satisfait aux besoins par l’exploitation de près de 8 hectares : production laitière, de viande : bœufs, veaux, cochons, lapins; de légumes et de fruits; de miel et de cire. Pendant l’occupation allemande, la communauté n’échappe pas aux réquisitions.
En 1960, les propriétés sont sous la tutelle de l’administration du Département. C’est à cette époque que le château devient une maison d’accueil pour les prêtres âgés du diocèse. Les directeurs successifs, en même temps curés de la paroisse, marquent chacun la vieille demeure de leur empreinte. Des religieuses de la congrégation de la Sainte Famille prodiguent leurs soins aux pensionnaires et s’occupent des tâches domestiques. En 1968, une convention signée avec le Département et la gestion de la maison de retraite est soumise au contrôle de la DDASS.
En plus des pensionnaires qui participent aux travaux agraires, elle emploie des ouvriers agricoles. Cette activité diminue sensiblement pour cesser dans les années 1980.
Au début de 1990, la maison de Retraite cesse ses activités. Les quelques pensionnaires restants, rejoignent avec regrets, d’autres foyers d’ accueil.
Après de longues tractations, les propriétés, sauf le terrain de l’école privée, sont reprises par le Département qui effectuera les travaux de renouvellement de toiture et de fenêtres ainsi que la démolition d’une partie de l’aile Est du bâtiment.
A la place de l’ancienne ferme, une nouvelle construction de style moderne est édifiée en 1993, l’EHPAD, qui offre des structures mieux adaptées et plus fonctionnelles à un nombre plus important de pensionnaires.
En 2020, le château est totalement fermé mais un projet de réhabilitation par des appartements est à l’étude.
