Au XV siècle apparaît le nom du Château de Ribourdin : Pierre de Chuin en est le premier seigneur connu, il y vécut de 1517 jusqu'à sa mort vers 1540. Le domaine comprend alors le Château de La Motte et celui de Fontaine-Madame. Guillaume de Chuin lui succède. A sa mort, sa veuve Marie Deschamps, dame d'Avigneau, a la tutelle de leur fille Marie et épouse en secondes noces François Maraffin, calviniste convaincu.
Contre le gré de ce dernier, sa belle-fille convole avec Guillaume de la Bussière ,un catholique, qui prend alors possession des châteaux d'Avigneau et Ribourdin dont son épouse est l'héritière. Marie de Chuin, après la mort de Guillaume de la Bussière se remarie avec Léon de Mauny. Leur fille recevra, en 1611, Ribourdin en dot lors de son mariage avec Antoine Chevalier des Miniers. 
Leur fille Marie Chevalier, épouse du marquis Louis Culant, vend le fief en 1761 à François Michel Petit de Marivats. Le marquis de Germigny lui succède mais ne résidera pas au château qu'il cèdera vers 1775 aux Châteauvieux, seigneurs de Fontaine-madame.
En 1811, la famille de Châteauvieux en proie à des difficultés financières le vendra en même temps que Fontaine-Madame à M. Davache de Thèze.
A partir de 1820, la propriété de Ribourdin fit l'objet de ventes successives à des fermiers.

Sur la route de Vallan, on découvre le château situé dans le fond du vallon. 
Au XIXème siècle encore, le Château de Ribourdin conservait son enceinte de larges douves alimentées par le ruisseau voisin et une porte fortifiée en défendait l'entrée près du colombier. 
Le manoir est composé d'un corps de logis rectangulaire flanqué de deux tourelles aux angles opposés nord et sud. 
La composition architecturale de cet édifice du XVIème siècle avait été particulièrement soignée et subsiste malgré ses mutilations. Un cordon de pierre mouluré maque le niveau de l'étage ; il s'interrompt pour laisser pointer le sommet de frontons triangulaires des fenêtres, portés sur des pilastres aux chapiteaux corinthiens, d'où émergeait un personnage en buste aujourd'hui brisé. Au centre atteignant juste ce cordon, le fronton de la porte légèrement plus basse est porté par de chapiteaux ioniques sur pilastres à cannelures. Un cartouche armorié, malheureusement martelé, décorait ce fronton central. Les fenêtres de l'étage ont perdu leurs meneaux de pierre. 
Il n'y avait primitivement qu'une porte centrale donnant dans un vestibule avec au fond l'escalier en pierre et, de part et d'autre, deux belles salles dont les plafonds aux poutres peintes conserves les traces d'un décor de rinceaux et cartouches. Elles ont gardé leurs cheminées monumentales de pierre sculptée comme la grande chambre à l'étage. 
La même ordonnance architecturale se retrouve sur la face ouest avec des fenêtres en plein cintre. 
Une allée plantée d'arbres conduisait directement à l'église du village et les seigneurs de Ribourdin gagnaient leur chapelle « L'Eglise de Chevannes », au bas-côté nord par une porte depuis longtemps murée. 

Le Colombier est une tour massive aux belles proportions qui, voici cent ans, eut les honneurs du bulletin de la Société des Sciences de l'Yonne dans un article intitulé « Oratio pro columbis » (Supplique en faveur des pigeons) dont voici un extrait :

« …, j'ai visitée plusieurs colombiers situés dans la vallée fertile de la vallée de Baulches, à l'ouest d'AUXERRE, depuis les plateaux de VALLAN jusqu'à la rivière d'Yonne. On rencontre là de curieux spécimens. Le plus beau, le plus parfaitement conservé est celui de la ferme de Ribourdin (…). La ferme est d'aspect pittoresque. Les bâtiments dates de la renaissance et offrent des vestiges parfaitement conservés. C'est un vieux castel tombé en vilenie. La cour forme un vaste quadrilatère. Le colombier est installé dans la tour de gauche en entrant. Notre compatriote et excellent collègue M Charles Philipard, a eu la gracieuseté de bien vouloir nous en faire un croquis des plus réussis.
La porte du colombier est située à trois mètres de hauteurs au-dessus du sol. Il faut escalader une échelle. On respire, en entrant dans la tour, un vrai parfum de Moyen-Âge compliqué d’une odeur de colombine des plus accusées. Les soins de propreté ne s’y donnent que deux fois par an. Or, la Maison Rustique, cet oracle infaillible, recommande de faire cette toilette quatre fois, chaque année.

Le nombre de boulins est horizontalement de 80, sur 36 de hauteur, soit plus de 2800 loges. Le mécanisme servant à la cueillette des pigeonneaux est très remarquable. Il se compose d’un arbre vertical de huit mètre de haut, pivotant sur un arbre de couche en forme de croix. Au sommet de cet arbre de flèche qui pivote également au plafond, existe une série de liens ou traverses sur lesquels viennent s’appuyer deux échelles, l’une à droite, l’autre à gauche, fixées à l’arbre de couche et pouvant être mise en mouvement par une simple pression de la main, ce qui permet au fermier de faire du haut en bas, et facilement, la récolte des pigeonneaux. Au dessus du pivot supérieur, se trouve une sorte de chapeau, ou parapluie, d’une architecture très artistique. On l’appelle : enrayure, m’a dit le médecin ordinaire du mécanisme…»» 

N'hésitez pas à nous demander pour visiter le Colombier, c'est avec plaisir que nous vous ferons découvrir l'intérieur de cet incroyable édifice composé de près de 2800 boulins (niches pour les pigeons) en terres cuites emmurées et désservies par un système de doubles échelles tournantes.Attention, l'accès se fait par une petite échelle et reste délicat.