Dans le courant de l’année 1884, la place de l’Ancien-Palais, à l’arrière de Jacquemart, est le théâtre d’une fête inédite. Louis Arpagaus, plâtrier-peintre, 14 ans, a l’idée originale de faire appel aux camarades volontaires de tous les quartiers pour donner une démonstration collective de gymnastique. Les garçons du bas-Allier, de la rue de Bourgogne, de la rue de Decize, de Nomazy, de la rue des Garceaux etc. se rassemblent un dimanche. Chaque section est accompagnée de sa clique.
Monsieur Blondeau, menuisier place de l’Ancien-Palais, a généreusement fabriqué et prêté tous les appareils indispensables. Dès le matin, les jeunes gens, le plus âgé a à peine 15 ans, se produisent dans des exercices individuels. Et les « musiciens », eux, s’en donnent à cœur joie avec leurs clairons, tambours, tant et si bien que la police se déplace pour connaître l’origine du tapage. Elle repart presque aussitôt rassurée.
Des membres de la Bourbonnaise (constituée en décembre 1878), prévenus, dont Guillaume Barbe, directeur, sont présents et suggèrent aux gymnastes de défiler en ville derrière leurs drapeaux respectifs. Monsieur Barbe émet alors l’idée de la création d’une section de pupilles de la Bourbonnaise afin de fédérer toutes ces jeunes énergies.
Ensuite, monsieur Blondeau, toujours aussi serviable, installe des tréteaux place de l’Ancien-Palais où l’on sert un festin composé de soupe à la citrouille, charcuterie, haricots rouges, pompe aux grattons. On est bien à Moulins !