Formic — Des modèles compacts, une IA accessible et souveraine · Ulycorp
Aller au contenu
Modèle d’IA développé par Ulycorp V1 bientôt disponible sur Hugging Face

Formic

Des modèles compacts, une IA accessible et souveraine.

Formic est notre programme de développement de modèles d’intelligence artificielle chez Ulycorp. Notre objectif est de réunir qualité, rapidité et maîtrise des coûts, pour rendre la souveraineté accessible aussi bien dans les entreprises que par les particuliers.

Avec Formic V1, nous avons construit une première version basée sur Qwen 3.8 27B, en développant notre propre recette de quantification et notre propre moteur d’inférence. Elle constitue la fondation technique des prochaines générations de Formic.

Descendre ↓
Couche 01Formic V1 · Résultats

27 milliards de paramètres, portés en moins de 10 Go.

Une fourmi porte plusieurs fois son poids. Formic V1 porte Qwen 3.8 27B en 9,97 Go, vision et MTP inclus. Cette version est finalisée et testée.

Fig. 01 — La charge
Qwen 3.8 27B→ 9,97 Go
vision ✓MTP ✓< 10 Go ✓
Divergence KL
0,0596

Fidélité au modèle d’origine. Plus c’est bas, plus c’est proche.

Taille
9,97 Go

Moins de 10 Go, avec la vision et le MTP inclus.

Débit
64,39 tok/s

Sur RTX 3090 24 Go ; 27 tok/s sur RTX 3080 Ti 12 Go.

La KL la plus faible parmi les versions quantifiées de moins de 10 Go.

La divergence KL mesure l’écart entre les distributions de probabilités du modèle quantifié et du modèle d’origine. Plus cette valeur est faible, plus la quantification préserve son comportement.

Dans notre évaluation directe sur les mêmes fenêtres, la KL de Formic V1 est environ 31 % plus faible que celle d’Arki05 2.82 bpw et 50 % plus faible que celle d’Axolotl XQD Q2. L’accord avec le modèle de référence sur le token le plus probable atteint 90,53 %.

Qwen 3.8 27B quantifié · moins de 10 GoKL ↓ plus bas = mieux
{{r.rank}} {{r.name}} {{r.kl}}
Ouvrir la comparaison en grand ↗
Couche 02Quantification

Lumen, notre propre méthode de quantification.

Quantifier un modèle consiste à réduire la place nécessaire pour représenter ses poids. Toute la difficulté est de le faire en limitant les perturbations introduites dans ses calculs.

Elle s’appuie sur le réseau mathématique E8 pour représenter les poids par groupes. Un mécanisme de compensation prend en compte les erreurs introduites au fil de la quantification, afin de limiter leur effet sur les sorties du modèle. La méthode progresse couche par couche, en tenant compte du comportement du réseau déjà partiellement quantifié.

Fig. 02 — La compensation, expliquée avec une image
Nuances autorisées

Quantifier, c’est garder moins de nuances pour prendre moins de place. Une image le montre mieux que des chiffres : chaque pixel est un nombre, comme chaque poids d’un modèle.

OriginalToutes les nuances

Lourd à stocker.

Arrondi sans compensation{{lumenBits}}

Chaque pixel est arrondi seul. Les petites erreurs s’accumulent : les dégradés deviennent des aplats, les détails disparaissent.

Arrondi avec compensation · Lumen{{lumenBits}}

L’erreur de chaque pixel est reportée sur ses voisins. Même nombre de nuances, même poids, mais l’image reste fidèle.

Lumen applique ce principe aux 27 milliards de poids de Formic V1 : chaque poids est arrondi, et son erreur est compensée par les poids suivants. Le modèle tient dans 9,97 Go et reste proche de l’original.

01

Représenter les poids par groupes sur le réseau E8.

02

Compenser les erreurs à mesure que la quantification progresse.

03

Calibrer sur des données variées, proches des usages du modèle.

Calibration
{{c}}

Formic V1 conserve l’architecture du modèle de base. Ses résultats proviennent de notre travail de quantification et d’optimisation de l’inférence, sans distillation ni post-entraînement supplémentaire.

−11,6 % L’enrichissement de la calibration a permis de réduire la KL de 11,6 % sur le protocole public, à taille égale.
Couche 03Moteur · C++ et CUDA

Un moteur d’inférence conçu avec le modèle.

Pour transformer cette compression en performances utilisables, nous avons développé notre propre moteur d’inférence en C++ et CUDA. La quantification et le moteur sont développés ensemble, ce qui permet d’ajuster le compromis entre mémoire utilisée, vitesse et fidélité, notamment sur des cartes de 12 et 24 Go.

CPU NVIDIA

Adapter l’exécution

Le moteur peut exécuter Formic sur CPU et GPU NVIDIA. Il adapte la représentation des poids aux ressources disponibles et optimise les opérations du réseau pour réduire le temps de génération.

RTX 3090 · 24 Go64,39 tok/s
RTX 3080 Ti · 12 Go27 tok/s
Tokens depuis votre arrivée 3090 0 · 3080 Ti 0

La vitesse des fourmis et les compteurs sont simulés au débit mesuré.

MTP

Accélérer la génération

Le moteur exploite le MTP pour proposer plusieurs tokens à l’avance. Le modèle vérifie ces propositions avant leur acceptation : lorsque plusieurs sont validées, la génération avance plus rapidement.

{{t.t}}
{{mtpInfo}} proposé accepté modèle
Couche 04Du modèle au produit

Une colonie, une chaîne.

Pour Ulycorp, cette maîtrise de la chaîne technique ouvre une possibilité concrète : adapter des modèles ouverts, les optimiser, les déployer et les intégrer dans nos produits, notamment Yoovi et Uly.

{{c.n}} · {{c.k}}

{{c.t}}

{{c.b}}

Couche 05Écosystème

Uly×Formic

Uly est le harnais d’agents d’Ulycorp. Il est conçu pour le code et le développement logiciel, mais aussi pour tout autre type de travail : il s’adapte à tous les domaines. Uly fournit l’environnement de travail et l’organisation des agents. Formic apporte une base de modèles que nous pouvons optimiser et faire évoluer pour ces usages.

Uly Code · développement logiciel Uly Work · tout autre type de travail
Orchestrateur
{{a.name}}
Formic · modèles optimisésUly · environnement et organisation ↑

Du développement logiciel au travail généraliste.

Les longues tâches agentiques et le développement logiciel occupent une place centrale dans notre vision. Ils demandent de conserver un objectif, de comprendre un environnement, d’utiliser des outils et de vérifier les résultats sur la durée.

Nous voulons étendre ces capacités à des projets de tous domaines : recherche, analyse, préparation de documents et organisation du travail.

À propos d’Uly ↗
Couche 06En construction

Formic V2, une nouvelle base pour la suite.

L’annonce de Qwen 4 27B nous a conduits à repousser la sortie de Formic pour approfondir le travail sur notre algorithme de quantification et notre moteur d’inférence.

Formic V1 nous donne aujourd’hui une recette fonctionnelle et mesurée, que nous prévoyons d’adapter à cette nouvelle base. Son efficacité sur Qwen 4 27B devra être confirmée par les évaluations correspondantes.

Finalisé

Formic V1

Qwen 3.8 27B · quantification Lumen · moteur d’inférence propre.

En préparation

Formic V2

Sera construite sur Qwen 4 27B. Elle sera d’abord publiée sans distillation ni post-entraînement supplémentaire, comme une version fondée sur notre travail de quantification et d’optimisation de l’inférence, et constituera la base de développement de nos prochaines versions.

Les versions suivantes enrichiront progressivement cette fondation, avec des entraînements dédiés et plusieurs technologies issues de nos travaux de recherche. Notre ambition : des modèles capables de travailler longtemps sur un projet, de s’adapter à leur environnement et de coopérer efficacement.

Personnalisation, mémoire et coopération.

Travaux de recherche

Ces intégrations constituent la feuille de route des versions suivantes. Elles seront développées et évaluées progressivement, avec la distillation et les post-entraînements prévus.

SocleL’enjeu

Rendre la souveraineté accessible.

Notre objectif est de construire une offre d’IA souveraine donnant aux utilisateurs davantage de maîtrise sur leur déploiement, leurs données et leurs coûts. Cette souveraineté doit être accessible dans la pratique : une installation simple, une utilisation claire et un coût compatible avec les moyens des PME et des particuliers.

Formic V1 apporte une première base concrète à ce projet. La suite consiste à réunir cette efficacité avec la personnalisation, la mémoire et la coopération nécessaires à une IA capable d’accompagner durablement le travail de chacun.

Une souveraineté plus accessible grâce à une installation simple et à moindre coût.

Contacter Ulycorp Lire : Formic-Link ↗