DIRTY STATIC / DÉPÊCHE Tutoriels21 NOV. 2026 • 13 MIN DE LECTURE
Un portable sur un bureau de béton dans une pièce de béton brut, un anneau de blocs de poids de modèle à côté, des bandes de danger jaune prudence au sol et une ligne jaune lumineuse sur l'écran du terminal, noir et blanc avec le jaune prudence comme seule couleur.
TutorielsL'INTELLIGENCE POUR L'ÈRE DES MACHINES

Install Inkling 2 Mini With llama.cpp GGUF

Thinking Machines a publié Inkling 2 Mini le 20 novembre 2026, en poids ouverts sous licence Apache 2.0, et la ggml org a publié des builds GGUF pour llama.cpp dès le premier jour. Ce tutoriel installe un build récent de llama.cpp, choisit entre les fichiers IQ4_NL et Q8_0, sert le modèle sur votre propre machine et vérifie le serveur local avant de lui confier du vrai travail.

Commencer la lecture ↓

Un modèle de 26,4 milliards de paramètres qui tient sur un portable a l’air d’un tour de magie, et dans un sens c’en est un. Inkling 2 Mini stocke 26,4 milliards de paramètres, mais sa conception éparse n’en active qu’une tranche pour chaque jeton, et ses couches du milieu tournent trois fois pour ajouter de la profondeur de raisonnement sans ajouter de poids stockés. Thinking Machines dit que le point de contrôle complet prend environ 20 Go. La voie GGUF réduit encore ce poids, et elle passe par llama.cpp, le moteur d’inférence local sur lequel la plupart des outils de poids ouverts sont bâtis.

Ce tutoriel utilise les fichiers GGUF publiés par la ggml org, l’équipe derrière llama.cpp elle même. Ce choix compte. Le soutien des modèles bouclés dans les moteurs locaux est nouveau, la carte du modèle le dit sans détour, et l’endroit le plus sûr pour obtenir un build d’une architecture toute neuve est chez les gens qui entretiennent le moteur.

Ce que vous allez bâtir ou apprendre

Vous finirez avec Inkling 2 Mini qui tourne sur votre propre machine sous deux formes. D’abord, un serveur local avec une API compatible avec OpenAI et une page de discussion dans le navigateur, prêt pour vos propres outils. Ensuite, la connaissance du fichier GGUF qu’il vous faut vraiment, parce que choisir le mauvais est la façon la plus rapide de manquer de mémoire sur une machine qui aurait dû suffire.

Inkling 2 Mini accepte du texte et des images en entrée et produit du texte. Il compte 24 couches, 128 experts dont 8 actifs par jeton, et une fenêtre de contexte qui va jusqu’à 1 million de jetons sur papier. Ce dernier chiffre est une limite du modèle, pas une promesse locale. Sur un portable, vous réglerez un contexte bien plus petit, et l’étape 3 explique pourquoi c’est le bon choix.

Image d’en tête de la carte officielle du modèle Inkling 2 Mini sur Hugging Face

Avant de commencer

Deux avertissements ont leur place ici, avant le début de tout téléchargement.

La carte du modèle porte aussi une limite franche qui vaut la peine d’être connue avant de bâtir des plans sur ce modèle. Thinking Machines dit qu’Inkling 2 Mini peut tomber dans de longues boucles de raisonnement, surtout quand il débogue du code, et recommande des limites sur les jetons de sortie et les tours d’agent. Elle dit aussi que le modèle peut poser des actions destructrices dans des montages d’agent sans confirmation. Faites le tourner d’abord comme assistant de discussion et de code. Donnez lui des outils et un accès aux fichiers plus tard, dans un bac à sable, avec la confirmation activée. Notre tutoriel sur donner de vrais outils à un modèle local avec Ollama et MCP couvre ce travail de laisse en détail.

Étape 1 : Installer llama.cpp

Action : installez llama.cpp avec l’installateur officiel pour votre système. Sur macOS et Linux, lancez ceci dans un terminal.

Terminal

curl -LsSf https://llama.app/install.sh | sh

Sur Windows, lancez ceci dans PowerShell, ou installez le paquet avec winget install llama.cpp.

Terminal

irm https://llama.app/install.ps1 | iex

Les gens qui utilisent Homebrew sur macOS ou Linux peuvent utiliser brew install llama.cpp à la place. Toutes ces voies installent le même projet. Ce qui compte est que le build soit récent, parce que le soutien de l’architecture Inkling 2 est récent.

Résultat attendu : l’installateur finit et la commande llama répond. Vérifiez la avant de télécharger 17 Go de modèle.

llama --help

Le texte d’aide nomme les sous commandes, dont llama cli pour la discussion en terminal et llama serve pour le serveur. Si le shell dit que la commande est absente, ouvrez une nouvelle fenêtre de terminal pour que le chemin mis à jour se charge, et lancez la vérification encore.

Étape 2 : Choisir votre fichier GGUF

Action : choisissez une ligne du tableau GGUF officiel avant de lancer quoi que ce soit. La ggml org publie trois tailles pour ce modèle.

FichierTaille sur le disqueCe que dit l’éditeur
IQ4_NL17.6 GBCalibré avec une matrice d’importance; experts 4 bits dans les couches 0 à 19, tout le reste en Q8_0
Q8_027.8 GBPresque sans perte; toutes les matrices de poids en Q8_0
BF1652.2 GBPrécision 16 bits; les experts originaux convertis en BF16

L’éditeur a mesuré les deux petits fichiers contre BF16 sur le même texte de test. Q8_0 a choisi le même premier jeton 97,6 pour cent du temps. IQ4_NL l’a choisi 95,5 pour cent du temps. Cet écart est réel mais modeste, et l’écart de disque est de 10 Go.

Résultat attendu : un choix clair. Choisissez IQ4_NL si votre machine se situe près de la cible de 32 Go de mémoire, ce qui est le cas de la plupart des portables qui se qualifient. Choisissez Q8_0 si vous avez de la mémoire en réserve et voulez la correspondance la plus proche. Sautez BF16 pour un usage local; il existe comme référence, pas comme fichier de portable. Rappelez vous que l’usage de mémoire est la taille du fichier plus le cache de contexte plus les tampons de travail, donc un fichier de 27,8 Go sur une machine de 32 Go laisse très peu de place pour respirer.

Étape 3 : Servir le modèle

Action : démarrez le serveur avec le fichier que vous avez choisi. Cette commande utilise IQ4_NL. Échangez le suffixe pour Q8_0 si vous avez choisi le plus gros fichier.

Terminal

llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL --port 8080

Le drapeau -hf dit à llama.cpp de télécharger le modèle depuis Hugging Face et de le mettre en cache sur votre machine, donc le premier démarrage inclut le téléchargement complet. Le drapeau --port 8080 règle l’adresse exprès. Les builds récents de llama.cpp ont changé leur port par défaut, et le régler vous même fait que vos outils et ce tutoriel s’entendent sur l’endroit où vit le serveur.

Gardez le contexte modeste au début. Le modèle prend en charge jusqu’à 1 million de jetons, mais chaque jeton de contexte coûte de la mémoire sur votre machine, et les couches bouclées dépensent déjà du calcul en plus par jeton. Si vous voulez une taille réglée dès le départ, ajoutez -c 8192 à la commande et montez la plus tard seulement si votre travail en a besoin et si votre mémoire le permet.

Résultat attendu : après le téléchargement et le chargement, le terminal annonce le serveur à l’écoute sur 127.0.0.1 au port 8080. Laissez ce terminal ouvert. Le fermer arrête le serveur.

Étape 4 : Discuter dans le terminal à la place

Action : si vous voulez seulement parler au modèle, sautez le serveur et utilisez la commande de discussion dans un nouveau terminal. Elle télécharge le même fichier en cache.

Terminal

llama cli -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL

Résultat attendu : une invite de discussion s’ouvre une fois le modèle chargé. Demandez lui quelque chose que vous pouvez vérifier, comme expliquer un court bout de votre propre code ou résumer un paragraphe que vous collez. Un bon résumé d’un texte que vous avez fourni est un meilleur premier test qu’une question de connaissances, parce que ce modèle est plus faible en rappel factuel que son grand frère, selon sa propre carte. Tapez la commande de sortie montrée dans l’aide de la discussion quand vous avez fini.

Étape 5 : Ajouter l’entrée image seulement si vous en avez besoin

Action : sautez cette étape pour le travail de texte. Pour l’entrée image, le dépôt GGUF publie aussi un fichier d’encodeur de vision, nommé mmproj, à 642 Mo en BF16 ou 346 Mo en Q8_0. Téléchargez le fichier mmproj depuis le même dépôt et passez le quand vous démarrez le serveur.

Terminal

llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL --port 8080 --mmproj /path/to/mmproj-file.gguf

Remplacez le chemin d’exemple par le vrai chemin du fichier que vous avez téléchargé. La carte du modèle dit que chaque dimension d’image devrait se situer entre 40 et 4096 pixels pour les meilleurs résultats.

Résultat attendu : le serveur démarre avec le fichier de vision chargé à côté du modèle, et la page de discussion du navigateur accepte l’entrée image. Si le serveur échoue à cette étape et nomme le fichier mmproj, le chemin est faux ou le téléchargement est incomplet. La discussion texte continue de marcher sans ce fichier, donc retirez le drapeau et confirmez le montage de base d’abord.

Étape 6 : Régler une limite de raisonnement

Action : empêchez le modèle de tourner en rond. Les notes GGUF disent que la profondeur de raisonnement se règle avec reasoning_effort, avec les valeurs none, minimal, low, medium, high, xhigh et max, plus des nombres de 0.0 à 0.99. High est le défaut. Pour des questions locales rapides, réglez une valeur plus basse dans votre demande de client, et plafonnez la longueur de sortie quand votre client le permet.

Résultat attendu : des réponses plus courtes et plus rapides sur les tâches simples, avec moins de risque des longues boucles de raisonnement dont la carte du modèle avertit. Montez le réglage pour le travail de code difficile, où les passes en plus gagnent leur temps. Ce modèle a marqué 48,2 pour cent sur DeepSWE v1.1 dans les tests de laboratoire publiés sur sa carte, devant chaque modèle de poids ouverts sous 100 milliards de paramètres dans ce tableau, donc le raisonnement vaut la peine sur le travail qui en a besoin et vaut la peine d’être coupé sur celui qui n’en a pas.

Vérification

Ne faites pas confiance à la seule bannière du terminal. Vérifiez le serveur depuis un second terminal pendant qu’il tourne.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/v1/models

L’appel de santé devrait annoncer le serveur comme prêt, et l’appel des modèles devrait nommer le GGUF Inkling 2 Mini que vous avez démarré. Ouvrez ensuite http://127.0.0.1:8080/ dans votre navigateur et envoyez un message dans la page de discussion intégrée. Une réponse là prouve la boucle complète : téléchargement, chargement, serveur et génération, tout sur votre machine.

Pour une vérification d’API, envoyez une demande de discussion avec curl. Utilisez le nom du modèle exactement comme le point de terminaison des modèles l’a retourné.

curl http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "MODEL_NAME_FROM_MODELS_ENDPOINT", "messages": [{"role": "user", "content": "Name three primary colours."}]}'

Une réponse JSON avec votre réponse dedans veut dire que vos propres outils peuvent maintenant appeler ce point de terminaison de la même façon qu’ils appelleraient une API hébergée, sans compte et sans facture par jeton. C’est tout le sens du montage, le même motif local d’abord que nous avons utilisé dans l’installation de Hermes Agent.

Dépannage

ProblèmeCause probableSolution
Architecture inconnue ou le modèle refuse de chargerLe build llama.cpp précède le soutien Inkling 2Mettez llama.cpp à jour avec l’installateur de l’étape 1, puis lancez la même commande serve
Mémoire épuisée pendant le chargementQ8_0 plus le cache de contexte laisse trop peu de place sur une machine de 32 GoPassez le suffixe à IQ4_NL et ajoutez -c 8192 pour garder le contexte petit
Le téléchargement repart ou bloqueLa connexion est tombée pendant un téléchargement de 17 Go ou plusLancez la même commande encore; llama.cpp reprend depuis son cache quand il peut, et un compte Hugging Face gratuit peut rendre les gros téléchargements plus stables
La page du navigateur ne s’ouvre pasLe serveur est sur un autre port, ou le terminal serve a été ferméVérifiez l’adresse d’écoute dans le terminal serve, gardez le ouvert, et confirmez que vous avez utilisé --port 8080
Les réponses divaguent ou bouclent sur des questions simplesL’effort de raisonnement est au défaut élevé pour une tâche qui n’en a pas besoinBaissez reasoning_effort comme à l’étape 6 et plafonnez la longueur de sortie dans votre client
L’entrée image est absente de la page de discussionLe serveur a démarré sans le fichier de visionRedémarrez avec le drapeau --mmproj et un chemin correct, comme à l’étape 5
Le serveur répond lentementLe contexte est réglé bien au dessus du besoin du travail, sur un modèle bouclé qui dépense du calcul en plus par jetonBaissez le contexte avec -c, fermez les autres applis lourdes, et gardez des attentes adaptées au matériel de portable

Prochaines étapes

Une fois que le serveur répond, pointez un outil que vous utilisez déjà vers le point de terminaison local. La plupart des clients compatibles avec OpenAI acceptent une adresse de base sur mesure, et http://127.0.0.1:8080/v1 est l’adresse à leur donner. Commencez par du travail à faible enjeu, comme des résumés et des premiers brouillons de code, et gardez un modèle hébergé à portée de main pour les questions factuelles, où ce modèle est à son plus faible.

De là, la comparaison honnête vaut la peine. Lancez les trois mêmes invites dans IQ4_NL et, si votre mémoire le permet, dans Q8_0, et voyez si le plus gros fichier change des réponses qui comptent pour vous. Les chiffres de l’éditeur disent que l’écart est petit. Votre propre travail est le test qui compte, et il ne vous coûte maintenant rien d’autre que du temps et de l’électricité pour le lancer. Pour le contexte sur la façon dont ce moteur a atteint sa forme actuelle, voyez notre reportage sur llama.cpp qui atteint 1.0.

Commandes, tailles de fichiers et faits sur le modèle vérifiés contre le dépôt GGUF de la ggml org, la carte officielle du modèle Inkling 2 Mini et le billet de lancement de Thinking Machines, le 21 novembre 2026. Cette procédure a été vérifiée contre ces documents et n’a pas été lancée de bout en bout sur du matériel local pour cet article.

Sources

  • ggml org, dépôt Inkling 2 Mini GGUF sur Hugging Face. La commande serve, les tailles de fichiers IQ4_NL, Q8_0 et BF16, les fichiers de vision mmproj, les chiffres de correspondance de jetons et le réglage d’effort de raisonnement.
  • Thinking Machines Lab, carte du modèle Inkling 2 Mini sur Hugging Face. Cibles de matériel, architecture, limite de contexte, date de lancement, licence Apache 2.0, limites et notes de sécurité.
  • Thinking Machines Lab, Introducing Inkling 2 Mini, 20 novembre 2026. Conception bouclée, affirmations de bancs d’essai et l’histoire du vol en portable, tout présenté comme des affirmations du laboratoire.
  • Projet llama.cpp, llama.app. Commandes d’installation pour macOS, Linux et Windows, et les commandes unifiées llama cli et llama serve.
  • Crédit image : l’image du corps est l’image d’en tête de la carte officielle du modèle Inkling 2 Mini sur Hugging Face, par Thinking Machines Lab. L’image vedette est une illustration de style maison Dirty Static.
■

FIN DE LA TRANSMISSION

Restez curieux. Remettez tout en question.

CONTINUEZ LA DESCENTE

PLUS DE DIRTY STATIC ↘