Inkling

Qu'est-ce qu'Inkling ?

Inkling est le premier modèle à poids ouverts de Thinking Machines, publié sous licence Apache 2.0. Il s'agit d'un transformateur à mélange d'experts (MoE) avec 975 milliards de paramètres au total et 41 milliards de paramètres actifs par passage avant. Inkling prend en charge une fenêtre de contexte allant jusqu'à 1 million de jetons et a été pré-entraîné sur 45 000 milliards de jetons couvrant du texte, des images, de l'audio et de la vidéo. Il raisonne de manière native sur ces modalités et offre un effort de réflexion contrôlable, permettant aux utilisateurs d'équilibrer le coût et les performances. Le modèle est disponible pour un réglage fin sur Tinker, et ses poids complets peuvent être téléchargés directement.

À qui s'adresse-t-il

• Développeurs et ingénieurs en IA qui souhaitent un modèle de base à poids ouverts, puissant et personnalisable, qu'ils peuvent affiner pour des cas d'utilisation spécifiques sans dépendre d'un fournisseur.
• Chercheurs et contributeurs open source qui ont besoin d'accéder aux poids du modèle sous une licence permissive (Apache 2.0) pour l'expérimentation, l'adaptation ou un entraînement supplémentaire.
• Équipes construisant des applications multimodales qui nécessitent un raisonnement natif sur le texte, les images et l'audio avec des coûts d'inférence efficaces et contrôlables.

Fonctionnalités clés

975B MoE avec 41B paramètres actifs

Inkling utilise une architecture de mélange d'experts qui n'active qu'une fraction de ses paramètres totaux par jeton. Cette conception offre la capacité d'un grand modèle tout en maintenant une inférence efficace et une latence gérable.

Fenêtre de contexte de 1 million de jetons

Le modèle prend en charge jusqu'à 1 million de jetons de contexte, ce qui le rend adapté à l'analyse de longs documents, aux conversations prolongées et aux tâches nécessitant un raisonnement sur de grandes quantités d'informations en un seul passage.

Raisonnement multimodal natif

Inkling a été pré-entraîné sur du texte, des images, de l'audio et de la vidéo, et il raisonne de manière native sur ces modalités. Il ne repose pas sur des encodeurs ou des pipelines séparés pour différents types d'entrée.

Effort de réflexion contrôlable

Les utilisateurs peuvent ajuster la quantité de calcul que le modèle consacre au raisonnement avant de générer une réponse. Cela permet un contrôle précis du compromis entre la qualité de la réponse et le coût ou la latence.

Ce qui le distingue

Inkling n'est pas le modèle le plus performant disponible aujourd'hui — c'est plutôt une combinaison de qualités qui en fait une bonne base à poids ouverts pour la personnalisation.

Ce positionnement honnête distingue Inkling. Plutôt que de chercher les meilleurs scores de référence, Thinking Machines s'est concentré sur la construction d'un modèle de base équilibré et flexible qui excelle comme point de départ pour le réglage fin. Le modèle est disponible sur Tinker pour une personnalisation immédiate, et l'équipe l'a démontré en faisant en sorte qu'Inkling s'affine lui-même — en écrivant son propre travail d'entraînement, en l'exécutant et en évaluant le résultat — le tout au sein de la plateforme Tinker.

À considérer si…

Vous recherchez un modèle à poids ouverts sous licence permissive qui équilibre la capacité multimodale avec une inférence efficace, et vous appréciez la possibilité d'affiner et de personnaliser le modèle pour vos propres cas d'utilisation. Inkling mérite particulièrement d'être exploré si vous souhaitez expérimenter avec un effort de réflexion contrôlable ou si vous avez besoin d'un modèle capable de gérer de longs contextes couvrant du texte, des images et de l'audio.