Inkling

Inklingとは

Inklingは、Thinking Machines社が初めて公開したオープンウェイトモデルであり、Apache 2.0ライセンスのもとでリリースされています。これは、総パラメータ数9750億、フォワードパスあたりのアクティブパラメータ数410億のMixture-of-Experts（MoE）トランスフォーマーです。Inklingは最大100万トークンのコンテキストウィンドウをサポートし、テキスト、画像、音声、動画にわたる45兆トークンで事前学習されています。これらのモダリティをネイティブに推論し、思考の労力を制御可能で、ユーザーはコストとパフォーマンスのバランスを調整できます。このモデルはTinker上でファインチューニングが可能で、完全なウェイトを直接ダウンロードすることもできます。

対象ユーザー

• 開発者やAIエンジニア：ベンダーロックインなしに特定のユースケース向けにファインチューニングできる、強力でカスタマイズ可能なオープンウェイトベースモデルを求める方。
• 研究者やオープンソースコントリビューター：実験、適応、さらなるトレーニングのために、寛容なライセンス（Apache 2.0）のもとでモデルウェイトへのアクセスが必要な方。
• マルチモーダルアプリケーションを構築するチーム：テキスト、画像、音声にわたるネイティブな推論と、効率的で制御可能な推論コストを必要とする方。

主な特徴

9750億パラメータのMoE、アクティブパラメータ数410億

InklingはMixture-of-Expertsアーキテクチャを採用し、トークンごとに総パラメータの一部のみを活性化します。この設計により、大規模モデルの能力を維持しつつ、推論計算を効率的にし、レイテンシを管理しやすくしています。

100万トークンのコンテキストウィンドウ

このモデルは最大100万トークンのコンテキストをサポートしており、長文書分析、長時間の会話、一度に大量の情報を推論するタスクに適しています。

ネイティブなマルチモーダル推論

Inklingはテキスト、画像、音声、動画で事前学習されており、これらのモダリティをネイティブに推論します。異なる入力タイプに対して個別のエンコーダーやパイプラインに依存しません。

制御可能な思考の労力

ユーザーは、回答を生成する前にモデルが推論に費やす計算量を調整できます。これにより、応答品質とコストまたはレイテンシのトレードオフを細かく制御できます。

際立っている点

Inklingは今日利用可能な中で最も強力なモデルではありません。むしろ、複数の特性の組み合わせにより、カスタマイズに適した優れたオープンウェイトベースモデルとなっています。

この正直なポジショニングがInklingを際立たせています。Thinking Machines社はトップのベンチマークスコアを追い求めるのではなく、ファインチューニングの出発点として優れた、バランスの取れた柔軟な基盤モデルの構築に注力しました。このモデルはTinker上で即座にカスタマイズ可能であり、チームはInklingが自身のトレーニングジョブを書き、実行し、結果を評価するという自己ファインチューニングをTinkerプラットフォーム内で実演しました。

以下の場合に検討する価値あり

マルチモーダル機能と効率的な推論をバランスよく備え、寛容なライセンスのもとでオープンウェイトのモデルを探しており、自身のユースケースに合わせてファインチューニングやカスタマイズができることを重視する場合。特に、制御可能な推論の労力を試してみたい場合や、テキスト、画像、音声にわたる長いコンテキストを処理できるモデルが必要な場合に、Inklingは検討する価値があります。