Mellum by JetBrains

Mellumとは

Mellumは、JetBrainsが開発した高速でオープンソースの言語モデルファミリーであり、レイテンシとパフォーマンスが最も重要となる実際の開発ワークフロー向けに最適化されています。最新世代では、混合エキスパート（MoE）アーキテクチャを導入し、超低レイテンシの推論と高スループットを実現しており、同程度のサイズのモデルと比較して、しばしば2倍の速度を発揮します。Mellumはコード、コンテキスト、意図を理解し、純粋なコード補完を超えて、自然言語とプログラミングタスクの両方をサポートします。

対象ユーザー

• AI/MLエンジニア：本番環境のワークロードやリアルタイムアプリケーション向けに、高速でコスト効率の高い推論を必要とする方
• 開発者：コードアシスタントやエージェントパイプラインを構築しており、専門的なサブタスクに対して低レイテンシの応答を必要とする方
• 実験から本番環境への移行を進めるチーム：予測可能なコスト、ローカルデプロイオプション、パフォーマンスとプライバシーの完全な制御を求める方

主な機能

混合エキスパートアーキテクチャ

Mellumは、リクエストごとにアクティブなパラメータが少ないMoE設計を採用しており、強力なコーディング品質を維持しながら、推論コストを半減します。このアーキテクチャにより、はるかに小さなモデルクラスでMoE機能を実現し、大規模モデルのオーバーヘッドなしに高性能AIを利用可能にします。

超低レイテンシ推論

このモデルはリアルタイムワークフロー向けに構築されており、数秒ではなくミリ秒単位で応答を返します。そのため、速度が重要となるスマートルーティング、前処理、後処理タスクに最適です。

柔軟なデプロイオプション

Mellumは、ローカルまたはクラウド上でファインチューニングおよびデプロイが可能で、パフォーマンス、プライバシー、インフラストラクチャを完全に制御できます。プライベートなローカルAI利用が必要な場合でも、クラウドベースのスケーリングが必要な場合でも、モデルは環境に適応します。

透明なトレーニングとアライメント

透明なデータでトレーニングされ、一貫性のためにアライメントされているため、Mellumはコーディングタスクと自然言語タスクの両方で信頼性の高い出力を保証します。このモデルは、自然言語とコードデータの混合を使用してゼロから事前トレーニングされており、コーディングと数学の領域に重点を置いています。

際立っている点

「私たちがMellumを構築したのは、すべてのタスクに最も大きく複雑なモデルが必要とは限らないからです。」

この哲学がMellumの設計を推進しています。すべてのユースケースを巨大で高価なモデルに強制する代わりに、Mellumは大量の高レイテンシタスク向けの高速で効率的な代替手段を提供します。複雑なワークフロー内のサブエージェントの駆動、低レイテンシのRAGパイプラインの実現、モデル間のスマートルーティングの処理に優れています。パフォーマンス、レイテンシ、コストに焦点を当てることで、Mellumはおもちゃのようなモデルと高価なフロンティアシステムの間のギャップを埋め、あらゆる規模のチームが本番環境で使用できるAIを実用的なものにします。

以下の場合に検討する価値があります…

強力なコーディングと言語機能と卓越した効率性のバランスが取れた、高速なオープンソース言語モデルが必要な場合。特に、リアルタイムAIワークフローを構築している場合、大量のリクエストを処理している場合、またはローカルデプロイでコードとデータを完全に制御下に置きたい場合に、Mellumは非常に価値があります。また、品質を犠牲にすることなく推論コストを削減したいチーム、特にコード補完、スマートルーティング、専門的なサブエージェント処理などのタスクにも最適な選択肢です。