DeepInferは、DeepSeek-V4.1-Flashモデルを大規模に提供するためのDeepSeekのオープンソース推論フレームワークです。FlashMLA、DeepGEMM、DeepEPといった最適化されたカーネルを、エキスパート並列処理、投機的デコーディング、スライディングウィンドウキャッシュ復元を備えた単一のエンジンに統合しています。
サービスではなく、エンジンです。
このリリースには決定論的モードと非同期スケジューリングが含まれていますが、KVキャッシュ、プリフィル/デコードの分離、ロードバランシングは省略されており、これらはユーザーに委ねられています。NVIDIA SM100およびHuawei Ascend 950のハードウェアパスをサポートしています。
| 機能 | 搭載 |
|---|---|
| 最適化カーネル | あり |
| エキスパート並列処理 | あり |
| KVキャッシュシステム | なし |
製品キーワード
コメントを読み込み中...
メーカー
DeepInferは、DeepSeek-V4.1-Flashモデルを大規模に提供するための、DeepSeekのオープンソース推論フレームワークです。これまで個別に提供されていた最適化カーネル — FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、およびカスタムTileLangカーネル — を単一のエンジンに統合し、Apache-2.0の下で公開しています。ホスト型サービスではなく、エキスパート並列処理、投機的デコーディング、スライディングウィンドウキャッシュの復元を中心に据えた、本番環境由来のエンジンであり、NVIDIA SM100とHuawei Ascend 950向けのハードウェアパスを備えています。
FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、およびカスタムTileLangカーネルが一つのエンジンに組み込まれています。個々の要素は以前にも公開されていましたが、本リリースでそれらが統合されました。
アテンションはデータ並列で動作し、MoE部分はエキスパート並列を使用します。DeepSeekの本番設計では、デコード時にエキスパートを64〜128基のGPUに分散させ、負荷の高いエキスパートを冗長コピーで再分散します。
ドラフトトークンを事前に提案し、信頼度ヘッドが検証に値するトークンを予測します。DeepSeekは本番運用ポイントにおいてスループット+4〜7%を報告しています。
すべてのレイヤーにわたってスライディングウィンドウキャッシュ全体を再構築する代わりに、エンジンは直近の末尾部分のみを再生します。結果は近似値ですが、再計算コストは有界になります。
サービスではなく、エンジンである。
この区別が、DeepInferを理解する上で最も重要な点です。完全な推論サービスには、KVキャッシュシステム、prefill/decodeの分離、データ並列レプリカ間のロードバランシングも必要ですが、そのいずれも含まれていません。このギャップは見落としではなく意図的な設計上の境界です。DeepSeekは自社インフラに最も密結合した部分を保持しており、そのことが誰がこのコードを使えるか、そして何を期待すべきかの両方に影響します。バッチ不変推論と決定論的サンプリングはNVIDIA上で利用可能であり、ベンチマークやエージェント実行を監査可能にします。
DeepSeekが最先端のオープンウェイトモデルをどのように提供しているかを詳しく知りたい方 — デコード時の広範なエキスパート並列処理、信頼度に基づく投機的実行、正確性と引き換えに再計算を有界にするキャッシュポリシー — で、KVキャッシュ、分離、ロードバランシングの各レイヤーを自前で用意する準備がある方。コードを実際に動かさなくても、そのアイデアは有用です。
検討すべき他のツール
Mellum（メラム）をご紹介します。超低レイテンシと高性能推論を実現する次世代モデルを含む、高速言語モデルファミリーです。
BeatAPIは、AIエージェントと開発者が構築するアプリケーションのための統合APIプラットフォームです。70以上のAIモデル、1,000以上のソーシャルデータAPI、そしてWebツールを、1つのAPIキー、1つのケイパビリティカタログ、1つの前払いUSD残高でまとめて利用でき、プロバイダーごとのアカウント管理、連携、請求の手間を軽減します。 モデル、データ、ツールを一か所に テキスト、画像、動画モデルに加え、TikTok、Instagram、YouTube、X、Reddit、LinkedInなどのプラットフォームから公開ソーシャルデータにアクセスできます。投稿、プロフィール、コメント、検索結果、トレンドを構造化データとして取得。Webツールは検索、ページ読み取り、サイトマップ、リサーチをサポートし、クリエイティブなワークフローではミュージックビデオやeコマース動画などのユースケースに対応します。 エージェントと開発者のために設計 BeatAPIはClaude Code、Codex、Cursor、OpenCode、Muse、そしてMCPやHTTPリクエストをサポートするカスタムエージェントやアプリケーションで動作します。Search、Inspect、Runというワークフローにより、エージェントはケイパビリティを見つけ、その入力スキーマ、出力、価格、実行モードを確認し、対応するRunインターフェースまたはドキュメント化されたAPIエンドポイントを通じて実行できます。開発者はRESTや対応するモデル互換APIを通じて直接連携することもできます。 明確な価格と追跡可能な実行 価格は呼び出し前に確認でき、モデル料金は公開プロバイダー価格と並べて表示され、一部モデルでは最大78%の節約が可能です。画像、動画、ワークフロータスクでは、タスクID、ステータス、使用量、出力、失敗の詳細が公開されます。完了したメディアタスクはホストされたファイルURLを返すため、別途ストレージパイプラインを構築することなく結果を配信できます。 プロトタイプから製品へ BeatAPIは、個人開発者、スタートアップ、プロダクトおよびエンジニアリングチーム、SaaSプラットフォーム、自動化ビルダー向けに設計されています。アプリケーションにAI生成を追加したり、公開ソーシャルコンテンツを調査したり、クリエイターの発掘を支援したり、Webリサーチを自動化したり、各サービスを個別に接続することなくエージェントにモデルとデータへのアクセスを提供したりするために活用できます。1つのキーから始めて、カタログを探索し、プレイグラウンドでモデルを試し、製品の成長に合わせて同じ連携を再利用しましょう。
PgDogは、PostgreSQL向けのオープンソースのコネクションプーラー、ロードバランサー、シャーディングプロキシです。PostgreSQLに準拠しており、高速で安全、そしてデータベースエンジニアのコミュニティによってオープンに開発されています。
MCPアプリは新しいウェブサイトです。ChatGPTやClaudeといったAIアシスタントの中でそのまま動作する、本物のインタラクティブなアプリです。これらを構築するためのツールは存在しなかったため、私たちが作りました。Skybridgeをご紹介します。これは、インフラストラクチャと開発ループを処理するReactフレームワークで、あなたは機能に集中できます。MCPサーバー、ビューレンダリング、クライアント互換性、テストトンネルなど、一度コードを書けばどこでも展開できます。すでに50万以上のダウンロードと、ストアに数十ものアプリが公開されています！
コメントを読み込み中...
