BaseRT

BaseRTとは

BaseRTは、Apple Silicon向けに特別に設計された高性能LLMランタイムです。単一のターミナルコマンドでインストールでき、大規模言語モデルを完全にデバイス上で実行できます。クラウド依存、APIキー、データの外部送信は一切不要です。速度とローカルプライバシーを重視して設計されたBaseRTは、AppleのMシリーズチップ向けに利用可能な最速のランタイムとして位置づけられています。

対象ユーザー

• 開発者：コードやコンテキストを外部サーバーに送信せずに、ローカルでコーディングエージェントを実行したい方
• プライバシー重視のエンジニア：機密性の高いワークロードに対してオンデバイス推論が必要で、クラウドAPIに依存できない方
• AI研究者や愛好家：オープンソースモデルをベンチマークし、Appleハードウェア上で最大のトークンスループットを必要とする方

主な機能

ワンコマンドインストール

BaseRTは単一のcurlコマンドでインストールできます：curl -LsSf https://basecompute.co/install.sh | sh。手動コンパイルや依存関係の調整は不要で、シェルパイプを実行するだけでモデルを提供できる状態になります。

ベンチマークをリードするパフォーマンス

デコードタスクでは、BaseRTはMLXを最大33%、llama.cppも同程度上回ります。プリフィルタスクではその差はさらに顕著で、llama.cpp比で最大6.4倍、MLX比で最大3.9倍高速です（Apple M5 Pro、Qwen3 30B-A3BやGemma 4 E2Bなどのモデルで測定）。

ローカルコーディングエージェントとの統合

BaseRTには、ローカルモデルをコーディングエージェントに変えるプラグインが付属しています。basert serve basecompute/gemma-4-E4B-itでモデルを提供し、プラグインをインストールしてpiを実行するだけで、すべてがマシン上で完結します。APIキーは不要で、データがデバイスから外部に出ることもありません。

幅広いモデルサポート

BaseRTは、Qwen3、Qwen3.5、Qwen3.6、Llama 3.1、Llama 3.2、Gemma 3、Gemma 4、Mistral、Phi-3、Nomic BERTなど、幅広いオープンソースモデルをサポートしています。新しいモデルはコミュニティおよび公式リリースを通じて追加されます。

際立った特長

BaseRTはApple Silicon上で最速のLLMランタイムであり、プリフィルではllama.cpp比で最大6.4倍高速です。

このパフォーマンスの優位性は単なる見出しの数字ではありません。コーディングエージェントやインタラクティブアプリケーションを実行する開発者にとって、プリフィルの高速化はプロンプト処理のレイテンシ低下を意味し、より応答性の高いユーザー体験に直結します。デコード速度の向上は、ストリーミング応答のスループット向上にもつながります。ワンコマンドインストールとローカル専用動作と組み合わせることで、BaseRTは他のランタイムではなかなか見られない、速度とシンプルさの稀有な組み合わせを提供します。

試す価値があるのは…

Apple Siliconで作業しており、特にコーディングエージェント、プライバシー重視のワークロード、またはパフォーマンスを犠牲にせずにデータをデバイス上に保持したいあらゆるシナリオにおいて、可能な限り最速のローカル推論を必要とする場合です。これまでMLXやllama.cppを使用していて、15～33%のデコード向上と最大6.4倍のプリフィル高速化がワークフローに違いをもたらすかどうかを確認したいなら、BaseRTを試す価値があります。