DeepInfer는 DeepSeek-V4.1-Flash 모델을 대규모로 서빙하기 위한 DeepSeek의 오픈소스 추론 프레임워크입니다. FlashMLA, DeepGEMM, DeepEP 같은 최적화된 커널을 전문가 병렬 처리, 추측 디코딩, 슬라이딩 윈도우 캐시 복구와 함께 하나의 엔진으로 통합합니다.
서비스가 아닌 엔진입니다.
이번 릴리스에는 결정론적 모드와 비동기 스케줄링이 포함되어 있지만, KV 캐시, 프리필/디코드 분리, 로드 밸런싱은 빠져 있어 사용자가 직접 처리해야 합니다. NVIDIA SM100과 Huawei Ascend 950 하드웨어 경로를 지원합니다.
| 기능 | 포함 여부 |
|---|---|
| 최적화된 커널 | 예 |
| 전문가 병렬 처리 | 예 |
| KV 캐시 시스템 | 아니오 |
제품 키워드
댓글 로딩 중...
제작자
DeepInfer는 DeepSeek-V4.1-Flash 모델을 대규모로 서빙하기 위한 DeepSeek의 오픈소스 추론 프레임워크입니다. 기존에 따로 배포되던 최적화 커널들 — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, 그리고 커스텀 TileLang 커널 — 을 하나의 엔진으로 통합했으며, Apache-2.0 라이선스로 공개되었습니다. 호스팅 서비스가 아니라, 전문가 병렬화(expert parallelism), 추측 디코딩(speculative decoding), 슬라이딩 윈도우 캐시 복구를 중심으로 프로덕션 환경에서 파생된 엔진이며, NVIDIA SM100과 Huawei Ascend 950용 하드웨어 경로를 갖추고 있습니다.
FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, 그리고 커스텀 TileLang 커널이 하나의 엔진에 연결됩니다. 개별 구성 요소는 이전에도 공개된 적이 있지만, 이번 릴리스에서 이들을 하나로 결합했습니다.
어텐션은 데이터 병렬화로 실행되고, MoE 부분은 전문가 병렬화를 사용합니다. DeepSeek의 프로덕션 설계에서 디코드는 전문가를 64–128개의 GPU에 분산시키고, 중복 복사본으로 핫 전문가의 부하를 재분배합니다.
드래프트 토큰을 미리 제안하고, 신뢰도 헤드(confidence head)가 그중 어떤 토큰을 검증할 가치가 있는지 예측합니다. DeepSeek는 프로덕션 운영 지점에서 처리량이 +4–7% 향상된다고 보고합니다.
모든 레이어에 걸쳐 전체 슬라이딩 윈도우 캐시를 재구축하는 대신, 엔진은 최근 꼬리 부분만 재생합니다. 결과는 근사치이지만, 재계산 비용은 유한해집니다.
서비스가 아니라 엔진이다.
이 구분이 DeepInfer를 이해하는 데 가장 중요한 점입니다. 완전한 추론 서비스에는 KV 캐시 시스템, 프리필/디코드 분리(prefill/decode disaggregation), 데이터 병렬 레플리카 간 로드 밸런싱도 필요하지만, 이 세 가지 중 어느 것도 포함되어 있지 않습니다. 이 공백은 실수가 아니라 의도된 설계 경계입니다. DeepSeek는 내부 인프라와 가장 긴밀하게 결합된 부분을 남겨두었으며, 이는 누가 이 코드를 사용할 수 있는지와 이 코드에서 무엇을 기대해야 하는지를 모두 바꿉니다. 배치 불변 추론(batch-invariant inference)과 결정적 샘플링(deterministic sampling)은 NVIDIA에서 사용할 수 있어, 벤치마크와 에이전트 실행을 감사 가능하게 만듭니다.
DeepSeek가 최전선 오픈 웨이트 모델을 어떻게 서빙하는지 — 디코드에서의 광범위한 전문가 병렬화, 신뢰도 기반으로 스케줄링되는 추측, 정확성을 유한한 재계산과 맞바꾸는 캐시 정책 — 를 자세히 살펴보고 싶고, KV 캐시, 분리, 로드 밸런싱 레이어는 직접 제공할 준비가 되어 있다면. 코드를 실제로 실행하지 않더라도 아이디어는 유용합니다.
고려해볼 만한 다른 도구
Mellum 제품군을 소개합니다. 초저지연 및 고성능 추론을 위한 차세대 모델을 포함한 빠른 언어 모델 제품군입니다.
BeatAPI는 AI 에이전트와 개발자가 만드는 애플리케이션을 위한 통합 API 플랫폼입니다. 70개 이상의 AI 모델, 1,000개 이상의 소셜 데이터 API, 웹 도구를 하나의 API 키, 하나의 기능 카탈로그, 하나의 선불 USD 잔액으로 함께 제공하여 여러 제공업체 계정, 통합, 청구서를 각각 관리할 필요를 줄여줍니다. 모델, 데이터, 도구를 한곳에서 TikTok, Instagram, YouTube, X, Reddit, LinkedIn 같은 플랫폼의 공개 소셜 데이터와 함께 텍스트, 이미지, 동영상 모델에 접근할 수 있습니다. 게시물, 프로필, 댓글, 검색 결과, 트렌드를 구조화된 데이터로 가져오세요. 웹 도구는 검색, 페이지 읽기, 사이트 맵, 리서치를 지원하며, 크리에이티브 워크플로는 뮤직비디오와 이커머스 동영상 같은 사용 사례를 아우릅니다. 에이전트와 개발자를 위해 설계 BeatAPI는 Claude Code, Codex, Cursor, OpenCode, Muse, 그리고 MCP 또는 HTTP 요청을 지원하는 맞춤형 에이전트나 애플리케이션과 함께 작동합니다. Search, Inspect, Run 워크플로를 통해 에이전트는 기능을 발견하고, 입력 스키마, 출력, 가격, 실행 모드를 검토한 뒤 지원되는 Run 인터페이스나 문서화된 API 엔드포인트를 통해 실행할 수 있습니다. 개발자는 REST 및 지원되는 모델 호환 API를 통해 직접 통합할 수도 있습니다. 명확한 가격과 추적 가능한 실행 가격은 호출 전에 확인할 수 있으며, 모델 요금이 공개 제공업체 가격과 함께 표시되고 선택된 모델에서는 최대 78%의 절감이 가능합니다. 이미지, 동영상, 워크플로 작업은 작업 ID, 상태, 사용량, 출력, 실패 세부 정보를 노출합니다. 완료된 미디어 작업은 호스팅된 파일 URL을 반환하므로 별도의 스토리지 파이프라인을 구축하지 않고도 결과를 전달하기가 더 쉽습니다. 프로토타입에서 제품까지 BeatAPI는 독립 개발자, 스타트업, 제품 및 엔지니어링 팀, SaaS 플랫폼, 자동화 빌더를 위해 설계되었습니다. 애플리케이션에 AI 생성을 추가하거나, 공개 소셜 콘텐츠를 리서치하거나, 크리에이터 발굴을 지원하거나, 웹 리서치를 자동화하거나, 모든 서비스를 개별적으로 연결하지 않고도 에이전트에 모델과 데이터 접근 권한을 부여하는 데 사용하세요. 하나의 키로 시작하고, 카탈로그를 살펴보고, 플레이그라운드에서 모델을 테스트하고, 제품이 성장해도 동일한 통합을 재사용하세요.
PgDog는 PostgreSQL을 위한 오픈 소스 커넥션 풀러, 로드 밸런서 및 샤딩 프록시입니다. Postgres와 호환되며, 빠르고 안전하며, 데이터베이스 엔지니어 커뮤니티가 공개적으로 개발하고 있습니다.
MCP 앱은 새로운 웹사이트입니다. ChatGPT나 Claude 같은 AI 어시스턴트 안에서 바로 실행되는 실제 대화형 앱이죠. 이를 구축하기 위한 도구가 없었기에, 우리가 직접 만들었습니다. Skybridge를 소개합니다. 인프라와 개발 루프를 처리해주는 React 프레임워크로, 여러분은 기능에 집중할 수 있습니다: MCP 서버, 뷰 렌더링, 클라이언트 호환성, 테스트 터널 등. 한 번 코딩하면 어디서든 배포할 수 있습니다. 이미 50만 회 이상 다운로드되었고, 스토어에는 수십 개의 앱이 등록되어 있습니다!
댓글 로딩 중...
