Inkling이란?

Inkling은 Thinking Machines가 Apache 2.0 라이선스로 공개한 최초의 오픈 가중치 모델입니다. 총 9,750억 개의 파라미터와 순방향 패스당 410억 개의 활성 파라미터를 가진 Mixture-of-Experts(MoE) 트랜스포머입니다. Inkling은 최대 100만 토큰의 컨텍스트 윈도우를 지원하며, 텍스트, 이미지, 오디오, 비디오를 포함한 45조 개의 토큰으로 사전 학습되었습니다. 이러한 모달리티를 기본적으로 추론하며, 사용자가 비용과 성능의 균형을 맞출 수 있도록 사고 노력을 제어할 수 있습니다. 이 모델은 Tinker에서 파인튜닝이 가능하며, 전체 가중치를 직접 다운로드할 수 있습니다.

대상 사용자

• 개발자 및 AI 엔지니어: 벤더 종속 없이 특정 사용 사례에 맞게 파인튜닝할 수 있는 강력하고 사용자 정의 가능한 오픈 가중치 기본 모델을 원하는 분.
• 연구자 및 오픈소스 기여자: 실험, 적응 또는 추가 학습을 위해 허용적 라이선스(Apache 2.0) 하에 모델 가중치에 접근해야 하는 분.
• 멀티모달 애플리케이션을 구축하는 팀: 효율적이고 제어 가능한 추론 비용으로 텍스트, 이미지, 오디오 전반에 걸친 기본 추론이 필요한 분.

주요 기능

975B MoE, 410억 개 활성 파라미터

Inkling은 토큰당 전체 파라미터의 일부만 활성화하는 Mixture-of-Experts 아키텍처를 사용합니다. 이 설계는 대규모 모델의 성능을 제공하면서도 추론 컴퓨팅을 효율적으로 유지하고 지연 시간을 관리 가능하게 합니다.

100만 토큰 컨텍스트 윈도우

이 모델은 최대 100만 토큰의 컨텍스트를 지원하므로, 긴 문서 분석, 확장된 대화, 단일 패스에서 많은 양의 정보를 추론해야 하는 작업에 적합합니다.

기본 멀티모달 추론

Inkling은 텍스트, 이미지, 오디오, 비디오로 사전 학습되었으며, 이러한 모달리티를 기본적으로 추론합니다. 다양한 입력 유형에 대해 별도의 인코더나 파이프라인에 의존하지 않습니다.

제어 가능한 사고 노력

사용자는 답변을 생성하기 전에 모델이 추론에 사용하는 컴퓨팅 양을 조정할 수 있습니다. 이를 통해 응답 품질과 비용 또는 지연 시간 간의 균형을 세밀하게 제어할 수 있습니다.

차별점

Inkling은 오늘날 가장 강력한 모델은 아닙니다. 대신, 여러 특성의 조합이 사용자 정의를 위한 좋은 오픈 가중치 베이스가 되게 합니다.

이러한 솔직한 포지셔닝이 Inkling을 차별화합니다. Thinking Machines는 최고의 벤치마크 점수를 추구하기보다는, 파인튜닝의 출발점으로 탁월한 균형 잡히고 유연한 기반 모델을 구축하는 데 집중했습니다. 이 모델은 Tinker에서 즉시 사용자 정의가 가능하며, 팀은 Inkling이 Tinker 플랫폼 내에서 자체 학습 작업을 작성하고 실행하며 결과를 평가하는 방식으로 스스로 파인튜닝하는 것을 시연했습니다.

다음의 경우 확인해 볼 가치가 있습니다…

허용적 라이선스의 오픈 가중치 모델로 멀티모달 기능과 효율적인 추론의 균형을 원하고, 자신의 사용 사례에 맞게 모델을 파인튜닝하고 사용자 정의할 수 있는 능력을 중요시하는 경우입니다. 제어 가능한 추론 노력을 실험해 보거나 텍스트, 이미지, 오디오 전반의 긴 컨텍스트를 처리할 수 있는 모델이 필요하다면 Inkling을 특히 살펴볼 가치가 있습니다.