Inkling

¿Qué es Inkling?

Inkling es el primer modelo de pesos abiertos de Thinking Machines, publicado bajo la licencia Apache 2.0. Se trata de un transformador de Mezcla de Expertos (MoE) con 975 mil millones de parámetros totales y 41 mil millones de parámetros activos por paso hacia adelante. Inkling admite una ventana de contexto de hasta 1 millón de tokens y fue preentrenado con 45 billones de tokens que abarcan texto, imágenes, audio y video. Razona de forma nativa a través de estas modalidades y ofrece un esfuerzo de razonamiento controlable, lo que permite a los usuarios equilibrar el costo y el rendimiento. El modelo está disponible para ajuste fino en Tinker, y sus pesos completos se pueden descargar directamente.

Para quién es

• Desarrolladores e ingenieros de IA que buscan un modelo base de pesos abiertos potente y personalizable que puedan ajustar para casos de uso específicos sin dependencia de un proveedor.
• Investigadores y colaboradores de código abierto que necesitan acceso a los pesos del modelo bajo una licencia permisiva (Apache 2.0) para experimentación, adaptación o entrenamiento adicional.
• Equipos que construyen aplicaciones multimodales que requieren razonamiento nativo a través de texto, imágenes y audio con costos de inferencia eficientes y controlables.

Características principales

975B MoE con 41B parámetros activos

Inkling utiliza una arquitectura de Mezcla de Expertos que activa solo una fracción de sus parámetros totales por token. Este diseño ofrece la capacidad de un modelo grande mientras mantiene la inferencia computacional eficiente y la latencia manejable.

Ventana de contexto de 1M de tokens

El modelo admite hasta 1 millón de tokens de contexto, lo que lo hace adecuado para análisis de documentos largos, conversaciones extendidas y tareas que requieren razonamiento sobre grandes cantidades de información en una sola pasada.

Razonamiento multimodal nativo

Inkling fue preentrenado con texto, imágenes, audio y video, y razona de forma nativa a través de estas modalidades. No depende de codificadores o pipelines separados para diferentes tipos de entrada.

Esfuerzo de razonamiento controlable

Los usuarios pueden ajustar cuánto cómputo invierte el modelo en el razonamiento antes de generar una respuesta. Esto permite un control detallado sobre el equilibrio entre la calidad de la respuesta y el costo o la latencia.

Lo que destaca

Inkling no es el modelo más potente disponible hoy en día; en cambio, una combinación de cualidades lo convierte en una buena base de pesos abiertos para la personalización.

Este posicionamiento honesto distingue a Inkling. En lugar de perseguir las puntuaciones más altas en los benchmarks, Thinking Machines se centró en construir un modelo base equilibrado y flexible que sobresale como punto de partida para el ajuste fino. El modelo está disponible en Tinker para personalización inmediata, y el equipo lo demostró haciendo que Inkling se ajustara a sí mismo: escribiendo su propio trabajo de entrenamiento, ejecutándolo y evaluando el resultado, todo dentro de la plataforma Tinker.

Vale la pena echarle un vistazo si…

Estás buscando un modelo de pesos abiertos con licencia permisiva que equilibre la capacidad multimodal con una inferencia eficiente, y valoras la capacidad de ajustar y personalizar el modelo para tus propios casos de uso. Inkling es especialmente interesante si deseas experimentar con el esfuerzo de razonamiento controlable o necesitas un modelo que pueda manejar contextos largos a través de texto, imágenes y audio.