El nuevo marco de agentes de Sakana AI puede mejorar la velocidad de implementación del modelo

Sakana AI, una firma de inteligencia artificial (IA) basada en Tokio, introdujo un nuevo marco de agente de inteligencia artificial (IA) que puede mejorar las velocidades de desarrollo y despliegue de grandes modelos de idiomas (LLM). Anunciada el jueves, la compañía presentó al ingeniero de AI CUDA que mejora las velocidades de pre-entrenamiento e inferencia de un modelo de IA al optimizar la base de código. La firma de IA destacó que todo el proceso es impulsado por agentes de IA y está automatizado de extremo a extremo. En particular, Sakana AI presentó al científico de IA el año pasado, lo que puede realizar investigaciones científicas.

Los sacanils ulvelils son cudiner

En una publicación, la firma japonesa de IA declaró que después de desarrollar sistemas de IA que pueden crear nuevos modelos y automatizar completamente el proceso de investigación de IA, comenzó a trabajar en formas de acelerar las velocidades de implementación e inferencia de un LLM.

La compañía dijo que la investigación condujo al desarrollo del ingeniero de AI CUDA. Es un marco de agente completo y completo para el descubrimiento y optimización del núcleo CUDA (arquitectura de dispositivos unificados de cómputo).

Los núcleos CUDA pueden entenderse como funciones especializadas que se ejecutan en las GPU NVIDIA, lo que permite la ejecución paralela de código en múltiples hilos. Debido al paralelismo, está más optimizado que los métodos tradicionales y permite la aceleración de tareas computacionales, especialmente aquellos con grandes conjuntos de datos. Como tal, esta se considera una excelente manera de optimizar la implementación e inferencia de los modelos de IA.

Sakana Ai dijo que el ingeniero de AI CUDA puede convertir automáticamente los módulos de Pytorch en núcleos CUDA optimizados, para mejorar significativamente las aceleraciones de implementación. Puede generar núcleos que se dice que son 10-100 veces más rápido que su contraparte de Pytorch.

El proceso incluye cuatro pasos. Primero, el marco del agente convierte el código Pytorch en núcleos de trabajo. Luego, el agente implementa técnicas de optimización para garantizar que solo se generen los mejores núcleos. Luego, se agregan indicaciones cruzadas del núcleo, que combinan múltiples núcleos optimizados para crear nuevos núcleos. Finalmente, el agente de IA conserva los núcleos CUDA de alto rendimiento en un archivo, que se utilizan para ofrecer mejoras de rendimiento. La compañía también ha publicado un estudio que detalla más el proceso.

Junto con el documento, Sakana AI también está publicando el Archivo de Ingeniero AI Cuda, que es un conjunto de datos que consta de más de 30,000 núcleos generados por la IA. Estos núcleos se lanzan bajo la licencia CC-by-4.0 y se puede acceder a través de la cara abrazada.

Además, la firma japonesa también lanzó un sitio web que permite a los visitantes explorar interactivamente 17,000 núcleos verificados y sus perfiles. El sitio web permite a los usuarios explorar estos núcleos en 230 tareas, y también les permite comparar los núcleos CUDA en los experimentos individuales.