Comunidad de Byte TI

Únete a la Comunidad de Directivos de Tecnología, Ciberseguridad e Innovación Byte TI

Encontrarás un espacio diseñado para líderes como tú.

OVHCloud Olala

OVHcloud anuncia Olala, su familia de modelos de lenguaje LLM 

El primer miembro de esta familia, Olala mini 7A1B, es un modelo compacto basado en una arquitectura novedosa y demuestra que las empresas europeas cuentan con la capacidad para innovar y entrenar LLM agénticos partiendo de cero. Su lanzamiento oficial tendrá lugar en el OVHcloud AI Summit el 19 de noviembre, donde OVH presentará en detalle todas sus innovaciones en cloud e inteligencia artificial para sus clientes. 

Olala mini se basa en una arquitectura de 7.000 millones de parámetros (7B) con 1.000 millones activados, repartidos entre 256 expertos por capa, y atención híbrida con Differential-TPA y Mamba-3, en formato BF16. En cada consulta solo se utiliza una fracción del modelo, lo que lo hace más rápido y consume menos memoria. Como consecuencia directa, el modelo funciona en una GPU con tan solo 8 GB de memoria, alcanza los 160 tokens por segundo en una RTX A4500 e, incluso sin GPU, en un procesador estándar, alcanza los 50 tokens por segundo. Su ventana de contexto alcanza actualmente los 32.000 tokens. Olala mini estará disponible como código abierto en Hugging Face, bajo la licencia Apache 2.0. 

Ya en funcionamiento en Qwant 

Olala mini se ha entrenado en tres superordenadores públicos europeos —Jupiter, MeluXina y Jean Zay—, equipados con GPU GH200, A100 y H100. Este apoyo, que supone el equivalente a 7 millones de euros en horas de cálculo, ha sido determinante, y OVH desea expresar su agradecimiento a las autoridades. La iniciativa pública ha resultado ser un éxito en más de un sentido: ha dado lugar a un equipo excepcional en inteligencia artificial y ha dado origen al laboratorio de agentes de OVH: OVHai LLM. Olala mini se lanza con sus pesos, su modelo base pre entrenado, su informe técnico y su documentación de conformidad con la Ley de IA. Qwant ya lo ha adoptado para su función de respuestas instantáneas, con beneficios significativos: respuestas un 20 % más rápidas y unos costes de funcionamiento reducidos a una tercera parte en comparación con el modelo utilizado anteriormente. 

OVHcloud anuncia Olala, su familia de modelos de lenguaje LLM  1

Olala impulsará OVHai Workspace 

Prevista para finales de año, la versión 1.1 ampliará la ventana de contexto a 128 000 tokens y mejorará su rendimiento en el razonamiento matemático. Con la versión 2.0, OVHai LLM pretende desarrollar modelos especializados en tres áreas. En primer lugar, la IA agéntica para empresas: con el tiempo, Olala impulsará OVHai Workspace, cuya versión cifrada requerirá modelos capaces de ejecutarse localmente, directamente en el puesto de trabajo. En segundo lugar, DevOps en la nube, con versiones adaptadas a desarrolladores, arquitectos y equipos de operaciones que garantizan la continuidad del servicio las 24 horas del día. Por último, la ciberseguridad, que abarca tanto los aspectos defensivos como los ofensivos. Olala v2.0 superará los 100 000 millones de parámetros. 

“La IA es estratégica para OVH. Además de ofrecer servicios de IA a nuestros clientes, debemos ser capaces de crear modelos tanto para nuestras propias necesidades internas como para las de nuestros clientes. No podemos limitarnos a confiar en la generosidad de determinados laboratorios a la hora de compartir sus modelos LLM como código abierto en los próximos años. Los conocimientos técnicos sobre el entrenamiento de modelos se han generalizado ampliamente y el coste del entrenamiento se ha reducido a una vigésima parte en tres años. Ahora es posible crear modelos LLM y, al mismo tiempo, hacer que esta actividad sea rentable”, ha declarado
Octave Kalba, CEO de OVHcloud. 

Deja un comentario

Scroll al inicio