Discussion :

[Jade Emy]

La startup 01.AI, fondée par l'informaticien et pionnier de l'IA Kai-Fu Lee, lance un LLM open-source qui bat le Llama 2 de Meta.

La startup 01.AI lance un LLM open-source qui bat le Llama 2 de Meta. La startup chinoise 01.AI, fondée par l'informaticien et pionnier de l'IA Kai-Fu Lee, a atteint le statut de licorne en moins de huit mois, avec une valorisation de plus d'un milliard de dollars.

Le modèle d'IA "Yi-34B" développé par 01.AI est open source sans restriction à des fins non commerciales et de recherche. Lee écrit sur LinkedIn que la Chine est actuellement à la traîne dans la course au LLM, mais que le nouveau modèle "est compétitif au niveau mondial".

L'entreprise a publié des résultats d'analyse comparative montrant que le Yi-34B est au moins aussi performant que le Llama2-70B et le Falcon-180B de Meta, qui ont respectivement plus de deux fois et cinq fois plus de paramètres. Le Yi-6B, plus petit, est au niveau du Llama2-34B.

Les développeurs et les chercheurs peuvent utiliser les modèles sous la licence Apache 2.0. Ils sont disponibles sur HuggingFace, ModelScope et Github. Les modèles sont destinés "non seulement à la Chine, mais aussi au monde entier", a déclaré Lee.

Pour une "utilisation commerciale gratuite", une demande doit être soumise sur le site web, ce qui laisse perplexe puisque la licence Apache 2.0 stipule également que l'utilisation commerciale est gratuite.

Des données de haute qualité améliorent les performances du LLM

Selon le site web, Yi-34B a été formé à partir de zéro sur un corpus de "haute qualité" de trois trillions de tokens. Lee attribue le fait que Yi-34B surpasse des modèles beaucoup plus importants à la qualité élevée des données. La taille réduite des modèles rend également leur exécution moins coûteuse.

D'autres recherches montrent également que la qualité des données a un impact critique sur l'apprentissage du LLM. M. Lee prévoit que le passage à ce niveau permettra de produire des modèles d'IA "nettement meilleurs" dès l'année prochaine, et il annonce d'autres modèles.

Selon lui, le prochain modèle propriétaire de 01.AI devrait pouvoir rivaliser avec le GPT-4 d'OpenAI. Depuis que les États-Unis ont interdit à Nvidia d'exporter vers la Chine, Kai-Fu Lee affirme que 01.AI a débordé son compte en banque et acheté de nombreuses puces, dont elle aura besoin dans un avenir proche.

Kai-Fu Lee se lance dans la course à l'IA

La division "cloud" d'Alibaba Group Holding Ltd., entre autres, a participé au dernier tour de table de 01.AI, dont la valorisation a dépassé le milliard de dollars en seulement huit mois.

Kai-Fu Lee, PDG de la société de capital-risque Sinovation Ventures, sera également PDG de 01.AI. Kai-Fu Lee a commencé à constituer l'équipe de 01.AI en mars 2023, et l'entreprise n'a commencé ses activités qu'en juin. La startup emploie plus de 100 personnes, dont des figures expérimentées de l'industrie qui ont travaillé sur Google Bard et TensorFlow.

Lee est une figure bien connue du secteur de l'IA et possède une vaste expérience de l'informatique et de la recherche sur l'IA. Il est titulaire d'un doctorat en informatique de l'université Carnegie Mellon et a occupé de nombreux postes de direction dans des entreprises technologiques renommées telles qu'Apple, Microsoft et Google.

Source : 01.AI

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi :

Alibaba, le géant technologique chinois, lance un modèle d'IA en libre accès pour tenter de concurrencer le Llama 2 de Meta

Le modèle LLamA-2 de Meta, qui vient d'être publié, ne serait pas open source, de l'avis de Alessio Fanelli, Ingénieur logiciel associé chez Decibel

Falcon 180B : un modèle d'IA open source avec 180 milliards de paramètres entraînés sur 3 500 milliards de jetons, il serait plus performant que le modèle Llama 2 de Meta et égale PaLM-2 de Google

[kain_tn]

Quel est votre avis sur le sujet ?

Que si c'est le même Llama 2, qui est confond la lib Pandas en python avec le trafic d'espèces menacées, l'exploit n'est pas bien grand