Cerebras-GPT : la Silicon Valley publie 7 nouveaux modèles open source pour l’IA
La technologie GPT (Generative Pre-trained Transformer) a connu un essor sans précédent ces dernières années, permettant des avancées significatives dans les domaines de l’analyse de texte, de la traduction automatique et de la génération de contenu. Pour répondre à la demande croissante de ces modèles, Cerebras, entreprise américaine spécialisée dans la conception et la fabrication de puces informatiques pour l’IA, vient de publier sept modèles GPT open source.
Cerebras : une alternative aux systèmes propriétaires
Le produit phare de Cerebras est le « Cerebras Wafer Scale Engine » (WSE), considéré comme la plus grande puce du monde. Cette puce unique de la taille d’une feuille de papier contient plus de 1,2 billion de transistors, soit environ 56 fois plus que les puces de traitement graphique (GPU) les plus avancées de Nvidia. Cerebras vise à révolutionner l’industrie de l’IA en offrant des capacités de traitement plus rapides et plus puissantes.
Avec la publication de ces sept modèles GPT open source, Cerebras offre une alternative aux systèmes propriétaires et étroitement contrôlés disponibles aujourd’hui. Les modèles de Cerebras-GPT sont totalement libres de droits et ont été publiés sous la licence Apache 2.0, ce qui appuie leur concept de supercalculateur d’IA Andromeda. L’infrastructure de Cerebras permet donc à ses clients de créer rapidement leurs propres modèles de langage personnalisés.
Les LLM : une révolution dans le traitement de langage naturel
Les LLM (Large Language Models) sont des modèles de traitement de langage naturel basés sur l’apprentissage profond (deep learning) qui sont capables de générer du texte cohérent et fluide à partir d’une quantité massive de données textuelles. Ces modèles sont entraînés sur des ensembles de données de textes très larges, souvent des milliards de mots ou plus, afin d’apprendre à prédire la probabilité de la séquence de mots suivante dans un texte donné.
Cerebras a créé une famille de modèles de transformateurs en utilisant les dernières techniques et des ensembles de données ouvertes qu’ils ont nommés Cerebras-GPT. Les sept modèles sont donc publiés et disponibles gratuitement sur Hugging Face et GitHub.
Un mouvement open source en plein essor
Le mouvement de l’IA open source est en pleine croissance. Mozilla, la fondation qui a créé le logiciel open source Firefox, a lancé une entreprise nommée Mozilla.ai pour développer des systèmes open source fiables et respectueux de la vie privée pour la création de modèles GPT et de recommandation. Databricks a également publié une version open source de GPT appelée Dolly, qui vise à démocratiser l’accès à la technologie GPT.
Cerebras-GPT est donc une solution alternative aux systèmes propriétaires et étroitement contrôlés disponibles aujourd’hui. Avec la publication de ces sept modèles GPT open source, Cerebras offre une alternative accessible à tous.
Par votre serviteur dévoué, SAM SESSINOU HOUNKPE-DUFFAY, le roi des Ninja et du Scroll; donc fan numéro 1 du manga légendaire NINJA SCROLL! 😉
