L'âge des grands modèles linguistiques : un passage à une échelle beaucoup plus petite

• Auteur :
• Nom de l'auteur

  Prévision quantique
• 27 juillet 2023

Faits saillants des aperçus

Les grands modèles de langage (LLM), tels que ChatGPT, utilisent un apprentissage en profondeur et de grands ensembles de données pour créer et comprendre du texte, promettant un avenir avec des assistants d'intelligence artificielle (IA) surpuissants. Leur influence croissante recèle un potentiel économique perturbateur et des implications sociétales importantes, notamment une productivité accrue, le potentiel de suppression d'emplois et la refonte des normes sociales. Cependant, en raison des rendements décroissants de la mise à l'échelle des modèles et de l'augmentation des coûts, le PDG d'OpenAI, Sam Altman, suggère une évolution vers des modèles plus petits et spécifiques à l'entreprise.

Contexte de l'ère des grands modèles de langage

Un LLM est un type d'IA qui utilise l'apprentissage en profondeur et des ensembles de données massifs pour comprendre et générer du contenu textuel, également classé comme IA générative. S'inspirant du développement humain des langues parlées pour la communication, l'IA utilise des modèles de langage pour créer et transmettre de nouveaux concepts. Ces modèles sont issus des premières innovations de l'IA comme le modèle de langage ELIZA en 1966. Les modèles de langage sont formés sur un ensemble de données, puis utilisent diverses techniques pour déduire des relations et générer un nouveau contenu, souvent utilisé dans les applications de traitement du langage naturel (TAL). Les LLM représentent une étape avancée dans ce concept, la formation sur des ensembles de données plus importants avec un milliard de paramètres ou plus, améliorant considérablement les capacités de l'IA.

Le LLM qui alimente ChatGPT et ses concurrents évolue rapidement. Bien qu'ils soient loin de ce que certains appellent l'intelligence générale artificielle (IAG), ils donnent au public un aperçu précoce de ce à quoi la vie pourrait ressembler avec l'accès à un assistant personnel vraiment superpuissant. Par exemple, Auto-GPT est sorti en mars 2023, une application qui imite certaines des fonctionnalités théoriques d'un AGI, telles que la capacité de comprendre le monde comme un humain et une capacité équivalente pour apprendre et effectuer un plus large éventail de tâches. Auto-GPT est un programme Python open source expérimental qui utilise GPT-4 pour des opérations autonomes, ce qui signifie qu'Auto-GPT peut s'auto-inviter à exécuter les tâches assignées avec une implication humaine minimale.

Impact perturbateur

Bien qu'encore expérimentaux, ces agents LLM peuvent augmenter les gains de productivité grâce à la baisse des coûts du matériel et des logiciels d'IA. Les recherches d'ARK montrent que les logiciels d'IA pourraient générer jusqu'à 14 90 milliards de dollars de revenus et contribuer à une valeur d'entreprise de 2030 4 milliards de dollars d'ici XNUMX. À mesure que le GPT-XNUMX et les grands modèles similaires s'améliorent, de nombreuses entreprises créent leurs propres modèles plus petits et spécifiques à l'entreprise. avec des coûts moindres. Même le PDG d'OpenAI, Sam Altman, pense que l'avenir des LLM sera beaucoup plus petit.

Altman suggère que GPT-4 pourrait être le dernier progrès significatif résultant de leur approche actuelle d'élargissement des modèles et d'augmentation de la saisie de données. Bien que les détails des stratégies ou techniques de recherche futures potentielles n'aient pas été décrits, Altman a souligné que leurs recherches sur GPT-4 indiquaient des rendements décroissants lors de la mise à l'échelle d'une taille de modèle. Il a également noté des contraintes pratiques, telles que le nombre de centres de données qu'OpenAI peut construire et la vitesse à laquelle ils peuvent être construits.

La formation de ces modèles devient également plus coûteuse que jamais. Un modèle de 530 milliards de paramètres sur d'énormes ensembles de données textuelles a été réalisé par Microsoft et NVIDIA grâce au déploiement de centaines de serveurs multi-GPU DGX A100, chacun coûtant 199,000 100 USD. Si l'on considère les coûts associés à l'équipement réseau, à l'hébergement et aux autres dépenses connexes, la réplication d'une telle expérience avoisinerait probablement la somme stupéfiante de XNUMX millions de dollars américains.

Implications de l'âge des grands modèles linguistiques

Les implications plus larges de l'âge des grands modèles de langage peuvent inclure: 

• Dépendance accrue à l'IA pour la communication, la résolution de problèmes et la prise de décision. L'influence de l'IA dans la formation des normes sociales et des opinions pourrait soulever des inquiétudes concernant l'agence individuelle et le potentiel de manipulation par des récits basés sur l'IA.
• Améliorations significatives de la productivité et des économies de coûts pour les entreprises. L'automatisation peut rendre de nombreuses industries plus efficaces, mais elle pourrait également aggraver les inégalités de revenus, car les travailleurs hautement qualifiés et les propriétaires d'IA pourraient en tirer davantage d'avantages.
• Les LLM sont utilisés pour analyser le sentiment politique, élaborer des recommandations politiques ou même rédiger des projets de loi. Cependant, il existe un risque que le contenu généré par l'IA soit utilisé pour des campagnes de désinformation ou pour manipuler l'opinion publique.
• Les personnes âgées bénéficient potentiellement de services de santé et de compagnie basés sur l'IA, tandis que les jeunes travailleurs pourraient être confrontés à de nouveaux défis professionnels en raison de l'automatisation généralisée.
• De nouvelles avancées dans la recherche et les applications de l'IA, menant à la création de nouvelles technologies et industries. Cependant, les technologies de l'IA soulèvent également des inquiétudes quant aux abus potentiels, aux menaces de cybersécurité et à la nécessité d'une réglementation et d'une surveillance adéquates.
• Déplacement important d'emplois, en particulier dans les industries qui impliquent des tâches répétitives ou l'analyse de données. Alors que de nouvelles opportunités d'emploi peuvent devenir disponibles, il peut également être nécessaire de recycler et de soutenir les travailleurs déplacés pour passer à de nouveaux rôles. La société devra s'adapter à ces changements, en repensant potentiellement l'éducation, les filets de sécurité sociale et les politiques du travail.

Questions à considérer

• Sinon, comment pensez-vous que les LLM vont évoluer ?
• Si vous travaillez dans l'industrie de l'IA, quels sont les développements dans les cas d'utilisation LLM ?