ChatGPT a été créé par OpenAI.

OpenAI est une organisation de recherche en intelligence artificielle (IA) qui vise à développer et promouvoir la recherche en IA de manière responsable. Fondée en 2015 par un groupe de personnalités du monde de la technologie, notamment Elon Musk et Sam Altman, OpenAI s’efforce de développer des technologies d’IA avancées de manière transparente et responsable, en collaboration avec la communauté de recherche en IA et en veillant à ce que les avancées en IA profitent à l’ensemble de la société. 

OpenAI a réalisé de nombreuses avancées importantes dans les domaines de l’apprentissage profond et de la reconnaissance de la parole, et a publié de nombreux articles de recherche sur ces sujets.

ChatGPT est un prototype d’agent conversationnel utilisant l’intelligence artificielle développé par OpenAI et spécialisé dans le dialogue. L’agent conversationnel est un modèle de langage affiné à l’aide de techniques d’apprentissage supervisé et d’apprentissage par renforcement. Le modèle de base qui a été affiné est le modèle de langage GPT-3 d’OpenAI.

ChatGPT a été lancé en novembre 2022 et a attiré l’attention pour ses réponses détaillées articulées, bien que son exactitude factuelle ait été critiquée.

Caractéristiques

ChatGPT a été affiné sur la base de GPT-3 avec l’apprentissage supervisé et l’apprentissage par renforcement1, les deux approches faisant appel à des formateurs humains pour améliorer les performances du logiciel. 

Dans le cas de l’apprentissage supervisé, le modèle a reçu des conversations dans lesquelles les formateurs jouaient les deux rôles : l’utilisateur et l’assistant d’intelligence artificielle. 

Dans l’étape de renforcement, les formateurs humains ont d’abord classé les réponses que le modèle avait créées dans les conversations précédentes. Ces classements ont été utilisés pour créer des modèles de récompense sur lesquels le modèle a été affiné en utilisant plusieurs itérations de Proximal Policy Optimization (en) (PPO). 

Les algorithmes de Proximal Policy Optimization présentent un avantage économique par rapport aux algorithmes de Trust Region Policy Optimization (en) ; ils annulent un grand nombre d’opérations coûteuses en calcul avec des performances plus rapides. 

Les modèles ont été formés en collaboration avec Microsoft sur son infrastructure de supercalculateur Azure.

Limites

ChatGPT souffre cependant de multiples limitations. Le modèle de récompense de ChatGPT, conçu autour de la surveillance humaine, peut être suroptimisé et ainsi entraver les performances, autrement connu sous le nom de loi de Goodhart.

En outre, ChatGPT a une connaissance limitée des événements survenus après 2021 et est incapable de fournir des informations sur certaines célébrités. 

Lors de la formation, les évaluateurs ont préféré les réponses plus longues, indépendamment de la compréhension réelle ou du contenu factuel. 

Les données d’entraînement peuvent également souffrir d’un biais algorithmique ; des invites comprenant des descripteurs vagues de personnes, comme un PDG, pourraient générer une réponse qui suppose que cette personne est, par exemple, un homme blanc.

Modèle économique

Le 5 décembre 2022, Sam Altman, un des dirigeants d’OpenAI, indique que le prototype, qui est pour l’instant gratuit, a atteint un million d’utilisateurs.

Même si le coût moyen de chaque réponse est relativement faible (de l’ordre de quelques centimes), il ajoute cependant qu’Open AI devra monétiser un jour l’application à l’avenir en raison de ses coûts de calcul « exorbitants ».

Intégration dans Microsoft Bing

Dans le cadre du partenariat entre Microsoft et Open AI, un projet d’intégration de ChatGPT dans le moteur de recherche Microsoft Bing serait à l’étude. En effet, d’après le média The Information, ChatGPT pourrait être intégré dans une future version de Bing afin d’assister l’internaute dans sa recherche en ligne. Bing serait alors capable de répondre de façon ciblée à l’internaute.

L’objectif pour Microsoft serait ainsi de permettre à Microsoft Bing de concurrencer Google qui détient plus de 90 % des parts du marché mondial en 2023.