Depuis son lancement, ChatGPT a fait l’objet de louanges pour sa capacité à générer du texte de manière cohérente et intelligente. Cependant, des chercheurs de Stanford et de Berkeley ont récemment attiré l’attention sur un phénomène inquiétant : la dégradation des performances de GPT-3.5 et GPT-4, les modèles de langage phares d’Open AI.
Dans le cadre d’une étude approfondie, ces chercheurs ont observé que ces derniers mois, les réponses de GPT-3.5 et GPT-4 semblaient de moins en moins précises. Un exemple frappant : la capacité de GPT-4 à identifier les nombres premiers, qui affichait une précision étonnante de 97,6 % en mars 2023, a décliné de manière drastique à 2,4 % en juin 2023. De plus, les chercheurs ont noté une augmentation des erreurs de formatage dans la génération de code par ces modèles.
Les utilisateurs eux-mêmes ont remarqué ce changement et l’ont qualifié de “stupidité croissante” de ChatGPT. Cette dégradation est si évidente que Peter Welinder, le vice-président d’Open AI, a dû intervenir pour clarifier la situation. Sur Twitter, il a nié toute intention de rendre GPT-4 moins performant, affirmant au contraire que chaque nouvelle version était conçue pour être plus intelligente que la précédente. Il a suggéré que les problèmes rencontrés par les utilisateurs pourraient être liés à une utilisation intensive de l’outil, soulignant que certaines erreurs peuvent être plus visibles lors d’une utilisation prolongée.
Our goal is to make every new model version smarter than the previous one, measured across a broad set of tasks. We never make changes to pinned model versions that affect outputs. https://t.co/hjE8ZdMwxO
— Peter Welinder (@npew) July 20, 2023
Les chercheurs, quant à eux, soulèvent des questions essentielles quant à l’évolution de ces modèles de langage. Ils constatent une variabilité importante des performances et du comportement de GPT-3.5 et GPT-4 d’une version à l’autre. Ils se demandent si les mises à jour destinées à améliorer certains aspects pourraient potentiellement nuire à d’autres dimensions du modèle. Ces interrogations sont cruciales pour comprendre le fonctionnement et les limites de ces intelligences artificielles de pointe.
Open AI continue d’affirmer son engagement envers l’amélioration continue de ChatGPT. Ils mettent en avant les avancées technologiques et les mises à jour régulières qui visent à renforcer la performance globale du modèle. Toutefois, les chercheurs nous rappellent que chaque pas en avant doit être scruté de près pour s’assurer qu’il ne compromet pas d’autres aspects essentiels.
L’évolution de ChatGPT est un sujet complexe et controversé. Si les chercheurs soulèvent des inquiétudes quant à la dégradation des performances, Open AI s’efforce de garantir une expérience utilisateur optimale en procédant à des mises à jour régulières. L’avenir de l’intelligence artificielle est passionnant et plein de promesses, mais il nécessite une approche éclairée et responsable pour exploiter pleinement son potentiel.
Entrepreneur sur le web, Aujourd’hui, Internet représente un volet majeur pour les universités, les petites et les grosses entreprises. Notre but est de vous tenir au courant de toutes les informations sur le monde étudiant, startup, entreprise.
