À la limite : les données d’entraînement de l’IA viennent à manquer

Certains experts l’avaient prédit il y a déjà deux ans : le moment semble venu. L’IA manque de données d’entraînement de qualité ! Les grands acteurs du secteur se tournent donc de plus en plus vers des alternatives.

Wikipédia, cette immense encyclopédie en ligne, compte une communauté tout aussi vaste à travers le monde. Nombre de ses contributeurs s’investissent activement pour enrichir les connaissances diffusées via ses plus de 60 millions d’articles (chiffres début 2024).

Malheureusement, l’IA ne peut pas s’appuyer sur une telle communauté humaine pour élargir le volume de données qui sous-tend ses connaissances. Pour entraîner une IA, il faut en permanence de nouvelles données de haute qualité. Comme l’explique t3n, les développeurs de systèmes d’IA se sont souvent tournés, par le passé, vers des magazines et publications spécialisées librement accessibles sur Internet.Cette source commence toutefois à se tarir. Les grands acteurs ont donc déjà conclu des accords avec des groupes de presse comme Springer, Reuters ou le New York Times. Les archives scientifiques et les communautés en ligne telles que Reddit et Stack Overflow sont également mises à contribution pour nourrir et développer les connaissances des IA. Selon t3n, le problème réside dans le fait que ces sources croissent bien trop lentement pour satisfaire l’appétit vorace des modèles d’IA, qui ne cessent de s’améliorer.Dès 2022, des alertes avaient été lancées : les sources de connaissances pour l’entraînement des IA pourraient s’épuiser dès 2026. D’autres experts tablaient sur un horizon un peu plus lointain, estimant que le phénomène ne surviendrait que deux ans plus tard.Certains développeurs, comme Alphabet (maison mère de Facebook), se rabattent ainsi sur des sources moins fiables pour entraîner leurs modèles d’IA.

Une autre approche, adoptée par exemple par Anthropic depuis la version Opus de sa série de modèles Claude, consiste à utiliser des données dites synthétiques pour l’entraînement. OpenAI, le créateur de ChatGPT, aurait également recours à cette méthode pour son nouveau modèle de langage Orion. Les données synthétiques sont des données non créées par des humains, mais qui imitent des données réelles.Elles sont générées par des algorithmes de calcul et des simulations, sur la base de technologies d’intelligence artificielle générative. Plutôt que de recourir à une coûteuse acquisition de données traditionnelles, cette méthode permet de produire très simplement et rapidement des volumes de données de taille illimitée, adaptés aux besoins spécifiques.

Malediction et bénédiction des données synthétiques

Le recours à des données synthétiques ou de faible qualité, issues de publications sur les réseaux sociaux, pour l’entraînement des intelligences artificielles fait débat parmi les chercheurs. Car cette pratique peut avoir un impact négatif sur la qualité des contenus générés.

En effet, avec des données synthétiques, une question persiste : comment une IA peut-elle continuer à apprendre si elle ne dispose, pour son entraînement, que de données qu’elle a elle-même produites ? Sans compter le risque que les modèles d’IA commencent à se limiter eux-mêmes en imitant des données d’entraînement auto-générées.

Les données synthétiques peuvent même rendre une IA inutilisable, comme l’a démontré une expérience menée par l’université de Stanford.

Note : Dans le contexte des pays germanophones (DACH – Allemagne, Autriche, Suisse), les débats sur l’éthique et la qualité des données d’entraînement des IA sont particulièrement vifs, notamment en raison des réglementations strictes en matière de protection des données (comme le RGPD). Les chercheurs locaux privilégient souvent des approches transparentes et contrôlées, ce qui explique la prudence face aux données synthétiques.

À lire aussi

• Le pilote d’IA fonctionne, pas l’exploitation régulière
• Dette technique : Pourquoi le conseil d’administration doit agir maintenant
• Digitalisation sans Big-Bang : Transformation par étapes