IA soberana: la responsabilidad sigue en la empresa
Eva Mickler
7 min. lectura Quien adopta un modelo de IA en producción asume la responsabilidad de su comportamiento, ...
Leer artículo
14 min de lectura
Las principales fuentes de conocimiento para el entrenamiento de IA estarán ampliamente agotadas para 2024. Wikipedia, Stack Overflow y publicaciones especializadas –la base de los primeros grandes modelos– ya han sido procesadas casi por completo. Hasta 2026 se avecina una escasez sistémica de datos de entrenamiento de alta calidad, lo que frenará el crecimiento continuo del sector.
Lo más importante en resumen
- A principios de 2024, las principales fuentes públicas de conocimiento para IA –entre ellas Wikipedia, con 60 millones de entradas– ya han sido procesadas en gran medida, lo que pone en peligro la base para futuros modelos.
- El número de parámetros de los grandes modelos de IA se duplica cada dos años, mientras que el crecimiento de contenidos generados por humanos se ha estancado desde 2022: surge así un desequilibrio fundamental.
- Para seguir desarrollando la IA, proveedores como la matriz Alphabet y ejemplos como Anthropic recurren cada vez más a contenidos con licencia procedentes de editoriales y plataformas como Reddit y Stack Overflow.
- Los datos sintéticos –generados mediante algoritmos de cálculo y simulaciones– se consideran una salida, pero conllevan el riesgo del llamado «delirio de vaca loca», en el que los modelos se imitan a sí mismos y se degradan.
- Un experimento de la Universidad de Stanford mostró que los modelos de IA entrenados exclusivamente con datos sintéticos pierden rendimiento tras pocos ciclos –una señal de alarma para el sector desde 2022.
60 millones
es el número de entradas que comprende Wikipedia a principios de 2024, una de las últimas grandes fuentes de conocimiento libremente accesibles para el entrenamiento de IA.
2026
es el año a partir del cual los expertos prevén que se habrán agotado los principales datos de entrenamiento cualitativos para IA.
La escasez de datos afecta al sector
Desde 2022, investigadores advierten de un cuello de botella estructural: la base para el entrenamiento de IA es finita. Los desarrolladores de IA ya han procesado casi todos los textos públicamente accesibles –desde Wikipedia, revistas y publicaciones especializadas hasta foros como Stack Overflow–. El sector, desde 2022, se enfrenta al hecho de que no se añade material nuevo de calidad en volúmenes significativos. Según t3n, el problema radica en que estas fuentes crecen demasiado lentamente como para saciar el hambre de entrenamiento de modelos de IA cada vez más potentes.
Wikipedia, a principios de 2024, comprende 60 millones de entradas –impresionante, pero prácticamente estancada desde 2022–. Otros expertos consideran que el crecimiento conjunto de las fuentes públicas de conocimiento apenas es ya relevante. Al mismo tiempo, el número de parámetros de los grandes modelos se duplica cada dos años. Esto genera un desequilibrio fundamental: la cantidad de entrada crece de forma lineal, mientras que la capacidad de procesamiento lo hace exponencialmente. La consecuencia es medible: las principales fuentes para el entrenamiento de IA –incluidos archivos científicos y comunidades– ya están agotadas.
Empresas como la matriz Alphabet o el fabricante OpenAI deben tomar una decisión: recurrir a contenidos de menor calidad o explorar nuevas vías. Ambas opciones conllevan riesgos para la estabilidad y fiabilidad de los futuros sistemas. El hambre de entrenamiento de los modelos ya no es teórica: es operativa. Algunos desarrolladores ya informan de proyectos en los que nuevas versiones no pueden mejorarse significativamente por falta de material de entrenamiento fresco y válido. La discrepancia entre capacidad técnica y disponibilidad de datos se convierte en un cuello de botella crítico.
El sector responde con un replanteamiento estratégico: dejar atrás el scraping y apostar por datos con licencia. Sin embargo, ni siquiera estas fuentes son suficientes para cubrir la demanda de la próxima generación. Incluso la totalidad de la prensa diaria histórica de los últimos 100 años proporciona solo una fracción de la cantidad de datos necesaria. La dependencia de fuentes externas crea nuevos riesgos: aumentos de precio, restricciones de acceso o retiradas legales podrían bloquear el desarrollo.
Licencias en lugar de scraping: la nueva estrategia de datos
Ante la escasez y la incertidumbre jurídica del scraping, grandes proveedores de IA han comenzado a cerrar acuerdos con editoriales y plataformas consolidadas. Springer Nature y Reuters figuran entre los primeros socios cuyos contenidos ahora se licencian en lugar de extraerse. Reddit y Stack Overflow también han firmado acuerdos comerciales con desarrolladores de IA, un cambio claro del acceso informal hacia suministros estructurados de datos. La estrategia de datos, en respuesta a la escasez, busca asegurar a corto plazo acceso a material de alta calidad.
Sin embargo, esta estrategia tiene límites evidentes. Incluso si se procesaran todos los contenidos licenciados, su volumen no sería suficiente para alimentar los ciclos de entrenamiento de la próxima generación. Algunos desarrolladores afirman que incluso la totalidad de la prensa diaria histórica de los últimos 100 años apenas cubriría una fracción de la cantidad de datos necesaria. Además, la dependencia de fuentes externas crea nuevas dependencias: aumentos de precios, restricciones de acceso o retiradas legales podrían bloquear el desarrollo. Las editoriales y plataformas optan por contratos de exclusividad, lo que limita aún más el acceso para los actores más pequeños.
«Si seguimos dependiendo de contenidos generados por humanos, más tarde en 2026 chocaremos contra un muro: no por falta de capacidad computacional, sino por la ausencia de datos», afirma un investigador principal en un instituto europeo de IA.
Por ello, la licenciación no es una solución definitiva, sino una tecnología puente. Garantiza temporalmente acceso a material de calidad, pero traslada el problema al futuro. La industria necesita una solución sostenible y cada vez apuesta más en datos sintéticos como sustituto. La cuestión ya no es si se utilizarán datos sintéticos, sino cómo se controlará y supervisará su uso.
La matriz Alphabet y otros grandes desarrolladores de IA están explorando enfoques híbridos que combinen contenidos licenciados con datos generados de forma dirigida. El reto reside en el equilibrio: ¿cuánto material sintético es aceptable antes de que los modelos pierdan autenticidad? La respuesta no será solo técnica, sino también ética, y se decidirá en las salas de juntas.
Datos sintéticos: ¿la nueva base?
Los datos sintéticos se consideran la respuesta más prometedora a la escasez de datos. En lugar de depender de textos escritos por humanos, estos se generan mediante algoritmos computacionales y simulaciones. La base de las tecnologías de inteligencia artificial generativa permite producir enormes cantidades de material de entrenamiento: sin problemas de derechos de autor, sin incertidumbres de calidad, sin tiempos de espera. Los datos sintéticos son contenidos no creados por personas, generados a través de algoritmos computacionales y simulaciones.
Por ejemplo, Anthropic ya utiliza datos sintéticos desde la versión Opus de la serie de modelos Claude. También se dice que OpenAI, fabricante de ChatGPT, apuesta por este enfoque en su nuevo modelo lingüístico Orion. El método es sencillo: un modelo existente genera textos que luego sirven como entrada de entrenamiento para un modelo posterior. De este modo, el ciclo de entrenamiento podría prolongarse teóricamente de forma indefinida, sin depender de fuentes externas. Así, los ciclos de entrenamiento de los modelos se vuelven más independientes del aporte humano.
Pero esta autonomía tiene un inconveniente. Si los modelos de IA solo se entrenan con datos generados por otros modelos de IA, surge un ciclo cerrado. La diversidad del lenguaje humano, el contexto, las matices: todo ello podría perderse. Existe el riesgo de que los errores se refuercen, las alucinaciones se normalicen y los modelos se alejen progresivamente de la realidad. Los investigadores advierten: este proceso no es reversible. Los números de parámetros de los modelos aumentan, pero la profundidad semántica de la base de entrenamiento disminuye. Desde 2022, la industria trabaja en este dilema: escalabilidad frente a autenticidad.
Algunos desarrolladores emplean mecanismos de filtrado para introducir únicamente los textos sintéticos de mayor calidad en el proceso de entrenamiento. Otros combinan datos sintéticos con corpus moderados por humanos. Sin embargo, la estabilidad a largo plazo de estos enfoques es incierta. La industria se enfrenta a una decisión: continuar con el crecimiento exponencial o realizar una transición lenta y controlada hacia un nuevo paradigma de aprendizaje.
La maldición y la bendición de los datos sintéticos
El uso de datos sintéticos es un dilema clásico: resuelve un problema inmediato, pero a largo plazo crea otros nuevos. El método de recurrir a datos sintéticos o de baja calidad procedentes de publicaciones en redes sociales para entrenar inteligencia artificial no es aceptado sin controversia entre los investigadores. Puede afectar negativamente al nivel de los contenidos generados. Los riesgos para la estabilidad y fiabilidad de los sistemas futuros están documentados.
Un experimento de la Universidad de Stanford demostró que los modelos entrenados exclusivamente con datos sintéticos pierden rendimiento en cuestión de pocas generaciones. Las respuestas se volvieron repetitivas, lógicamente incoherentes y cada vez más carentes de sentido. En la comunidad investigadora, este fenómeno se conoce como «enfermedad de las vacas locas» –una alusión a la crisis de la EEB, en la que el ganado desarrollaba una enfermedad cerebral mortal al consumir harina animal elaborada a partir de sus propios congéneres. En la IA, el mecanismo es similar: cuando un modelo se entrena únicamente con contenidos generados por otros sistemas de IA, empieza a imitarse a sí mismo.
La diversidad disminuye, los artefactos se acumulan y la capacidad de procesar información nueva se desvanece. Algunos desarrolladores ya informan de los primeros síntomas en proyectos en curso, por ejemplo, modelos que de repente regresan en tareas lógicas complejas. La diversidad del lenguaje humano no puede replicarse únicamente mediante simulación. Las fuentes para la IA deben permanecer diversas; de lo contrario, la salida degenerará. El hambre de entrenamiento de los modelos no es solo un reto cuantitativo, sino también cualitativo.
Para contrarrestar esto, OpenAI ha creado un equipo propio dedicado exclusivamente a la pregunta de cómo pueden mejorarse los futuros modelos de IA a pesar de la escasez de datos de entrenamiento. La tarea está clara: ¿cómo puede garantizarse el aprendizaje cuando las fuentes de conocimiento se agotan? La respuesta podría estar en enfoques híbridos: una combinación de datos generados por humanos, datos con licencia y datos sintéticos creados de forma específica, controlados y supervisados. Desde 2022, la industria prueba estas combinaciones, con resultados mixtos.
La solución a largo plazo podría residir en el regreso a modelos más pequeños y especializados, centrados en dominios específicos en lugar de una inteligencia general. Pero esto pondría en cuestión el modelo de negocio actual de los grandes proveedores de IA. La decisión no será solo técnica, sino también económica.
Preguntas frecuentes
¿Por qué se están agotando los datos de entrenamiento para los modelos de IA?
Las fuentes más importantes de textos de alta calidad –como Wikipedia, revistas y publicaciones especializadas– ya han sido procesadas en gran medida. Su crecimiento es lento, mientras que la demanda de datos de entrenamiento aumenta exponencialmente debido a modelos más potentes. A principios de 2024, es previsible que esta disparidad conduzca a una escasez real hacia 2026.
¿Qué son los datos sintéticos?
Datos sintéticos –generados mediante algoritmos o sistemas de inteligencia artificial en lugar de recopilarse del mundo real– se utilizan cada vez más para entrenar modelos cuando faltan datos auténticos. Aunque pueden simular patrones reales, su uso excesivo plantea riesgos de distorsión y pérdida de calidad.