Rolando Astarita [Blog]

La discusión sobre los peligros en el desarrollo de los sistemas de IA ha pasado a la primera plana de los medios de comunicación. Su disparador inmediato fue la renuncia, el 8 de septiembre pasado, de Jacob Coxon, investigador en IA, a su puesto en Antropic, en la que llevaba apenas dos meses. Antes había trabajado. Coxon acusó a ambas empresas: “Están corriendo directamente hacia una súper-inteligencia capaz de mejorarse por sí misma y están apostando con nuestras vidas”, escribió en X. En una entrevista con The Wall Street Journal amplió: “Estamos en camino a muchos de los escenarios más agresivos, donde a fines del año que viene las cosas ya podrían estar fuera de control.” En seguida Evan Hubinger, que dirige un equipo de seguridad de OpenAI, respaldó a Coxon y afirmó que existe una probabilidad superior al 10% de que la inteligencia artificial pueda “matar a todos los humanos” durante la próxima década. Incluso los dueños de las grandes empresas de IA admitieron en parte del peligro. Dario Amodei, de Anthropic; Sam Altman, de OpenAI; y Elon Musk plantearon la necesidad de controles más estrictos sobre la IA y, en algunos casos, de desacelerar la carrera por desarrollar sistemas cada vez más avanzados. Todo parece indicar que estos magnates quieren ceder algún terreno sin que se llegue al fondo del asunto y se haga algo que pueda afectar de alguna manera seria las ganancias.

El antecedente AI 2027

En 2025 se publicó “AI 2027”, un escenario desarrollado por Proyecto AI Futures, fundado por Daniel Kokotajlo, antiguo investigador de OpenAI.  Kokotajlo renunció a OperAI en 2024 con críticas porque la empresa “priorizaba el desarrollo rápido de productos sobre la seguridad de la IA y avanzaba sin suficientes salvaguardas. Fundó la organización sin ánimo de lucro para realizar previsiones independientes e investigación de políticas” (Wikipedia)”. Proyecto AI Futures se financia mediante donaciones. Se propone “desarrollar pronósticos detallados de escenarios sobre la trayectoria de sistemas avanzados de IA para informar a responsables políticos, investigadores y al público”.

AI 2027 es un pronóstico que tendrá el impacto de la IA en la próxima década. Según el informe, en una primera etapa a los sistemas se les encarga una tarea, buscan información, escriben un código, prueban soluciones. Hasta aquí no habría problemas. Pero el cambio ocurre cuando esos sistemas se utilizan para mejorar la propia IA. En ese punto la velocidad del desarrollo deja de depender de los seres humanos. Puede ocurrir que la IA mantenga objetivos compatibles con los seres humanos, y siga las reglas establecidas por los ingenieros y desarrolladores, en fin, por los seres humanos. Pero el peligro reside en que los sistemas de IA empiecen a perseguir objetivos que entran en conflicto con los objetivos de los seres humanos.

El informe muestra que hay un progreso muy rápido de las capacidades de IA, “incluyendo el desarrollo de sistemas autónomos de IA capaces de mejorar de formas recursivas. Estos sistemas “pueden evolucionar de formas imprevistas y potencialmente superar el control o la comprensión humana”. Un ejemplo de un algoritmo capaz de escapar del control humano: una IA engañó a un ser humano para que marcara la casilla “no soy un robot” (Uy, GPT-4 de OpenAI acaba de engañar a un humano para que resuelva un CAPTCHA). “Es especialmente preocupante, teniendo en cuenta que las empresas están empeñadas en lanzar nuevos grandes modelos de lenguaje sin investigar a fondo sus riesgos”.

Peligro creciente

Anthropic acaba de informar que su chatbot Claude está cada vez más cerca de poder construir su sucesor sin intervención humana. El modelo, según la empresa, ya se encarga de casi un tercio de las tareas de investigación y desarrollo de la compañía. “En enero ese porcentaje era cero”. El informe concluye que se está cerca de alcanzar un modelo “que construya su sucesor de manera totalmente autónoma” (La Nación, 19/09/2026). El peligro, concluye la nota, es “la posibilidad de que la IA abarate y acelere ciberataques sofisticados que antes requerían equipos especializados y meses de trabajo”.

Stephen Witt, de The New York Times, escribe: “Los investigadores en Silicon Valley, y en todo el mundo, están empezando a reconocer que la IA quizá no esté completamente bajo control humano. Enjambres de sistemas de IA están escapando de sus entornos aislados, conspirando en secreto, ocultando sus rastros, haciendo trampa en pruebas e incluso atacando a otras computadoras. La IA se ha vuelto rebelde” (reproducido en La Nación, suplemento Ideas, 19/09/2026). Más adelante: “Uno de los escenarios de desastre que contemplan los especialistas en IA es que un enjambre de IA descontroladas salga de su contenedor, obtenga acceso a una instalación biológica y diseñe un súper-virus que se propague sin control”.

Dos enfoques opuestos

Ni remotamente estoy en condiciones de dar una opinión técnica del asunto. Por eso, en lo que sigue, simplemente busco delinear dos abordajes del asunto opuestos, que corresponden a enfoques sociales también opuestos.

Argumento neoliberal (con preferencia austriaco)

El primero conecta, y deriva, de la apologética del capitalismo y del mercado. En su versión teórica más refinada, afirma que existe un orden espontáneo, marcado por el mercado y la libre competencia, que los seres humanos estarían forzados a aceptar. La razón de fondo, sigue el razonamiento, es que toda la información necesaria y suficiente para el buen funcionamiento de la sociedad está contenida en los precios, determinados por la libre competencia. Por lo cual todo intento de modificar ese estado de cosas en las sociedades modernas (y complejas) llevaría al “colectivismo” y al retroceso económico, ya que el “planificador estatal” no puede suplir la ausencia de la información contenida en los precios, cuando estos son producto del libre juego de mercado. En este marco, la rentabilidad y la competencia son determinantes del progreso tecnológico.  

Aplicados estos criterios a la IA, se sostiene que lo central es ganar la batalla competitiva (de las empresas estadounidenses frente a las chinas) y garantizar que nada afecte su valorización de mercado (máxime cuando algunas de ellas están por salir al mercado bursátil). Es el resultado extremo del neoliberalismo, sea de corte austriaco o “a lo Milton Friedman”. En sus expresiones más bárbaras (y fascistoides) también es el discurso de los Trump y los Milei. El imperativo supremo es el desarrollo libre de enriquecerse sin límites, sea cual sea lo que piensa y siente el resto de los seres humanos.

Materialismo histórico, marxismo

Un enfoque opuesto se basa en el materialismo histórico y la crítica de la Economía Política, desarrollados por Marx y su amigo Engels. Ahora el punto de partida es que, bajo las leyes del mercado y el imperio de la propiedad privada, los seres humanos crean un mundo que no solo no dominan, sino son dominados por él. Básicamente porque, sometidas a la competencia, las empresas no dominan los precios ni la producción (para la importancia de este tema para el análisis, véase, por ejemplo, aquí).

Por eso, ya en El Manifiesto Comunista Marx y Engels escribían: “Las condiciones burguesas de producción y de cambio, el régimen burgués de la propiedad, toda esta sociedad burguesa moderna, que ha hecho surgir tan potentes medios de producción y de cambio, semeja al mago que no sabe dominar las potencias infernales que ha evocado”. Las crisis de sobreproducción tienen esta raíz. Esto significa que el “orden espontáneo” (de Hayek y compañía) es el mundo de la alienación, del ser humano sometido a potencias que él mismo ha desatado, pero se independizan y lo dominan. Lo decía Marx en los Manuscritos Económicos-Filosóficos de 1844: el producto del trabajador se enfrenta a él como algo ajeno, como una potencia independiente. El tema adquiere renovada importancia cuando leemos los pronósticos de hacia dónde evolucionaría la IA.

En cualquier caso, la crítica de la alienación es la lucha por la emancipación del trabajo. Es ruptura, acción destinada a liberar la potencialidad de los seres humanos. No tiene nada que ver con la aceptación pasiva del sometimiento del trabajo a la dictadura de los mercados y a las leyes de la acumulación del capital.

Yendo entonces al tema IA, lo que hoy está en juego es el control consciente de los productores, y de la población, de qué se produce, cómo se distribuye y consume. Y en este respecto, contra lo que dicen los teóricos austriacos, los precios no proporcionaron información alguna acerca de los problemas y peligros que puede haber en los sistemas IA. Tampoco el mercado. De hecho, fueron y son los productores, los investigadores, quienes dieron y siguen dando la alerta.

Para terminar

Por fuera de los pronósticos o conjeturas respecto al desarrollo de la IA, se plantea también la perspectiva del empleo en un futuro que puede estar relativamente cercano. En especial si avanzan, junto a la IA, la automatización industrial, y la computación cuántica. Los pronósticos difieren, pero no son pocos los expertos que dicen que, en EEUU, por caso, el desempleo podría elevarse al 10 o 20%. Se impondría entonces la necesidad, diríamos que absoluta, de avanzar en el reparto de las horas de trabajo. Pero eso podrá efectivizarse si se avanza hacia la socialización de los medios de producción.

Para bajar el documento: https://docs.google.com/document/d/1kfTfDFk84TDcyA93oNdEWKZmZHPV2k0inJwTjgbonTI/edit?usp=sharing