¿Es la Inteligencia Artificial más peligrosa que la bomba atómica?

Fuente: Jonathan Tennembaum- Asia Times

El asombroso rendimiento de los recientes llamados «modelos de lenguaje grande» (en primer lugar, la serie ChatGPT de OpenAI) ha aumentado las expectativas de que los sistemas capaces de igualar las capacidades cognitivas de los seres humanos, o incluso poseer una inteligencia «sobrehumana», pronto se conviertan en una realidad.

Al mismo tiempo, los expertos en inteligencia artificial emiten terribles advertencias sobre los peligros que un mayor desarrollo descontrolado de la IA representaría para la sociedad, o incluso para la supervivencia de la propia raza humana.

¿Se trata de una mera exageración, del tipo que ha rodeado a la IA durante más de medio siglo? ¿O existe ahora una necesidad urgente de medidas para controlar el mayor desarrollo de la IA, incluso a costa de obstaculizar el progreso en este campo revolucionario?

El 22 de marzo apareció una carta abierta, firmada por expertos en inteligencia artificial, así como personalidades destacadas como Elon Musk y que cerraba con la declaración: “Por lo tanto, hacemos un llamado a todos los laboratorios de IA para que pausen de inmediato durante al menos seis meses el entrenamiento de los sistemas de IA. más potente que GPT-4”.

Justificando la necesidad de tal moratoria, la carta abierta argumenta:

La IA avanzada podría representar un cambio profundo en la historia de la vida en la Tierra y debe planificarse y gestionarse con el cuidado y los recursos correspondientes. Desafortunadamente, este nivel de planificación y gestión no está ocurriendo, a pesar de que en los últimos meses los laboratorios de IA han entrado en una carrera fuera de control para desarrollar e implementar mentes digitales cada vez más poderosas que nadie, ni siquiera sus creadores, pueden entender. predecir o controlar de forma fiable.

[Nosotros] debemos preguntarnos: ¿Deberíamos dejar que las máquinas inunden nuestros canales de información con propaganda y falsedad? ¿Deberíamos automatizar todos los trabajos, incluidos los de cumplimiento? ¿Deberíamos desarrollar mentes no humanas que eventualmente podrían superarnos en número, ser más inteligentes, obsoletas y reemplazarnos? ¿Deberíamos arriesgarnos a perder el control de nuestra civilización?

Eliezer Yudkowsky, ampliamente considerado como uno de los fundadores del campo de la inteligencia artificial, fue mucho más allá en un artículo de Time titulado “ Pausar los desarrollos de IA no es suficiente. Tenemos que cerrarlo todo”.

Esta moratoria de 6 meses sería mejor que ninguna moratoria… Me abstuve de firmar porque creo que la carta está subestimando la gravedad de la situación…

Muchos investigadores inmersos en estos temas, incluyéndome a mí, esperan que el resultado más probable de construir una IA sobrehumanamente inteligente, bajo cualquier circunstancia remotamente parecida a las actuales, es que, literalmente, todos en la Tierra morirán. No como en «tal vez posiblemente alguna posibilidad remota», sino como en «eso es lo obvio que sucedería».

El ejemplo de la bomba de hidrógeno

El espectáculo de los científicos de IA que piden una pausa, o incluso el cese, del trabajo que avanza rápidamente en su propio campo no puede sino recordarnos la historia de las armas nucleares.

El asombroso poder destructivo de la bomba atómica, que la investigación científica había hecho posible, provocó el famoso comentario de Einstein “¡Ach! El mundo no está preparado para eso”.

En 1949, algunos de los principales físicos nucleares y otros veteranos del proyecto de la bomba atómica en tiempo de guerra se negaron ostensiblemente a participar en el proyecto para desarrollar dispositivos basados ​​en la fusión («bombas de hidrógeno»), cuya energía liberada podría ser 1000 o más veces mayor que la atómica basada en la fisión.

El Comité Asesor General de la Comisión de Energía Atómica de EE. UU. estuvo dirigido por Robert Oppenheimer (a menudo acreditado como el «Padre de la bomba atómica»). Otros miembros fueron Enrico Fermi, II Rabi, James B. Conant, Lee A. DuBridge, Oliver A. Buckley, Glenn Seaborg, Hartley Rowe y Cyril Stanley Smith.

En su reunión final del 30 de octubre de 1949, el comité determinó que, al no proceder a desarrollar la bomba de hidrógeno, “vemos una oportunidad única de brindar con el ejemplo algunas limitaciones a la totalidad de la guerra y así limitar el miedo y despertar la esperanzas de la humanidad”.

La mayoría compartía la opinión de que la bomba de hidrógeno amenazaba el futuro mismo de la raza humana: “Creemos que nunca se debe producir una súper bomba. La humanidad estaría mucho mejor si no tuviera una demostración de la viabilidad de tal arma hasta que cambie el clima actual de la opinión mundial”.

La minoría compuesta por Fermi y Rabi declaró: “El hecho de que no existan límites a la capacidad destructiva de esta arma hace que su existencia misma y el conocimiento de su construcción sean un peligro para la humanidad en su conjunto. Es necesariamente algo malo considerado bajo cualquier luz”. (Seaborg se perdió la reunión y no se registró ningún voto por él).

El presidente Harry Truman anuló la decisión del comité y el resto es historia.

Por supuesto, no hay que olvidar que, junto con sus aplicaciones militares, la energía atómica, en forma de reactores de fisión, ha aportado enormes beneficios a la humanidad. La energía de fusión, liberada por primera vez de forma descontrolada en la bomba de hidrógeno, promete beneficios aún mayores.

‘Inteligencia artificial general’

Supongo que el análogo de la bomba de hidrógeno, en el dominio de la inteligencia artificial, sería la creación de dispositivos de «inteligencia artificial general» que poseerían todas las capacidades de la mente humana e incluso las superarían en órdenes de magnitud.

Los observadores difieren mucho en sus opiniones acerca de cuándo podría alcanzarse la meta de GAI. Algunos expertos en inteligencia artificial afirman que GAI se logrará en un futuro cercano, mientras que otros lo consideran una perspectiva muy remota, si es que se puede lograr.

Yo mismo creo y he argumentado en Asia Times que una GAI basada en tecnología informática digital es imposible en principio.

Esta conclusión está respaldada por los resultados de Kurt Gödel, más elaborados por otros, sobre las limitaciones fundamentales de cualquier sistema que sea equivalente a una máquina de Turing. Esto se aplica en particular a todas las computadoras digitales.

Como argumenté en otro artículo de Asia Times , mi opinión se ve reforzada por el hecho de que el funcionamiento de las neuronas en el cerebro humano no tiene prácticamente nada en común con el funcionamiento de los elementos de conmutación de «encendido-apagado» que son la base de computadoras digitales Una sola neurona es muchos órdenes de magnitud más compleja, como sistema físico, que cualquier computadora digital que podamos construir en un futuro previsible. Creo que la alucinante complejidad de las neuronas reales, que son células vivas en lugar de elementos de conmutación inertes, es esencial para la inteligencia humana.

Dicho todo esto, sin embargo, el mensaje principal del artículo actual es este: es crucial darse cuenta de que los sistemas de IA no necesitan estar cerca de GAI, o incluso ser como GAI, para constituir una gran amenaza para la sociedad.

Cuando el ‘aprendizaje profundo’ se vuelve loco

Considere el siguiente escenario: los sistemas de IA, que funcionan sobre la base del «aprendizaje profundo», adquieren gradualmente capacidades para manipular a los humanos a través del condicionamiento psicológico y la modificación del comportamiento. Dichos sistemas, dado el acceso a gran escala a la población, podrían de facto tomar el control de la sociedad. Dado el comportamiento a menudo impredecible de los sistemas basados ​​en el aprendizaje profundo, esta situación podría tener consecuencias catastróficas.

No estamos tan lejos de ese escenario como la gente podría pensar.

En la variante más simple, el liderazgo de una nación desplegaría deliberadamente una red de sistemas de IA con capacidades de modificación del comportamiento en los medios, el sistema educativo y otros lugares para “optimizar” la sociedad. Este proceso puede funcionar al principio, pero pronto se sale de control, lo que lleva al caos y al colapso.

Los desarrollos que conducen al control de la IA sobre la sociedad también pueden surgir independientemente de las intenciones humanas, a través de la actividad «espontánea» de los sistemas de IA en red que tienen suficiente acceso a la población y que poseen (o adquieren gradualmente) capacidades de modificación del comportamiento.

Como indicaré, muchas aplicaciones de IA están explícitamente optimizadas para modificar el comportamiento humano. La lista incluye chatbots utilizados en psicoterapia. En muchos otros casos, como en la educación de los niños, las aplicaciones de IA tienen fuertes efectos de modificación del comportamiento.

Como cualquier otra tecnología, cada aplicación de IA tiene sus beneficios, así como también sus peligros potenciales. En términos generales, hoy en día, el funcionamiento de estos sistemas todavía puede ser supervisado por seres humanos. Surge una dimensión completamente diferente del riesgo cuando se integran en grandes «supersistemas».

Para evitar malentendidos, no estoy imputando a los sistemas de IA alguna misteriosa “voluntad” o “deseo” de apoderarse de la sociedad. Simplemente estoy sugiriendo que un escenario de una sociedad controlada por IA podría desarrollarse como una consecuencia no deseada de la creciente integración de estos sistemas y los criterios de optimización y métodos de capacitación en los que se basan los sistemas de aprendizaje profundo.

En primer lugar, no requiere una inteligencia similar a la humana para manipular a los humanos. Se puede hacer incluso con dispositivos bastante primitivos. Ese hecho estaba bien establecido mucho antes del advenimiento de la IA, incluso a través de experimentos realizados por psicólogos conductistas.

El desarrollo de la IA ha abierto una dimensión completamente nueva. Vale la pena leer sobre este tema un artículo reciente en la revista Forbes del conocido experto en IA Lance Eliot en el que expone con cierto detalle varias formas en que los chatbots y otras aplicaciones de IA pueden manipular psicológicamente a las personas, incluso cuando no lo son. destinado a hacerlo.

Por otro lado, la modificación mental y conductual deliberada por parte de los sistemas de IA es un campo en rápido crecimiento, con una aplicación continua en una variedad de contextos.

Los ejemplos vienen fácilmente a la mente. Se han invertido decenas de miles de millones en el uso de IA para publicidad y marketing, actividades que, por su esencia misma, implican la manipulación psicológica y la elaboración de perfiles.

En otra dirección, la educación asistida por IA de niños y adultos, ejemplificada por sistemas avanzados de aprendizaje electrónico basados ​​en IA, también puede verse como una forma de modificación del comportamiento. De hecho, las aplicaciones de IA en el campo de la educación tienden a basarse en modelos conductistas de aprendizaje humano. Los sistemas de enseñanza avanzados de IA están diseñados para optimizar las respuestas del niño y los resultados de rendimiento, perfilando al niño individualmente, evaluando el progreso del niño en tiempo real y adaptando su actividad en consecuencia.

Al mismo tiempo, los chatbots de IA están encontrando aplicaciones cada vez mayores en el dominio de la psicología. Un ejemplo es la aplicación «Woebot» , diseñada «para ayudarlo a superar los altibajos de la vida», especialmente dirigida a personas que sufren de depresión.

Estas aplicaciones representan solo las etapas iniciales de una transformación de largo alcance de la psicología clínica y la psicoterapia.

Los impactos potenciales de la IA en el pensamiento y el comportamiento de la población aumentan en gran medida por la fuerte tendencia de las personas a proyectar, inconscientemente, cualidades «humanas» en sistemas como GPT-4 de OpenAI. Este fenómeno de proyección abre el camino para que los sistemas sofisticados de IA establezcan relaciones «personales» con los individuos y, en cierto sentido, se integren en la sociedad.

Como sugiere el rápido reemplazo actual de interlocutores humanos por chatbots, prácticamente no hay límite para la cantidad de «personas virtuales» generadas por IA. No hace falta decir que esto abre un amplio campo para la modificación del comportamiento y el condicionamiento de la población humana. Los peligros involucrados están subrayados por el trágico caso de un hombre belga que se suicidó después de un diálogo de seis semanas con el chatbot de IA Chai.

Resumiendo: la tecnología de modificación del comportamiento basada en IA está fuera de la botella y no hay límites bien definidos para su uso o mal uso. En la mayoría de los casos, hasta donde sabemos, los sujetos humanos cuyo comportamiento se quiere modificar están de acuerdo voluntariamente. Sin embargo, es un pequeño paso para las aplicaciones en las que los sujetos no saben que se les está aplicando una modificación del comportamiento.

El filtrado o la modificación del contenido de los medios de Internet por parte de los sistemas de IA y las intervenciones gestionadas por IA en las redes sociales podrían moldear la vida mental y el comportamiento de poblaciones enteras. Esto ya está ocurriendo hasta cierto punto, como en la identificación y eliminación basada en IA de “material ofensivo” de Facebook y otras redes sociales.

Como mucho, estamos a solo unos pasos de una situación en la que los propios sistemas de IA establecerán los criterios para juzgar qué es «dañino», «objetable», «verdadero» o «falso».

Cuidado con el ‘supersistema’

Existe una tendencia natural en la sociedad actual a integrar los sistemas de datos en totalidades más grandes. Esta es una práctica rutinaria en la gestión de grandes empresas y cadenas de suministro y en la “digitalización” del gobierno y los servicios públicos, motivada en parte por la búsqueda de una mayor eficiencia. A pesar de la resistencia, existe un impulso natural para extender el proceso de intercambio de datos e integración de sistemas de información mucho más allá de los límites de los sectores individuales.

¿A dónde podría conducir esto cuando los sistemas de información relevantes involucran a la IA de manera esencial? Sería bastante natural, por ejemplo, aplicar la IA para optimizar el rendimiento de un empleado, evaluado por un sistema de IA, de acuerdo con su estado psicológico y médico, evaluado por otro sistema de IA.

Por el contrario, la terapia psicológica a través de un chatbot y la detección de posibles problemas de salud podrían optimizarse mediante un sistema de IA sobre la base de perfiles de IA del comportamiento en el lugar de trabajo y la actividad en Internet.

Otro ejemplo: usar IA para optimizar los criterios utilizados por los sistemas de IA para filtrar las redes sociales, a fin de minimizar la probabilidad de disturbios sociales, según la evaluación de un sistema de IA. De manera similar, para la optimización de los chatbots de IA utilizados por los líderes políticos para redactar sus declaraciones públicas.

Reflexionando sobre estos y otros ejemplos, no se necesita mucha imaginación para comprender el enorme alcance de la integración de los sistemas de IA involucrados en diferentes aspectos de la sociedad en sistemas cada vez más grandes.

Lo que es más importante, la creciente práctica de integración de sistemas de IA conduce de forma natural a «supersistemas» estructurados jerárquicamente en los que los subsistemas superiores dictan los criterios de optimización (o métricas), así como las bases de datos en las que se basan los sistemas de nivel inferior.

Para comprender lo que esto implica, se debe tener en cuenta que, en última instancia, la IA basada en el aprendizaje profundo no es más que una combinación de algoritmos de optimización matemática sofisticados + computadoras grandes + grandes conjuntos de datos.

El programa informático pertinente contiene un gran número de variables numéricas cuyos valores se establecen durante su fase de “entrenamiento”, y posteriormente se modifican en el curso de las interacciones del sistema con el mundo exterior, en un proceso de optimización iterativo. Como cualquier otro proceso de optimización, esto ocurre de acuerdo con un conjunto elegido de criterios o métricas. Expresado metafóricamente, estos criterios definen lo que el sistema “quiere” o está “tratando” de lograr.

En el sistema de IA típico de este tipo actual, los diseñadores humanos del sistema eligen los criterios de optimización y la base de datos de entrenamiento. El número de parámetros internos generados durante el “proceso de entrenamiento” ya es tan alto que es imposible predecir con exactitud o incluso explicar el comportamiento del sistema en determinadas circunstancias.

El predecesor de GPT-4, el sistema GPT-3, ya contiene unos 175 mil millones de parámetros internos. Como el funcionamiento del sistema está determinado por la totalidad de los parámetros de forma colectiva, generalmente es imposible identificar qué corregir cuando el sistema se comporta mal. En el campo de la IA, esta situación se conoce como el “problema de la transparencia”.

Hoy en día, hay mucha discusión en el campo de la IA sobre el llamado «problema de alineación»: ¿Cómo se puede garantizar que los sistemas de IA, que proliferan y evolucionan constantemente, permanecerán «alineados» con los objetivos, preferencias o principios éticos de los seres humanos? seres? Yo diría que el problema de la «alineación» es virtualmente imposible de resolver cuando se trata de supersistemas estructurados jerárquicamente.

No es difícil ver que el entrenamiento de los sistemas se vuelve cada vez más problemático a medida que ascendemos en la jerarquía. ¿Cómo se pueden determinar las respuestas «correctas» frente a las «incorrectas», como es necesario para el entrenamiento de estos sistemas superiores? ¿De dónde sacamos una base de datos adecuada? Las consecuencias de una respuesta dada aparecen sólo a través de la actividad de los sistemas de nivel inferior, que supervisa el sistema de nivel superior. Eso lleva tiempo. Por lo tanto, la tendencia será acortar el proceso de capacitación, a costa de aumentar la probabilidad de errores, o incluso decisiones totalmente inapropiadas, en los niveles superiores de la jerarquía.

El lector puede haber notado la analogía con las dificultades y los riesgos involucrados en cualquier forma de actividad humana organizada jerárquicamente, desde una sola empresa hasta la estructura de liderazgo de una nación entera. Estos problemas obviamente son anteriores a la inteligencia artificial por miles de años. Hoy en día, muchos argumentan que los sistemas de IA funcionarán mejor que los humanos en la gestión de empresas, economías e incluso la sociedad en su conjunto.

No hay duda de que los sistemas de IA funcionan mejor que los humanos en muchos contextos específicos. Además, la IA mejora constantemente. Pero, ¿adónde nos lleva el proceso en curso de ampliar e integrar los sistemas de IA, especialmente cuando conduce a capacidades cada vez más poderosas y completas para dar forma al pensamiento y el comportamiento humanos?

En la historia humana, los intentos de optimizar completamente una sociedad en forma de un supersistema que opera bajo criterios estrictos generalmente han llevado al desastre. Las sociedades sostenibles siempre se han caracterizado por un importante margen de maniobra para la toma de decisiones independientes, de las que tienden a ir en contra de los criterios adoptados para la optimización del sistema. Irónicamente, proporcionar tales grados de libertad produce, con diferencia, los resultados más óptimos.

De acuerdo con la carta abierta citada anteriormente, la mayoría de los expertos en el campo de la inteligencia artificial estarían de acuerdo en que las aplicaciones de IA siempre deben ocurrir bajo algún tipo de supervisión humana. En términos más generales, el desarrollo y la aplicación de la IA deben regirse por la sabiduría humana, como quiera que se defina.

Aquí he intentado argumentar que la proliferación de la IA basada en el aprendizaje profundo en más y más dominios de la actividad humana y la tendencia a integrar tales sistemas en sistemas jerárquicos cada vez más grandes plantean un enorme riesgo para la sociedad.

De hecho, la pregunta debe ser ponderada: en caso de que tal supersistema se tuerza, amenazando con consecuencias catastróficas, ¿quién o qué intervendrá para prevenirlo?

En la famosa película de ciencia ficción de Stanley Kubrick “2001: Una odisea del espacio”, el astronauta sobreviviente interviene en el último momento para apagar el sistema de IA. Pero, ¿habría hecho eso el astronauta si el sistema de IA lo hubiera condicionado previamente psicológicamente para no hacerlo?

No creo que tenga sentido tratar de restringir el desarrollo de la propia IA. Eso sería dañino y contraproducente. Pero la sabiduría dicta que los peligros que surgen de la rápida proliferación de sistemas de IA en prácticamente todas las esferas de la actividad humana deben controlarse mediante una regulación adecuada y supervisión humana. Eso se aplica especialmente a la aparición de supersistemas de IA del tipo que he discutido aquí.

Jonathan Tennenbaum (Ph.D., matemáticas) fue editor de la revista FUSION y ha escrito sobre una amplia variedad de temas de ciencia y tecnología, incluidos varios libros sobre energía nuclear. También es colaborador internacional del Instituto de Filosofía e Historia de la Ciencia de la Universidad de Lisboa, trabajando en enfoques alternativos a la física cuántica.