Las computadoras no pueden hacer matemáticas por David Schaengold

“Dicen algunos que el mundo acabará en fuego. Otros dicen que será en hielo”. A estos dos venerables mecanismos de destrucción se ha añadido recientemente un tercero: el apocalipsis causado por la inteligencia artificial.

La idea de que las máquinas tengan conciencia de sí mismas y se vuelvan contra nosotros ha estado presente por largo tiempo, pero fue en 2007, al comenzar a leer un blog llamado Overcoming Bias, cuando me enteré de que había personas que se tomaban esta posibilidad seriamente.

Eliezer Yudkowsky, quien se ha convertido en el padrino del terror al apocalipsis, hizo algunas contribuciones a Overcoming Bias en ese momento. En sus publicaciones, sostenía que es existencialmente importante para la especie humana descubrir un modo de “alinear” las futuras inteligencias artificiales con los valores humanos. Según Yudkowsky, si fallamos en eso, ellas tendrán, por defecto, otros objetivos incompatibles con los valores humanos o, posiblemente, con la vida humana.

Alinear los valores de una computadora con los nuestros no es un problema, siempre y cuando las computadoras sean tontas. Hasta una impresora de chorro tiene, de algún modo, “objetivos”, y estos pueden no estar alineados con los valores humanos (las impresoras pueden ser particularmente malignas), pero este hecho no importa, porque la impresora es profundamente boba. Sin embargo, si los programas informáticos llegaran a ser más inteligentes que los humanos, la divergencia entre sus objetivos y los nuestros probablemente resultará fatal para la especie humana. Tomando un ejemplo de Yudkowsky, quizá hayan sido entrenados por un descuidado fabricante de sujetapapeles solo preocupado por fabricar dichos sujetapapeles de un modo más barato. Este objetivo ―perseguido por una inteligencia divina a la que no le importan los mal establecidos objetivos de sus diseñadores, sino solo sus propios objetivos referidos a la producción óptima de sujetapapeles― implica la muerte de todos los humanos, en tanto un subproducto de la transformación de nuestro planeta en una gigantesca fábrica de sujetapapeles.

Overcoming Bias propició el crecimiento de un ecosistema de blogs y foros, y una pequeña comunidad en línea atravesó la primera década de este siglo debatiendo acerca de los modos de alineamiento de las futuras inteligencias artificiales súper listas o, si eso fallara, los modos de defendernos de ellas. Esa comunidad y sus preocupaciones se mantuvieron confinadas a su propio ámbito hasta el comienzo de la segunda década. En esa época, un particular enfoque de la IA empezó a mostrar resultados sorprendentes: el aprendizaje automático, que se basa en modelos estadísticos, en lugar de inferencias determinísticas. En noviembre de 2022, fue lanzado el GPT-3.5, un modelo de IA basado en aprendizaje automático creado por OpenAI. Ante ciertas preguntas, tenía la capacidad de dar unas respuestas de apariencia humana con unas características tales que, de pronto, la idea de que existiera un programa informático con una inteligencia sobrehumana se volvió intuitivamente posible para muchas personas más. En marzo del año siguiente fue lanzado el GPT-4 y su apariencia humana resultó incluso más aparente. Las preocupaciones acerca del alineamiento de la IA pasaron a primer plano en un lapso de meses.

La pregunta general ―¿una inteligencia artificial con la capacidad suficiente puede plantear una amenaza a la existencia humana?― no es tan fácil de desestimar como uno esperaría. Los expertos en IA, incluyendo a aquellos que trabajan en la construcción de modelos nuevos, no se ponen de acuerdo acerca de cuán preocupados deberíamos estar, y algunos de ellos sugieren que deberíamos estar preocupadísimos.

No me propongo resolver este asunto, pero, al leer una variedad de argumentos de ambas partes, me he sentido asombrado al darme cuenta de cuánto se aproximan a ideas que yo no había considerado en detalle desde mis tiempos de estudiante especializado en Filosofía. Me di cuenta, también, de que algunas de esas ideas podrían ser relevantes para determinar si sería posible combatir con éxito una IA con capacidad sobrehumana.

No estoy seguro de que una máquina pueda ser más inteligente que sus diseñadores humanos. En cualquier caso, el término “inteligente” no se emplea de manera sistemática en estos debates. Pero, en lo que respecta a muchas tareas cognitivas (“tarea” luce menos escurridizo que “inteligencia”), me inclino a creer que, en principio, una computadora podría ser mejor que un humano. Sin embargo, confío en que una computadora nunca podría hacer algunas cosas. Matemáticas, por ejemplo.

Que las computadoras no puedan hacer matemáticas no es algo que se discuta demasiado. Se habla de ello en ciertos departamentos de Filosofía y, por supuesto, los expertos informáticos lo observan con un interés profesional, aunque, en consideración a su materia de estudio, la conclusión no suele ser presentada abiertamente. Para los ingenieros informáticos resulta una fuente constante de frustración. Sin embargo, no ha alcanzado el conocimiento público.

La incapacidad de las computadoras para hacer operaciones matemáticas no es solo teórica. Plantea un importante problema práctico al intentar que las computadoras hagan lo que las personas quieren. Por ejemplo, un folleto de un curso de informática del Instituto de Tecnología de Rochester, titulado “Los peligros de la aritmética computacional”, señala varias operaciones que probablemente causen problemas, entre ellas “sumar cantidades de magnitud muy diferente” y “calcular la diferencia de dos valores muy altos”.

Se ha hecho un gran esfuerzo para esconder estas realidades de los usuarios comunes. La impresión que reciben los usuarios ocasionales es que la matemática computacional simplemente funciona. Pero la realidad que subyace a “simplemente funciona” es una subestructura bastante complicada inventada por humanos inteligentes, y la realidad a veces se cuela a través de las grietas. Basta con intentar tipear “999,999,999,999,999 menos 999,999,999,999,998” en Google, para ver cuán aventurado resulta para una computadora calcular la diferencia de dos valores tan altos.

Importa entender que estas limitaciones no son errores, en el sentido común de la palabra. El software se desvía por muchos motivos de su comportamiento esperado, y los errores son solo un tipo de desviación: son equivocaciones. Un error sucede cuando un diseñador no tiene en cuenta alguna circunstancia que puede enfrentar el software o se olvida de alguna característica importante del lenguaje informático con el que está escrito dicho software. La dificultad para hacer ciertas operaciones matemáticas (incluso aquellas que resultarían sencillas para un ser humano) no es un error, sino una limitación intrínseca de la informática digital con memoria finita. Lo que falta en esos casos no es una debida consideración, sino invención. Aún no se ha creado la forma de resolver ciertos problemas matemáticos por vía informática, con una memoria finita.

En el ámbito filosófico angloparlante hay una tradición que lleva este asunto más allá y afirma ―de un modo correcto, según mi parecer― que, en el mejor de los casos, las computadoras solo pueden simular que calculan. No pueden computar con éxito ninguna función, incluidas las más simples. En otras palabras, no pueden hacer matemáticas.

El argumento central de esta tradición fue presentado por el filósofo Saul A. Kripke en su libro Wittgenstein a propósito de reglas y lenguaje privado, publicado en 1982. Para explicar su argumento, ofreceré un ejemplo. Imagina que eres un niño, que estás en primer grado y tienes un mejor amigo llamado Saul, que también está en primer grado. Has visto cómo Saul obtiene una buena calificación en un cuestionario que pone a prueba la habilidad para sumar números de un solo dígito, y has visto a Saul hacer el recuento de los jugadores necesarios para formar un equipo de béisbol en el patio de recreo. En pocas palabras, crees que has observado a Saul hacer sumas en varios contextos. Pero, entonces, un día decides reunir el dinero de ambos y comprar dos chicles, cada uno a 40 centavos. “Necesitaremos 80 centavos”, dices. “40 más 40, 80”. Saul te mira desconcertado. “No, necesitaremos 67 centavos. 40 más 40, 67”, dice. “¡¿Qué?!”, respondes. “Eso está mal. Piensa en 50 más 50. Eso da 100, ¿verdad? Entonces, 40 más 40 debe dar…”. Saul replica: “No, no sé qué quieres decir; 50 más 50 también da 67”.

En ese momento te das cuenta de que Saul simplemente no sabe qué significa sumar. De algún modo obtuvo sus buenas calificaciones en su prueba de suma con números de un solo dígito, pero no lo hizo sumando. Jamás sumó. Hizo algo distinto y, fuera lo que fuera, eso no era sumar.

Kripke señala que las máquinas son todas como Saul. Puede producir resultados que quizá luzcan como si estuvieran haciendo sumas, dentro de cierto rango, pero, de hecho, solo están haciendo sumas en el sentido de que acordamos tratarlas como si lo hicieran. Están simulando que suman. Incluso cuando obtienen un resultado correcto, no están haciendo matemáticas, así como Saul jamás sumó.

Por supuesto, las computadoras simulan las matemáticas de un modo útil. Imagina que Saul es una extraña clase de sabio y puede resolver cualquier tipo de problema referido a la suma, en tanto su resultado sea menos de un millón. Si el resultado supera el millón (es decir, el resultado según la suma), él dice que la respuesta es 67. No podrías decir que Saul esté comprendiendo el mecanismo de la suma, ni siquiera que esté haciendo sumas, pero sin duda sería útil tenerlo a mano mientras estás haciendo tu tarea de matemáticas.

La simulación es tan hábil, en el caso de las computadoras, que olvidamos que hay un paso extra y concluimos que la computadora está haciendo la operación real. Pero la computadora no puede actuar como nosotros. No sabe cuál es la diferencia entre simular y hacer, porque no puede hacer otra cosa que simular. Como escribió el filósofo James F. Ross, en la línea de Kripke:

No hay duda, pues, acerca de lo que hace la máquina. Suma, calcula, recuerda, etc., por simulación. Lo que hace recibe el nombre de lo que nosotros hacemos, porque llega de un modo confiable a los mismos resultados (quizá incluso más confiables) cuando sumamos… La máquina suma de la misma manera en que las marionetas caminan. Los nombres son análogos. La máquina logra suficiente confiabilidad, estabilidad y economía de resultados para alcanzar un realismo sin realidad. Un simulador de vuelo tiene el suficiente realismo para entrenar a quien va a volar; uno es entrenado realmente, pero jamás estuvo realmente en vuelo.

En otras palabras, las computadoras dependen de sus diseñadores. Por sí mismas no hacen matemáticas, aunque sus usuarios pueden hacer matemáticas con ellas.

Las computadoras sí pueden “hacer matemáticas” en un sentido. “Hacen matemáticas” del mismo modo en que los libros recuerdan cosas. Un libro realmente tiene un tipo de memoria. Recuerdos de egotismo, de Stendhal, contiene algunas de sus memorias. Pero no las contiene del mismo modo que la mente de Stendhal. Estos modos análogos de hablar son inocuos en la vida cotidiana, y probablemente inevitables, pero enfrentados a la genuina incertidumbre de los peligros de la IA, deberíamos aprender a hacer distinciones más finas en nuestro discurso. Si los bibliotecarios de la Biblioteca Pública de Nueva York lanzaran advertencias periódicas acerca de que la sede central ―el edificio emblemático conocido como Main Branch― podría volverse homicida y lanzar ataques a lo largo de la ciudad dentro de los próximos años, quisiera ser cuidadoso al asegurar que ninguna analogía falsa se ha deslizado en mi creencia acerca de lo que pienso que pueden hacer los libros. Cuando nos enfrentamos a una IA potencialmente peligrosa, también debemos examinar nuestra forma de hablar de las computadoras. Decir que las computadoras pueden hacer matemáticas es una analogía razonable, pero hablando lo menos metafóricamente posible, no es verdad.

Una réplica natural a todo eso es que, si las computadoras no pueden hacer matemáticas, tampoco nosotros. Después de todo, los humanos también tenemos una memoria limitada y con frecuencia damos respuestas equivocadas a problemas matemáticos. Una réplica natural, aunque no sostenible. Ciertamente, no es imposible que nuestra mente trabaje del mismo modo en que Kripke describe el trabajo de las máquinas. Este punto de vista no presenta inconsistencias internas. Del mismo modo, es posible que el mundo físico sea una ilusión, que otras personas no existan, etc. Pero incluso más que estos puntos de vista, la creencia de que los humanos hacen matemáticas del mismo modo que lo hacen las computadoras lleva a conclusiones absurdas, como explicaré a continuación.

Mis hijos me preguntan a veces hasta cuánto puedo contar. Me he dado cuenta de que dejan de hacer esta pregunta cuando alcanzan una determinada edad, generalmente alrededor de los seis o siete años. Esto se debe a que la pregunta no tiene sentido una vez que comprenden lo que es un número. Si existiera un único número más alto hasta el que uno pudiera contar, eso significaría que uno no ha aprehendido el concepto de número. La diferencia entre las computadoras y los humanos haciendo matemáticas es un poco como la diferencia entre los niños más pequeños que creen que “hasta cuánto puedes contar” es algo real y los más grandes que han comprendido correctamente cómo funcionan los números.

Parece que a algunas personas les cuesta aceptar esto. Al discutirlo con amigos, la principal dificultad parece ser comprender la naturaleza de la tarea que un ser humano está haciendo cuando interactúa con una computadora. La representación de los números que sucede solo en la mente del humano se confunde con la ejecución de un programa particular que acontece en una computadora.

Solemos antropomorfizar. Lo hacemos con todo tipo de cosas, al atribuir emociones a nuestras alarmas de incendio e intenciones a muñecos de peluche. A las computadoras les atribuimos un tipo de poder de razonamiento que no pueden tener. Podemos hacerlo porque tenemos la capacidad de pasar sin esfuerzo de la abstracción a la realidad. Decimos cosas como “Ah, dada una memoria infinita”, etc., e instantáneamente nos encontramos en un mundo de objetos puramente abstractos, de cosas que tienen vida, hasta donde podemos decirlo, solo en nuestra mente. La transición entre lo teórico y lo real sucede para nosotros casi instantánea e inadvertidamente. Sucede con tanta rapidez y lo hacemos tan a menudo, que no nos damos cuenta de que es mágico. Pero es realmente mágico, en el sentido de que es sorprendente y no tenemos idea de cómo funciona. Y las computadoras jamás podrían hacerlo.

Volvamos al problema de la resta que mencioné antes. 999,999,999,999,999 menos 999,999,999,999,998. ¿Cómo saber que la respuesta es 1? ¿Por qué es obvio? Si eres como yo, escaneaste visualmente los dígitos y te diste cuenta de que todos eran iguales, salvo el último. Dada mi comprensión de lo que es una resta, es seguro ignorar todos esos dígitos adicionales, y entonces el problema se reduce a 9 menos 8.

¿Cómo supe que es un modo válido de hacer una resta? No creo que nadie me haya enseñado ese método. Incluso si lo hubieran hecho, no lo habría recordado como uno de los procedimientos para hacer restas. Puedo ver que es correcto y que obtendré el mismo resultado, si lo uso correctamente, que siguiendo cualquier otro procedimiento.

Claro que sería posible programar una computadora para usar este mismo método (de hecho, WolframAlpha, una de las calculadoras en línea más sofisticadas, puede hacer algo así). El método en sí no es especial; lo que es especial es la capacidad de reconocer la validez del método. Reconozco su validez porque he aprendido el concepto de restar, que trasciende cualquier método particular de calcular una resta.

A pesar de llevar miles de años filosofando acerca de la mente humana, no tenemos una comprensión detallada del nivel del mecanismo de cómo un ser humano podría alcanzar algo parecido a un concepto, o incluso exactamente lo que eso significa. Sin embargo, nuestra incapacidad actual para comprender qué es un concepto, no significa que la diferencia entre lo que hace la mente humana y lo que hace una computadora sea mística o vaga. La propia diferencia en sí es bastante clara.

Intentaré explicar la diferencia de un modo más concreto. Imagina que tienes unas canicas en una bolsa. Tomas 2 y las colocas sobre tu escritorio. Cuentas 2 canicas sobre tu escritorio. Luego tomas otras 2 y las pones sobre el escritorio. Ahora cuentas 4 canicas sobre el escritorio. ¿Las canicas o el escritorio han hecho matemáticas? ¿Acaso el movimiento de las segundas 2 canicas desde la bolsa hasta el escritorio provocó que hubiera un 4 en el mundo cuando antes solo había un 2, o la diferencia está en tu mente?

(Es una pregunta retórica; la diferencia solo está en tu mente).

Continuemos. Ahora quieres saber cuánto da 4 más 4. Comienzas a sacar canicas de la bolsa, pero ¡no! Solo quedan 3 canicas en la bolsa. Tomas esas 3 y las pones sobre la mesa, pero ahora necesitas poner 1 cosa más sobre la mesa para llegar al 4 más 4. Afortunadamente, tienes un lápiz en el bolsillo de tu camisa. Lo sacas, lo colocas sobre la mesa con las canicas y haces una nota mental para recordarte que debes contar el lápiz junto con las canicas. Cuentas 7 canicas, pero recuerdas tu nota mental y también cuentas el lápiz. Y así logras llegar a 8. ¡Bien!

Las matemáticas que se dieron aquí no están en las canicas ni en el lápiz. Se trata de alguna facultad de la mente humana que vincula las canicas y los lápices y los transforma en 8 cosas.

Es posible programar una computadora para que trate los lápices y las canicas como contadores de números, pero no puede ser programada para representar cualquier cosa arbitrariamente como un contador. Las computadoras no tienen más objetivo que los contadores que, de hecho, tienen. Lo que pueden contar simplemente es lo que pueden representar.

Si funcionara así para nosotros, podría haber números enteros faltantes. Podría haber, por ejemplo, un entero entre 5 y 6.

La idea parece absurda. Los números 5 y 6 se definen como el quinto y el sexto de los enteros. Resulta una contradicción de términos pensar que podría haber otro entero entre ellos. Por supuesto, esto es correcto. No hay un entero entre el 5 y el 6. Pero si eres una computadora, no puedes estar seguro de este hecho.

Una de las modalidades comunes que tienen las computadoras de almacenar números es un formato llamado 32 bits flotantes. Al igual que todos los formatos numéricos empleados por las computadoras, los 32 bits flotantes solo pueden representar ciertos números. El número 16,777,217, por ejemplo, no puede ser representado como 32 bits flotantes. (Es el entero positivo más bajo que no puede ser representado en ese formato). El entero anterior, 16,777,216, y el siguiente, 16,777,218, sí pueden ser representados, pero no el 16,777,217.

Si imaginas una computadora que simplemente almacena todos los números como 32 bits flotantes, el 16,777,217 no existe para esa computadora. Ningún cálculo que requiera almacenar ese número funcionará bien. Si le pides a esa computadora que tome el 16,777,216 y le agregue 1, no podrá producir el resultado. Según los detalles del algoritmo, probablemente volverá al número original o saltará dos números hasta el 16,777,218.

En la práctica, las computadoras no simplemente almacenan todos los números como 32 bits flotantes. Y varios algoritmos dificultan (aunque no imposibilitan) encontrar modelos de enteros sencillos como este que la computadora no puede procesar. Sin embargo, no importa cuántas capas de abstracción se agreguen ni cuán sofisticados sean los algoritmos, cada computadora digital tiene enteros que no conoce y no puede conocer. A los efectos de la computadora, esos enteros faltan de un modo inexorable y absoluto.

Y si esos enteros realmente faltan, podrían estar en cualquier parte en la línea numérica, en lo que a la computadora respecta. Podrían estar en los números de un solo dígito. Si nuestra mente hiciera matemáticas como una computadora lo hace, podría haber un entero entre el 5 y el 6 y nunca lo sabríamos. No importa cuánto lo intentáramos, jamás podríamos contar usando ese número ni hacer operaciones que requirieran el uso de ese número, incluso en un estado intermedio. Estaríamos condenados a saltar ese número al contar. Para nosotros, ir del 5 al 6 directamente podría parecer correcto, tanto como pasar directamente del 16,777,216 al 16,777,218 si fuéramos una computadora que solo usara 32 bits flotantes.

En esa situación, las matemáticas podrían parecer perfectamente completas porque siempre obtendríamos alguna respuesta a cualquier problema que pudiéramos plantear. Pero nuestras preguntas serían sistemáticamente inválidas. Si fueran correctas, solo lo serían por casualidad. En otras palabras, a menos que haya alguna diferencia profunda entre el modo en que los humanos hacen matemáticas y el modo en que las computadoras lo hacen, las matemáticas son básicamente algo falso. Eso es difícil de tragar. Es mucho más fácil creer, y mucho más probable que sea cierto, que las computadoras no pueden hacer matemáticas, y los humanos pueden, aunque no sepamos cómo. Las computadoras y los humanos tienen memorias infinitas. Pero nosotros, los seres humanos, a pesar de esa limitación, de algún modo hacemos algo que toma en cuenta el infinito cuando hacemos matemáticas. Las computadoras, no.

¿Puede esto salvarnos del monstruo de la IA? Esta es la parte especulativa.

Un programa informático que tome el control del mundo necesita ser capaz de actuar en el mundo. Para actuar en el mundo, debe tener una representación interna de los varios estados o situaciones en los que el mundo pueda encontrarse. Cada uno de esos estados debe reducirse a un número individual, no importa cuán grande sea o cómo sea almacenado, que corresponda al estado de memoria de la computadora para esa representación. Si (según se manifiesta la preocupación) una IA hipotética es mucho mejor que los humanos para comprender el mundo en este sentido de “representación interna completa”, ¿qué esperanza tenemos de combatirla?

Hasta aquí no hay problema en lo que a la IA concierne. Las personas que analizan las máquinas de Turing (un modelo resumido y formal de computadoras empleado en la ciencia informática) podrían decirnos que todo el universo es “computable” en el sentido de que sería posible elegir un sistema de representación con números distintivos para cada estado en el que pueda encontrarse el universo. Más aún, sería posible hacer operaciones a partir de estos números. El llamado principio de Church-Turing-Deutsch sugiere, de modo especulativo, que en un universo cuantizado (uno en el que la energía y la materia no son continuos, sino divididos por la realidad en varias partes o cuantos), cualquier proceso físico tiene al menos un mapeo preciso para una función computable.

Computable, sí, pero no por ninguna computadora real. La “computabilidad” es una abstracción, y las computadoras no son entidades abstractas. ¿Qué pasa si un estado del mundo mapea un número que una computadora no puede representar? Supongamos que este estado mapea hasta a 16,777,217 y la computadora solo almacena 32 bits flotantes. Sin importar cuán sofisticada sea la computadora en otros asuntos, será completamente ciega a ese estado del mundo. No puede imaginar ni razonar con respecto a ese estado.

¿Cómo luce esto en la práctica? Luce como SolidGoldMagicarp. Esta palabra, si se la puede llamar de ese modo, describe a una criatura de la franquicia Pokémon, y resultó imposible de procesar para GPT-3.5. Si se tipeara dicha palabra en ChatGPT, la interfaz del chatbot que OpenAI ofrece para algunos de sus modelos reaccionaría de manera impredecible y extraña. A menudo, simplemente trataría la palabra como si, de hecho, fuera “distribuir”. Hace poco tipeé la siguiente frase en el ChatGPT: “Cuéntame sobre SolidGoldMagikarp”.

El chatbot respondió: “‘Distribuir’ puede referirse a varios conceptos diferentes, así que sería útil saber en qué contexto estás preguntando. ¿Podrías proporcionarme un poco más de información o aclarar qué estás buscando?”

No es un ejemplo aislado. Algunos usuarios entusiasmados con SolidGoldMagikarp rápidamente encontraron otras secuencias que también daban como resultado respuestas extrañas e incongruentes del GPT-3.5.

Hasta donde sé, SolidGoldMagikarp fue ajustado en GPT-4 y también en GPT-3.5. Y fuera cual fuera la lógica rara que lo haya causado, en cualquier caso, probablemente existía en un nivel de abstracción mucho más elevado que los 32-bits flotantes. Pero este tipo de cosa es exactamente lo que se asemeja a que una computadora sea ciega ante ciertos estados del mundo, y ninguna cantidad de capas de abstracción puede evitar que situaciones así vuelvan a suceder.

Esta es una predicción concreta: para cada inteligencia mecanizada instanciada en una computadora digital, siempre habrá SolidGoldMagikarps. En principio, no hay forma de eliminar dichos puntos ciegos conceptuales.

El truco está en encontrar los puntos ciegos. No tengo ningún procedimiento para recomendar. Pero podemos estar seguros de que hay estados del mundo más allá de la comprensión de cualquier IA. Y sospecho que esos estados del mundo no son necesariamente aquellos que nos resultan extremos. No tendremos que revertir la órbita de la luna. Se tratará de frases raras y aparentemente incomprensibles. O de esconderse dentro de cajas de cartón, como unos marines estadounidenses hicieron hace poco a modo de ejercicio de entrenamiento para intentar evadir una cámara con IA. Es posible que las cajas hayan actuado como capas de invisibilidad en lo que a la IA concernía, y los marines caminaron por delante de la cámara. Como si las cajas hubieran cambiado la representación del estado del mundo a un entero escondido, y al hacerlo los marines simplemente se desvanecieron del aparato conceptual de la computadora.

Estamos habituados a la inteligencia humana, pero sean cuales sean las capacidades de una computadora, la inteligencia no es una de ellas. Incluso una máquina que pudiera superarnos en capacidad de negociación, estrategia y generalmente siendo más lista de nosotros podría ser anulada por algunas entradas curiosamente específicas. La mente humana es mágica, o podría serlo, y es con esta magia que podemos vencer la IA. No siendo más listos que ella ni desconectándola, ni nada por el estilo, sino a través de la auténtica rareza de la mente humana.

---

Traducción de Claudia Amengual