Supongamos que estoy encerrado en un cuarto y que se me da una horneada de escritura china. Supongamos también que, como es precisamente el caso, no sé nada de chino, ni escrito ni hablado, y que ni siquiera tengo confianza en que puedo distinguir los caracteres chinos de, por ejemplo, los caracteres japoneses, o de garabatos sin sentido. Para mí, los caracteres chinos son, en efecto, otros tantos garabatos sin sentido. Ahora bien, supongamos también que después de la primera horneada de caracteres chinos recibo otra horneada, con un conjunto de reglas para correlacionar la segunda horneada con la primera. Las reglas están en español, y entiendo estas reglas tan bien como cualquier otro hablante nativo del español. Ellas me permiten correlacionar un conjunto de símbolos formales con otro conjunto de símbolos formales, y todo lo que "formal" significa aquí es que puedo identificar los símbolos enteramente por su forma física. Supongamos ahora también que me dan una tercera horneada de símbolos chinos junto con algunas instrucciones, también en español, que me permiten correlacionar elementos de esta tercera horneada con los de las dos primeras horneadas, y que estas reglas me instruyen sobre cómo producir ciertos símbolos chinos con ciertas clases de formas como respuesta a otros símbolos chinos –con ciertas clases de formas– que me han sido dados en la tercera horneada. Sin que yo lo sepa, la gente que me da todos estos símbolos llaman a la primera horneada "un libreto", a la segunda "un cuento" y a la tercera "preguntas". Por otra parte, llama a las respuestas que doy a la tercera horneada "contestaciones a las preguntas", y al conjunto de reglas en español que me dieron, "el programa". Para complicar la historia un poquito, imaginemos que esta gente me da también cuentos en español, que comprendo, y me hacen preguntas en español sobre esos cuentos, y que les doy contestaciones en español. Supongamos también que después de un tiempo soy tan bueno en seguir las instrucciones para manipular los símbolos chinos y los programadores llegan a ser tan buenos para escribir el programa que desde un punto de vista externo –es decir, desde el punto de vista de alguien que esté fuera del cuarto en que me encuentro encerrado– mis contestaciones a las preguntas son absolutamente indistinguibles de las de los hablantes chinos nativos. Nadie que viera mis contestaciones podría decir que no hablo una palabra de chino. Supongamos que mis contestaciones a las preguntas en español fueran, como indudablemente serían, indistinguibles de las de otros hablantes españoles nativos, por la simple razón de que soy un hablante nativo español. Desde el punto de vista externo –desde el punto de vista de alguien que leyera mis "contestaciones"– las contestaciones a las preguntas chinas y a las preguntas españolas serían igualmente buenas. Pero en el caso chino, a diferencia del caso español, produzco las contestaciones manipulando símbolos formales no interpretados. En lo que respecta al chino, simplemente me comporto como una computadora, realizo operaciones computacionales sobre elementos especificados formalmente. Para los propósitos del chino, soy simplemente un ejemplo de un programa de cómputo.
Ahora bien, los mantenedores de la posición fuerte de inteligencia artificial pretenden que la computadora adecuadamente programada comprende los cuentos y que el programa en cierta forma explica esa comprensión. Estamos ahora en buena posición para examinar estas pretensiones, a la luz de nuestro experimento mental.
1. En cuanto a la primera tesis, me parece bastante obvio en el ejemplo que yo no comprendo una palabra de los cuentos chinos. Tengo entradas y salidas que son indistinguibles de las que tienen los hablantes nativos chinos, y puedo tener cualquier programa formal que se quiera, pero aun así no comprendo nada. Por la misma razón [un programa de inteligencia artificial] no comprende nada de los cuentos que recibe, sean en chino, en español o en cualquier otra lengua, puesto que en el caso chino la computadora soy yo; y en los casos en que la computadora no soy yo, la computadora no tiene nada que yo no tenga en el caso en que no comprendo nada.
2. Con respecto a la segunda tesis, que el programa explica la comprensión humana, podemos ver que la computadora y su programa no proveen las condiciones suficientes para la comprensión, puesto que la computadora y el programa funcionan y la comprensión no se produce. Pero, ¿provee tal vez las condiciones necesarias o una contribución significativa a la comprensión? Una de las pretensiones de los que apoyan la inteligencia artificial fuerte es que cuando yo comprendo un cuento en español lo que hago es exactamente lo mismo –o quizá más de lo mismo– que lo que hago cuando manipulo símbolos chinos. Es simplemente más manipulación de símbolos formales lo que distingue el caso del español, donde sí comprendo, del caso del chino, donde no comprendo. No he demostrado que esta pretensión sea falsa, pero ciertamente aparece como increíble en el ejemplo.....
...............
No veo razón en principio por qué no pudiéramos dar a una máquina la capacidad de entender español o chino, puesto que en un sentido importante nuestros cuerpos con nuestros cerebros son precisamente tales máquinas. Pero no veo argumentos muy fuertes para decir que podemos dar tal cosa a una máquina donde la operación de la máquina esté definida solamente en términos de procesos computacionales sobre elementos definidos formalmente; esto es, donde la operación de la máquina se defina como un ejemplo de un programa de computación. No es porque yo sea un ejemplo de un programa de computación que puedo entender español y tener otras formas de intensionalidad.... Hasta donde llega mi conocimiento, es porque soy una cierta clase de organismo con una cierta ... estructura biológica, y bajo ciertas condiciones esta estructura es causalmente capaz de producir percepción, acción, comprensión, aprendizaje y otros fenómenos intensionales. Y parte del objetivo de este argumento es que solo algo que tenga esos poderes causales puede tener esa intensionalidad....
...............
"Está bien. Pero ¿podría un artefacto, una máquina hecha por el hombre, pensar?"
"Pero, ¿podría algo pensar, comprender, etc., solamente en virtud de ser una computadora con el programa correcto? ¿Podría la ejemplificación de un programa, del programa correcto por supuesto, por sí misma ser una condición suficiente para la comprensión?"
Esta es, creo, la pregunta acertada, aunque es comúnmente confundida con alguna de las anteriores; y la contestación es no.
Porque las manipulaciones de símbolos formales por sí mismas no tienen ninguna intensionalidad; son no significativas; no son ni siquiera manipulaciones de símbolos, puesto que los símbolos no simbolizan nada. En la jerga de los lingüistas, tienen solo sintaxis, pero no semántica. La intensionalidad que los programas de computación parecen tener está solamente en las mentes de los que los escriben y usan, los que les dan las entradas e interpretan sus salidas.
...............
Solamente algo que tenga los mismos poderes causales del cerebro puede tener intensionalidad....
...............
¿Podría una máquina pensar? Mi opinión es que solo una máquina podría pensar, y de hecho solo clases de máquinas muy especiales, a saber, cerebros y máquinas que tengan los mismos poderes causales que tienen los cerebros. Y esa es la principal razón por la que la inteligencia artificial fuerte tiene poco que decirnos sobre el pensamiento, puesto que no tiene nada que decirnos sobre esas máquinas. Sea la intensionalidad lo que fuere, es un fenómeno biológico, y es probable que sea tan causalmente dependiente de la bioquímica específica de sus orígenes como la lactación, la fotosíntesis o cualquier otro fenómeno biológico. A nadie se le ocurriría suponer que pudiéramos producir leche y azúcar corriendo una simulación computacional de las secuencias formales de la lactación y la fotosíntesis, pero en lo que concierne a la mente muchas personas están dispuestas a creer en tal milagro por un profundo dualismo residente: la mente, suponen, consiste en procesos formales, y es independiente de causas materiales específicas, en forma muy diferente del caso de la leche o del azúcar.
...............
Searle nos invita a imaginarlo encerrado en un cuarto, donde simula a mano un programa gigante de inteligencia artificial que putativamente entiende chino. Estipula que el programa pasa la prueba de Turing NOTA 1 saliendo airoso de todos los intentos hechos por sus interlocutores humanos de distinguirlo de un comprendedor genuino de chino. No se sigue, según él, de esta imposibilidad conductual de distinguir, que haya ninguna real comprensión del chino, ni una conciencia china, en este cuarto chino. Searle, encerrado en el cuarto y manipulando agitadamente hileras de símbolos de conformidad con el programa, no obtiene por eso ninguna comprensión del chino y no hay tampoco nada más en el cuarto que entienda chino....
Este experimento mental se supone que prueba la imposibilidad de lo que Searle llama "inteligencia artificial fuerte", o sea la tesis de que "un programa digital apropiadamente programado con las entradas y salidas correctas tendría por eso mismo una mente en exactamente el mismo sentido que los seres humanos tienen mentes".... Ha habido un torrente inmenso de reacciones a las diversas versiones de este experimento mental de Searle durante la década pasada, y aunque los filósofos y otras personas han siempre encontrado defectos en este experimento mental considerado como un argumento lógico, es indudable que su "conclusión" sigue impresionando a mucha gente. ¿Por qué? Porque la gente no imagina verdaderamente el caso con el detalle que se requiere.
Voy a presentar un contraexperimento informal que nos ayudará a ver si este diagnóstico es correcto. Primero imaginemos una breve selección del diálogo con el Cuarto Chino que habría pasado la prueba de Turing (por conveniencia, la he traducido al español).
JUEZ: ¿Has oído el chiste sobre el irlandés que encontró una lámpara mágica? Cuando la frotó apareció un genio y le ofreció cumplir tres deseos. "¡Quiero un jarro de guaro!", respondió el irlandés, e inmediatamente apareció. El irlandés se dio a beber el guaro corcor, pero el nivel del jarro se mantuvo mágicamente constante. Seguía bebiendo, hasta que el genio se puso impaciente. "Bueno, ¿qué pasó con el segundo deseo?", preguntó. Y el irlandés respondió entre trago y trago: "¡Pues dame otro de estos!".
CUARTO CHINO: Muy divertido. No, no lo había oído; pero, sabe, encuentro los chistes racistas de mal gusto. Me reí a pesar de todo, pero pienso que deberíamos encontrar otros temas de discusión.
JUEZ: Tenés razón, pero te conté el chiste porque quiero que me lo expliqués.
CUARTO CHINO: ¡Qué aburrición! Uno nunca debe explicar chistes.
JUEZ: Pero de todas maneras, esa es la pregunta de la prueba. ¿Podrías explicarme cómo y por qué el chiste "funciona"?
CUARTO CHINO: Si usted insiste. Vea, depende de la suposición de que el vaso que se vuelve a llenar mágicamente lo seguirá haciendo indefinidamente, de modo que el irlandés tiene a su disposición todo el guaro que quiera beber en su vida. Así pues, no tiene ninguna razón para desear un duplicado, pero es tan estúpido (y esta es la parte que me disgusta) o está tan atontado por el alcohol, que no reconoce esto y, llevado por la felicidad que le ha producido el cumplimiento de su primer deseo, pide repetición. Desde luego que estos supuestos de fondo no son verdad, sino solo parte del ambiente tradicional de la contadera de chistes, donde suspendemos nuestra desconfianza en la magia, etcétera. Por cierto, podríamos imaginar una continuación del cuento en la cual el irlandés tuviera razón después de todo –estaría por ejemplo planeando dar una gran fiesta, y un jarro no podría volver a llenarse suficientemente rápido para satisfacer la sed de sus invitados (no valdría acumular guaro por adelantado porque perdería su sabor)–. Tendemos a no pensar en estas complicaciones, y esto es parte de la explicación de por qué los chistes funcionan. ¿Está satisfecho?
Un programa que pudiera efectivamente generar los discursos de CUARTO CHINO en respuesta a las preguntas de JUEZ se vería en acción más o menos así (visto a un nivel de máquina virtual, no en el nivel básico en que está colocado Searle): al analizar las primeras palabras, "Has oído el chiste..." algunos de los "demonios NOTA 2 detectores de chistes" del programa serían activados, los que llamarían a toda una hueste de estrategias para lidiar con ficción, lenguaje de doble sentido y cosas por el estilo, de modo que cuando las palabras "lámpara mágica" llegaren a ser analizadas el programa habría ya puesto una prioridad baja a respuestas que se quejaran de que no existen cosas como lámparas mágicas. Una variedad de marcos narrativos o libretos estándares sobre chistes de genios se activarían creando varias expectativas para continuaciones, pero a todas les robaría la vuelta una interpretación más mundana (el libreto de "repetir") y lo inesperado en ella no pasaría inadvertido al programa.... Al mismo tiempo se alertarían los demonios sensibles a las connotaciones negativas de los chistes racistas, llevando eventualmente al segundo tema de la respuesta de CUARTO CHINO.... Y así sucesivamente, en mucho más detalle que el que haya intentado poner aquí.
El hecho es que cualquier programa que pudiera salir airoso en su parte de la conversación descrita tendría que ser un sistema extraordinariamente sutil, refinado y con muchos estratos, rebosante de "conocimiento del mundo", de metaconocimiento y metametaconocimiento sobre sus propias respuestas, las posibles respuestas de su interlocutor, sus propias motivaciones y las de su interlocutor, y mucho, mucho más. Searle no niega que los programas puedan tener toda esta estructura, por supuesto. Simplemente nos desalienta de poner atención a ello. Pero si hacemos un buen trabajo al imaginar el caso, tenemos no solo derecho sino obligación de imaginar el programa que Searle está simulando a mano en toda su compleja estructura –y mucho más, con tal de que podamos imaginarla–. Pero entonces no es ya obvio, creo yo, que no hay comprensión genuina del chiste. Tal vez los billones de acciones de todas estas partes sumamente estructuradas producen después de todo comprensión genuina. Si su respuesta a esta hipótesis es que usted no tiene la más remota idea sobre si habría comprensión genuina en un sistema tan complejo, ya eso es suficiente para mostrar que el experimento mental de Searle depende, ilícitamente, en su imaginación de un caso demasiado simple, un caso no pertinente, y en sacar de allí las conclusiones "obvias".
La desorientación ocurre del siguiente modo. Vemos claramente que si hay comprensión en tal sistema gigantesco no sería la comprensión de Searle (puesto que él no es sino una tuerca en la máquina, ajeno a lo que está haciendo). Vemos claramente también que no hay nada remotamente parecido a comprensión genuina en ningún pedazo de programación suficientemente pequeño para ser imaginado con facilidad –sea lo que sea, es solo una rutina desprovista de mente para transformar hileras de símbolos en otras hileras de símbolos, de acuerdo con cierta receta mecánica o sintáctica–. Y ahora viene la premisa suprimida: con seguridad más de lo mismo, no importa cuánto más, nunca llegará a ser comprensión genuina. Pero, ¿por qué debería alguien aceptar esto? Los dualistas cartesianos podrían pensar así, porque ellos creen que ni siquiera los cerebros humanos pueden lograrla por sí mismos; de acuerdo con la perspectiva cartesiana, se requiere un alma inmaterial para conjurar el milagro de la comprensión. Si, por otra parte, somos materialistas convencidos de que, de un modo u otro, nuestros cerebros son responsables por sí mismos, sin ayuda milagrosa, de nuestra comprensión, entonces debemos admitir que se alcanza una comprensión genuina por un proceso compuesto de interacciones entre una hueste de subsistemas, ninguno de los cuales entiende nada por sí mismo. El argumento que comienza con "este pedacito de actividad cerebral no entiende chino y tampoco este pedazo más grande del cual el primero forma parte..." va a llegar a la conclusión no deseada de que incluso la actividad de todo el cerebro es insuficiente para comprender chino. Es difícil de imaginar como "más de lo mismo" pueda producir comprensión, pero tenemos buenas razones para creer que así es en este caso; debemos hacer mayores esfuerzos, no darnos por vencidos.
¿Cómo podríamos hacer mayores esfuerzos? Con la ayuda de algunos conceptos útiles: los conceptos de software de nivel intermedio que han sido diseñados por los informáticos precisamente para ayudarnos a tener control de las complejidades, de otro modo inmanejables, en sistemas grandes. En los niveles intermedios vemos muchos entes que son bastante invisibles en los niveles microscópicos, tales como los demonios mencionados antes, a los cuales podemos atribuir una cierta medida de comprensión. Todos estos demonios y otros entes parecidos se organizan en un sistema enorme, cuyas actividades se centran alrededor de un Centro de Gravedad Narrativa NOTA 3. Searle, laborando en el cuarto chino, no entiende chino, pero no está solo en el cuarto. Existe también el Sistema, CUARTO CHINO, y es a esa personalidad a la que deberíamos atribuir cualquier comprensión del chiste.
Esta respuesta al ejemplo de Searle es lo que él mismo ha llamado Respuesta Sistemática. Ha sido la respuesta estándar de la gente de inteligencia artificial desde la primera presentación del experimento mental hace más de una década, pero ha sido muy poco apreciada por gente fuera de la inteligencia artificial. ¿Por qué? Probablemente porque es muy difícil imaginar cómo puede ser la comprensión una propiedad que emerge de montones de cuasicomprensiones distribuidas en un sistema grande. Ciertamente no se puede imaginar si no se trata de hacerlo, pero ¿cómo podríamos ayudar en este difícil ejercicio? ¿Será "hacer trampa" pensar que el software esté compuesto de hombrecillos que casi comprenden o es precisamente la muleta necesaria para ayudar a la imaginación a entender la complejidad astronómica? Searle comete petición de principio NOTA 4. Nos invita a imaginar que el programa gigante consiste en una arquitectura simplista de consulta de tablas que directamente aparea los caracteres chinos unos con otros, como si tal programa pudiera representar con justicia cualquier otro programa. Pero no tenemos derecho a imaginar que tal programa simplista sea el que Searle esté simulando, puesto que ningún tal programa podría producir el tipo de resultados que calificarían para pasar la prueba de Turing, como ha sido anunciado....
............... NOTA 5.
NOTA 1 Confróntese el texto de Turing en el capítulo primero de esta colección. Nota del editor.
NOTA 2 Se llaman "demonios" en informática a pequeños programas dotados de autonomía cuya tarea es estar al acecho de que ocurran circunstancias de un cierto tipo para entrar en acción. Su función es siempre muy concreta, y una vez realizada regresan a su estado de latencia desde donde permanecen alertas esperando nuevas situaciones que requieran su activación. Nota del editor.
NOTA 3 Ver artículo de Dennett, La mente en la perspectiva informática, en esta colección. Nota del editor.
NOTA 4 El error lógico que consiste en suponer de una vez, en forma disfrazada, lo que se quiere demostrar. Nota del editor.