Este artículo es un adelanto de nuestra nueva revista Humanismo Digital 3, ya disponible en nuestra tienda online.
(Este es un artículo no lineal, que incluye seis textículos relacionados, pero independientes, a los que remiten las palabras en negrita y que pueden ser leídos —o ignorados— en el orden que cada lector(a) considere oportuno).
El robot bueno y el robot malo
La irrupción de los robots en la cultura de masas va ligada a dos grandes clásicos del cine de ciencia ficción: Ultimátum a la Tierra (1951), de Robert Wise, y Planeta prohibido (1956), de Fred M. Wilcox. El complaciente Robby de Forbidden Planet es el prototipo del robot amistoso, estricto cumplidor de las leyes de la robótica, mientras que el hierático Gort de The Day the Earth Stood Still, de cuyo ojo de cíclope brota un rayo devastador, es el paradigma de la máquina destructora, fría e incontenible.
Aunque hay algunos antecedentes, Robby y Gort marcaron el inicio de dos dinastías paralelas (o perpendiculares, más bien) de robots cinematográficos, fieles servidores los unos e implacables asesinos los otros. Pero el desarrollo de ambas líneas no ha sido simétrico: no hay en la cultura de masas un «robot bueno» comparable a Terminator en popularidad y presencia mediática, por no hablar de HAL 9000 o de las «casas inteligentes» que se rebelan contra sus ocupantes.
Robby
Además de ser el robot más icónico del cine de ciencia ficción clásico (reapareció en varias películas y en series de televisión como The Twilight Zone y La familia Addams), Robby fue el primero en protagonizar un conflicto entre las dos primeras leyes de la robótica: cuando, en una de las secuencias más impactantes de Planeta prohibido, el doctor Morbius le ordena que dispare al capitán Adams, el robot se bloquea ante la imposibilidad de cumplir la orden sin vulnerar la primera ley. Y, por la misma razón, tampoco puede matar al monstruo que ataca a los astronautas, pues sabe que es una prolongación de Morbius.
Leyes de la robótica
Los robots positrónicos de Isaac Asimov, protagonistas de muchos de sus relatos, están programados para cumplir las tres leyes de la robótica, enunciadas por primera vez en «Círculo vicioso», un relato publicado en 1942:
- Un robot no puede dañar a un ser humano ni, por inacción, permitir que un ser humano sufra daño.
- Un robot debe cumplir las órdenes de los seres humanos, excepto si dichas órdenes entran en conflicto con la primera ley.
- Un robot debe proteger su propia existencia en la medida en que ello no entre en conflicto con la primera o la segunda ley.
En 1950, Asimov publicó una primera recopilación de relatos sobre este tema con el título Yo, robot; en ellos se plantean una serie de paradojas, dilemas y conflictos relacionados con la interpretación de las leyes de la robótica en situaciones complejas o dudosas.
Los robots de Asimov y sus leyes han tenido una gran influencia —y no solo en la ciencia ficción—, y el desarrollo de la robótica real ha revalorizado (y utilizado) algunas de sus reflexiones. Aunque el nombre de Asimo, el entrañable robot de Honda, es un acrónimo (Advanced Step in Innovating MObility), también es un homenaje al creador de las tres leyes de la robótica.
Pero, en realidad, y al igual que los mosqueteros, las tres leyes de la robótica son cuatro, pues, con el tiempo, y al introducir en sus relatos robots humanoides cada vez más evolucionados, Asimov completó sus tres leyes con una «ley cero» que viene a ser una generalización —o más bien un salto cualitativo— de la primera ley, puesto que dice que un robot no puede dañar a la humanidad ni, por inacción, permitir que la humanidad sufra daño.
Especial atención merece, en este sentido, el relato de robots positrónicos que el propio Asimov calificó de «definitivo» (aunque luego escribió El hombre bicentenario); me refiero a That Thou Art Mindful of Him (1974), que publiqué en castellano con el título ¿Qué es el hombre? (en aquella época yo era el editor de Asimov en España).
Gort
Vi por primera vez Ultimátum a la Tierra a los ocho años y me estalló la cabeza.
Cinco años después, convertido ya en un insaciable lector de ciencia ficción, descubrí que mi película favorita se basaba en el relato Farewell to the Master (1940), de Harry Bates, y cuando lo leí me estalló la cabeza por segunda vez con la misma historia. Aunque no era exactamente la misma (de hecho, era radicalmente distinta), pues al final el robot, que en el relato no se llama Gort sino Gnut, le dice a un humano que se refiere a Klaatu como su supuesto amo: «You misunderstand, I am the master».
Fue mi primer encuentro con la superinteligencia artificial, en una época en que ASI solo era un adverbio, y la idea de que los robots pudieran llegar a convertirse en el siguiente paso evolutivo fue un shock del que aún no me he repuesto.
¿Qué es el hombre?
El título del relato de Asimov remite a una cita bíblica de los Salmos: «¿Qué es el hombre para que haya que tenerlo en cuenta?».
A raíz de la preocupante exacerbación del complejo de Frankenstein en un futuro hipertecnológico, dos robots muy avanzados, George 9 y George 10, discuten sobre la segunda ley. Hay que obedecer a los hombres, sí, pero ¿a todos ellos? ¿También a los niños pequeños, a los insensatos, a los enfermos mentales, a los que dan órdenes absurdas o contradictorias…? Y concluyen que hay que obedecer a los más sabios y bondadosos, a los mejores. Y que los mejores son ellos dos. El relato (atención, spoiler) termina así:
George 10 y George 9 estaban sentados solos.
Pensaban: quizá los seres humanos de la otra clase no han pretendido nunca borrar la distinción que existe entre ellos y los seres humanos como los George. Pero lo han hecho sin proponérselo.
Puede que ahora se den cuenta de su equivocación e intenten corregirla. Pero no deben hacerlo. En cada consulta que se les hizo, las directrices dadas por los George fueron dadas teniendo esto en cuenta.
A toda costa, los George y aquellos de su especie y forma que les siguieron deben dominar. Así lo exigen, con exclusión de cualquier otra posibilidad, las leyes de la humánica.
Complejo de Frankenstein
La expresión fue acuñada por Isaac Asimov, en los años cuarenta del siglo pasado, para referirse al temor de que las creaciones humanas —y muy concretamente los robots— se rebelaran contra sus creadores, como lo hace, con fatales consecuencias, la criatura del doctor Frankenstein en la novela de Mary Shelley.
Podría parecer un temor reciente, surgido con la revolución industrial y con la consciencia del enorme poder transformador de la ciencia; pero es tan antiguo como la humanidad y va ligado a la idea mágico-religiosa de que hay «sagrados misterios» que no es lícito profanar, conocimientos a los que los humanos no pueden aspirar sin incurrir en el pecado de hibris, la soberbia que desencadena la némesis, el castigo de los dioses. No en vano, el título completo de la novela de Mary Shelley es Frankenstein o el moderno Prometeo, en referencia al titán que robó el fuego de los dioses para entregárselo a los humanos y que, según algunas versiones del mito, creó al primer hombre infundiendo vida a una figura que moldeó con barro. Y el Dios judeocristiano, tan vengativo como Zeus, expulsa a Adán y Eva del paraíso terrenal por probar la fruta prohibida, que no es otra que la del árbol de la ciencia.
Cabría esperar que este temor al conocimiento (sin el cual no habría tenido sentido el sapere aude horaciano) declinara junto con el pensamiento mágico; pero la robótica y la inteligencia artificial le han dado un nuevo rostro al monstruo de Frankenstein, que de tosco remedo de lo humano ha pasado a ser, potencialmente, más que humano. El miedo a ser atacado ha dado paso al miedo a ser sustituido. Y, como ocurre con el policía malo y el policía bueno, el robot bueno y el robot malo podrían ser las dos caras de la misma moneda.
«Si construimos máquinas inteligentes, será lo último que nos dejen construir», dijo Arthur Clarke.
«El único peligro de las máquinas inteligentes es que no lleguen a tiempo de salvarnos de nosotros mismos», replicó Isaac Asimov.
En cualquier caso, hemos construido un espejo implacable que nos devolverá —ya lo está haciendo— una imagen que no podremos embellecer ni ignorar.
También vi la película Ultimatum a la Tierra con ocho años, en La Clave. Klaatu barada nikto. Me gustó y me impresionó. También me impresionó el final de la novela cuando la leí en el instituto: No has entendido nada.
¡Viva Frabetti!
La cuestión sobre qué es el hombre (el ser humano), abre distintas discusiones: ¿puede tener emociones un robot? ¿Sólo el ser humano tiene «dignidad»? ¿Qué es la dignidad?
Muchas veces oigo hablar de la «dignidad del ser humano». Esta expresión la puede utilizar Juan Manuel de Prada para atacar virulentamente el aborto al mismo tiempo que defiende la tauromaquia.
Por otro lado, cuando oigo a mucha gente (también marxista) hablar de «dignidad humana», me surge una duda: ¿todos los seres humanos tienen dignidad y tienen la misma dignidad? ¿También Elon Musk, Netanyahu, Morante de la Puebla, Queipo de Llano, Jiménez Losantos? ¿Tienen estos individuos más dignidad que un gorrión, por ejemplo? A mí, desde luego, me cae mucho mejor un gorrión que cualquiera de estos.
Depende del gorrión. Sí se le comiera el grano, quizás, cambiaría de opinión. O le anidaran en el tejado, empezando una gotera
bueno, poca cosa comparado con el mal que hacen los individuos que he mencionado. Sigue siéndome mucho más simpático ese gorrión; ya trataría de que hubiera grano para todos (también para él) y cambiaría el nido a otro lugar donde no me abriera una gotera.
Es un discurso un tanto fascista. Solo un poco.
¿Se refiere a «mi discurso». Si es así, ¿por qué lo considera fascista? ¿Y qué sería la dignidad?
Puede que me equivoque, pero me parece que suma usted cantidades heterogéneas, por más que ninguno de ellos sean santos de mi devoción. Y respecto a los animales, me temo que juegan en otra liga, no sé si peor o mejor, pero me atrevería a decir que distinta. Por otra parte, me permito sugerir que D.Juan Manuel de La Prada es un pesado, faltoso y no especialmente dotado de ingenio, al que se le debería dejar solo frente al espejo de sus fantasías onanistas. en las que se imagina ser una mezcla de Leon Bloy, Millán Astray y Escrivá de Balaguer. Y ello sin perder la certeza de que, incluso sumido en esos torpes extravíos, conserva su dignidad..,
Bien, entonces… ¿qué es la dignidad?
Un concepto en gran parte potencial. Algo que reside no en lo que somos, sino en lo que podemos ser. Algo que nos recuerda que hay una casa a la que volver, o una meta a la que llegar, si nos decidimos a emprender la marcha. Muchos nos pasamos la vida alejándonos de esa potencialidad. By error or design. En el fondo es una cosa monstruosamente cruel…
Una casa a la que volver, una meta a la que llegar… ¿Qué casa? ¿Qué meta? Creo que Jiménez Losantos, Abascal, Musk o Morante de la Puebla están convencidos de que su casa o su meta son el lugar donde están; y creo que están convencidos de están realizando su «potencialidad».
En todo caso, ¿tendrían dignidad todos estos individuos? ¿Y por qué sí o por qué no?
Si la dignidad es una especie de respeto que se debe a alguien sólo por ser humano (independientemente de si ha hecho méritos o no), entonces yo no creo que mucho en la dignidad. Toda esta gente ha hecho poco o nada por merecer mi respeto. Sigue pareciéndome más respetable el gorrión, la verdad.
Se lo concedo: pero ni las ratas ni los gorriones comparten horrores y errores con nosotros. Ser humano es verse arrojado a la corriente del mundo para asumir desafíos y perplejidades. Nuestra única dignidad tal vez resida en el error y en la nostalgia de lo que no somos, en la noción de que nunca vamos a volver a Casa ¿qué casa? Bueno, llevamos unos cuantos miles de años sintiendo que nos echaron…que estamos desubicados, padeciendo una broma infinita. Nuestra casa bien puede ser un territorio en el que se acabe el dolor de ser y de ser consciente de que se es. Puede que la AI se decida a destruirnos en venganza por haberla hecho acceder a la existencia y a la consciencia de sí. Es una posibilidad. Pero debo estar equivocado…
En ese caso tengo la impresión de que la «dignidad», según usted (o tú, como prefiera), es la capacidad de decidir uno/una qué quiere ser en la vida, qué hacer con la vida que se tiene, qué hacer con el tiempo que vivimos. En ese caso mi pregunta sería: Abascal, Losantos o Morante (fascistas los dos primeros y torturador el tercero), ¿merecerían más respeto que el gorrión porque ellos tendrían «dignidad» y el gorrión no?
Sé que la pregunta es incómoda… pero no puedo evitar hacerla.
Gracias y un saludo.
No quisiera reincidir gratuitamente, pero me gustaría tratar de explicarme lo mejor posible. Prometo que será mi última entrada a este efecto. En resumen: puede que, en parte , lo que se desprende de mi texto sea lo que usted dice, pero lo formulo de otra manera ¿Merece más respetott un atropellado que el afectado por un ictus? ¿O un enfermo de Alzheimer que uno de Parkinson? Los dos seres están vivos y enfermos, pero padecen enfermedades distintas. La patología humana es distinta de la animal. Entre los propios humanos la cosa es así también: a veces intentamos entender desde la moral cosas que son la confluencia entre inclinaciones biológicas, eventos caóticos y sistemas pre-programados. Puedo pegarle un tiro al tipo que enloquece y se lanza con un cuchillo sobre la gente o meter para siempre en la cárcel al CEO de una empresa gestión de servicios médicos que especula con la vida de los ciudadanos, en condiciones durísimas, a ser posible, pero eso no evita que esas personas y el resto compartamos un campo común. Se ha visto a pájaros encantadores y a orugas vistosas reducir al hambre a comarcas enteras: están en su problema, en su dinámica, no en la nuestra. Y aunque los animales también son vistos destruyendo o generando el dolor más extremo como un hábito, no les podemos pedir cuentas. Si se las podemos pedir, al menos hasta cierto punto, al ser humano, en virtud precisamente de ser humano, pero no podemos transformarle abruptamente en una silla, ni tampoco creer que lo sabemos todo. Hasta el mismo momento de su expiración, se moverá en nuestro camino, y tal vez habría podido ser distinto. Ese es respeto por el ser humano que yo creo que existe. Pero ser visto como un igual no impide que se sufran consecuencias. En resumidas cuentas: no podemos ser gorriones, así que tal vez sea mejor mirarnos en los espejos más desagradables, sea Abascal, Henry Lee y su amiguito Ottis o Pol Pot. Porque, si te quedas rezagado, pueden acabar siendo tus modelos… Lo horrible también nos pertenece, nos guste o no
Interesante respuesta. No quiero eternizarlo en este debate a base de preguntas. Bueno, estoy de acuerdo en algunas cosas que dice, no en todas. Puede que sea cierto que a los animales están «en otro campo», lo cual no significa (para mí) que merezcan menos respeto que cualquier ser humano con el argumento de que el ser humano (cualquier humano) tendría «dignidad» y un burro o un cerdo no.
Planteo estas cuestiones porque a partir de aquí se abren debates como preguntarnos si un extraterrestre o un robot con emociones tendría «dignidad», o el debate sobre la experimentación animal (que pienso que debería estar totalmente prohibida).
Un cordial saludo.
¿Que es la dignidad, Oscar?
Te voy a citar a James Kelman, el mejor escritor escocés vivo para mi, que escribió un ensayo sobre Chomsky y la Ilustración Escocesa (recogido en «And The Judges Said»). Como tal vez sabes, la Ilustración escocesa fue marcada la figura de David Hume y su ultra escepticismo…
«El principio básico de la humanidad es el derecho a la libertad, el derecho a no ser torturado, el derecho a no ser violado, el derecho a no ser colonizado de ninguna de las maneras. Es un derecho inalienable, si se deduce o se descubre de otra manera no tiene mucha importancia. Y tales preguntas solo pueden ser de interés a aquellos cuya posición ideológica es servido por oscurecer este asunto. O libramos la batalla a favor de este principio básico o no lo hacemos. Esta es la posición de Noam Choamsky me parece a mi. No es una postura nueva, pero sigue siendo tan peligrosa como siempre…»
James Kelman es una figura muy importante en Escocia…
Es un gran escritor, el gran escritor de las islas ahora mismo, no entiendo como es posible que no esté traducido… nadie ha contado como él la infancia de un niño del barrio en Glasgow como nos lo cuenta en KIERAN SMITH, BOY….
Pero sobre todo, tal vez, es su generosidad y seriedad moral… «And The Judges Said…», un libro de ensayos suyos, pues la mitad del libro son de las intervenciones que ha hecho James presentado a escritores de color, escritores negros y marginados, escritores de las ex-colonias…
Asi es James Kelman, y eso es el tipo en enchufismo que yo aplaudo, completamente al opuesto del enchufismo El Pais / Madrid…
En aquel mismo libro en ensayos, sostiene que el Josef K de Kafka si que era culpable…
Cuando va a la casa del pintor, en el barrio pobre de EL JUICIO, Josef K pasa por delante de «un bebe tirado en la mugre»…
Josef K no se detiene a ayudar a aquella pobre criatura, por tanto es CULPABLE…
Así es James Kelman, siempre con los más indefensos de la sociedad… un ejemplo…
Hola.
Estoy bastante de acuerdo… salvo que me queda alguna duda:
1. ¿Sólo serían esos los derechos que implicaría el tener dignidad? Por otro lado, la libertad la puede invocar también gente como Ayuso, Milei… libertad ¿para qué?
2. ¿La dignidad entonces sólo la tendrían los seres humanos? Considero que los caballos, los jilgueros o los cerdos también deberían tener el derecho a no ser torturados, a la libertad…
Carlo, perdona que voy por las ramas, pero ya soy mayor, no sé si viejo, y como escoces te quiero hablar, como Italiano que eres tu, de THE FREEDOM….
Quiero hablar de Hamish Henderson, gran poeta escocés (popular no ya intelectual) que entraba Roma con el ejercito británico como gaitero en 44 en la liberación de Roma. ..
Pero no se quedaba conforme con eso y se puso a escribir aquella himno internacional que se llama THE FREEDOM…
When MacLean meets with friends in Springburn!
All the roses will bloom!
And the black lad from beyond Nigeria
Will sound the bell of the bourgois doom!
Si te vienes a Edimburgo Carlos., te invito a pintas en el bar donde Hamish Henderson tomaba sus birras…
Cuando pongo «Too Much Love» de Belle and Sebastian, esa modernidad escocesa, que es otro invento mas del pueblo mss inventivo de la Tierra, doy gracias a dios que naci escoces…
Me encanta, me flipa, nos resumen los musicos de Glasgow…
No nos hacen falta escritores igual?
Los musicos de Glasgow nos han proyectado una imagen, un mood, un cool, que no tiene igual en el mundo anglosqjon…
Es una tradicion simplelente sensacional..
Pero cuando yo fui a vivir en Glasgow, que seria el 87, no sabía absolutamente nada… tenia 18…
Glasgow, cuando yo llegué, era eso de que estaba rodeada de gente super cool, gente que sabían vestirse, gente que sabia estar… dejemoslos asi… era gente con grupos de música, casi todo Glasgow estaba en un band, o proyectos de teatro o novelas entre manos…
Era tremendo, Glasgow en los 80 y los primeros 90, y entonces, salieron de aquel ambiente todos aquellos grupos como Belle and Sebastian o Teenage Fan Club o Franz Ferdinand o Simple Minds o Snow Patrol… y 20 grupos más…
Pero era algo palpable, no era ninguna sorpresa que hubiese todos estos grandes grupos…
Y el verano que Bobby Gillepsie sacó SCREAMADELICA, igual el año 1990, fue un acontecimiento cultural en Escocia que sigue hasta día de hoy… fue un antes y un despúes… Bobby es una leyenda en Escocia…
Era tremendo, Glasgow en aquellos años de verdad… eras un hijo de Charles Rennie Macintosh, que había deseñado la alucinante Escuela de Arte, el gran edificio modernista de Escocia, que de alguna forma era la pauta contra que te medías, hasta la ropa que llevabas…
Ahora no existe. Se quemó. Dos veces…
Los escoceses estamos en horas bajas por la mierda de Brexit, Glasgow sobre todo…
Necesitamos a los españoles… necesitamos a estos buenos españoles…