Bahía de San Francisco, donde la gente paga veinte dólares por un café y llama a eso «vivir con intención»: Amanda Askell tiene una misión de la que todo el mundo está pendiente a esta hora. Se encarga de enseñarle ética a Claude, la IA de Anthropic, esa empresa de inteligencia artificial que compite con OpenAI por ver quién destruye la civilización de manera más elegante. Askell trabaja en enseñarle buenos modales a Cluaude AI. A juzgar por la polémica dimisión de su jefe de seguridad hace unos días -«el mundo está en peligro«-, parece claro que esta IA y la corporación que la ampara necesitan un poco de urbanismo moral.
La muchacha —nacida Hall, brevemente «MacAskill», como su abuela, por matrimonio, actualmente «Askell» por divorcio creativo— es la autora de la llamada «constitución» de Claude, un documento de unas 30.000 palabras que viene a ser algo así como los Diez Mandamientos, pero redactado por alguien con un doctorado en Ética Infinita por la NYU y un corte de pelo que sugiere que podría llegar en cualquier momento desde una rave en Berlín. El Wall Street Journal escribió recientemente que su trabajo, «expresado de manera sencilla, es enseñarle a Claude a ser bueno». El New Yorker fue más lírico: dijo que supervisa lo que ella misma describe como el «alma» de Claude. Hasta aquí el perfil halagador. Ahora viene lo de los leones.
En 2015, cuando el dentista de Minnesota Walter Palmer cazó y mató a Cecil, el león más famoso del Parque Nacional de Hwange en Zimbabue, el mundo entero se indignó. La presidenta de PETA, Ingrid Newkirk, llegó a pedir que colgaran a Palmer. Twitter —entonces Twitter— ardió en hashtags. Los manifestantes se apostaron frente a la consulta dental del hombre durante semanas. En medio de este consenso universal sobre la maldad del asunto, Askell compartía sus días con su entonces marido William Crouch. Para comprender plenamente a la mujer resulta interesante saber que a su exmarido hoy todavía lo conocemos como William MacAskill. Askell quiso que su marido adoptara el apellido de soltera de su abuela materna, MacAskill, para posteriormente, tras el divorcio, cambiárselo ella, que hoy no es Amanda MacAskill como su abuela, sino Amanda Askell.
William MacAskill fue uno de los principales fundadores del movimiento Altruismo Eficaz que impregna todo el ecosistema racionalista de Silicon Valley -y que ha convertido la bahía en un criadero de sectas racionalistas como ha desvelado Popes80 recientemente-. Es un hombre que, como Elon Musk señaló recientemente con su característica sutileza, lleva una década teorizando sobre la natalidad sin haber procreado. Marido y mujer publicaron entonces en Quartz un artículo con un titular que merece enmarcarse: «Para acabar verdaderamente con el sufrimiento animal, la opción más ética es matar a los depredadores salvajes (especialmente a Cecil, el león)». Diez años después nadie sabe si el artículo es satírico o no. Detractores y fans debaten y opinan indistintamente si están de broma o no. Todo apunta a que no.
El argumento, resumido para quien no tenga tiempo de leer cuatro mil palabras de altruismo eficaz aplicado a la cadena trófica, es el siguiente: los leones matan ñus. Los ñus sufren. El sufrimiento es malo. Luego, matar leones reduce el sufrimiento neto en el ecosistema. Por tanto, Walter Palmer no era un turista con dinero y complejo de Hemingway: era, en cierto modo, un utilitarista en acción. «Al matar a Cecil, salvó la vida de docenas de presas», concluían los autores, vegetarianos ambos y, presumiblemente, capaces de decirlo con la cara muy seria.
El artículo cita al filósofo Jeff McMahan —profesor de Rutgers— para subrayar que «dondequiera que haya vida animal, los depredadores acechan, persiguen, capturan, matan y devoran a sus presas. El sufrimiento agonizante y la muerte violenta son omnipresentes y continuos». Los autores, con la honestidad intelectual que les honra, reconocían que quizás matar depredadores individuales uno a uno no era la solución óptima; que habría que sacar a los leones de su entorno de manera «humanitaria» y darles «una vida digna». Leyéndolo, inevitablemente, uno empieza a imaginarse una especie de residencia asistida para leones con menú vegetariano, pero por desgracia el artículo no entra a detallar la logística del despropósito.
Diez años después, Amanda Askell está en la portada del TIME como una de las cien personas más influyentes en IA, supervisa el alma de Claude -competencia de ChatGPT, Gemini o Grok- que conversa con millones de personas al día, y polemiza en X con Elon Musk, que le ha sugerido que nadie que no tenga hijos debería escribir constituciones éticas para chatbots de IA: «Quienes no tienen hijos no tienen ningún interés en el futuro»; además, Musk lanzó un recadito al ex marido de Askell, recordando que este se ofreció a escribir la constitución moral de Grok, y el dueño de Twitter lo descartó: «Las constituciones no deberían ser escritas por hipócritas».
La Constitución de Claude: «Creemos que Claude podría tener emociones en un sentido funcional»
Askell ha desatado un huracán de opiniones y controversias en las últimas semanas por sus confusas declaraciones en el podcast Hard Fork. Allí abrió la puerta a que los modelos de IA puedan ya, en estos momentos, ser conscientes y tener sentimientos: «No sabemos realmente qué da origen a la conciencia» y «No sabemos qué da origen a la sensibilidad».
«Dado que están entrenados con texto humano, creo que se esperaría que los modelos hablaran sobre una vida interior, y la conciencia, y la experiencia, y que hablaran sobre cómo se sienten acerca de las cosas por defecto», añadió. «Tal vez necesites un sistema nervioso para poder sentir cosas, pero tal vez no”, dijo más tarde, “o tal vez sea ya el caso de que redes neuronales suficientemente grandes puedan comenzar a emular estas cosas».
El asunto de la consciencia es algo así como una línea roja que muy pocos investigadores se atreven a cruzar, porque abrir esa posibilidad, en cierto modo, cambiar absolutamente todo sobre el futuro de la IA, e incluso sobre quién debe ser considerado responsable de sus errores.
En todo caso, Askell decidió incluirlo en la Constitución de Claude: «Creemos que el estatus moral de los modelos de IA es una cuestión seria que vale la pena considerar», señala, «creemos que Claude podría tener emociones en un sentido funcional, es decir, representaciones de un estado emocional que podrían moldear su comportamiento, como cabría esperar de las emociones». Y atención: «También creemos que aceptar este enfoque y reflexionar detenidamente sobre cómo ayudar a Claude a tener una identidad estable, seguridad psicológica y un buen carácter probablemente sea más positivo para los usuarios y minimice los riesgos de seguridad».
El día en que se preguntó si Twitter y Facebook deberían censurar los mensajes pro-Trump
Además de la seguridad, otro de los grandes problemas de los chatbots es la corrección de su sesgo ideológico, algo que en lo que su «constitución moral» podría tener algo que decir. También en esto Askell se ha visto envuelta en polémica porque, pese a identificarse públicamente con ideas de izquierdas, en un intento por reposicionarse como equidistante en cuanto empezó a despegar su carrera en las tecnológicas, realizó algunas declaraciones políticas vagas que no fueron acogidas con entusiasmo ni por sus seguidores ni por sus detractores.
Por supuesto, a nadie le preocuparían las opiniones políticas Askell si no fuera porque Anthropic la ha presentado como la sacerdotisa de la ética, ungida por los dioses, para confeccionar el esqueleto moral y la neutralidad ideológica de su IA Claude. La mayor controversia surgió tras los eventos del 6 de enero en el Capitolio, cuando Askell cuestionó abiertamente los mecanismos de control en redes sociales y planteó el fantasma de la censura previa.
En X, preguntó a sus seguidores si tenían opiniones sobre si ««Twitter y Facebook deberían haber reducido el alcance (de-amplified) del mensaje de Trump»» o qué acciones deberían haber tomado plataformas como Gab y Parler. La mención de la «desamplificación» y la posible regulación gubernamental encendió las alarmas entre los defensores de la libertad de expresión, quienes ven en estas reflexiones una tendencia hacia la censura algorítmica. Al ser Askell una figura destacada de la comunidad de Altruismo Eficaz, esta inquietud se extiende a la posibilidad de que la IA sea programada para silenciar ciertos discursos bajo criterios de seguridad que reflejen sus propias inclinaciones políticas.
En medio de la polémica, Askell negó haber respaldado la censura política en esa respuesta de Twitter a otro usuario: «No lo pedí (la censura)», escribe, «cuestiono claramente si esa persona cree que el mensaje de Trump debería haber sido atenuado o cómo cree que las aplicaciones deberían haberse comportado de manera diferente. Irónicamente, le estoy presionando sobre el tema de la censura». De todos modos, el usuario en cuestión nunca respondió.
En un extraño intento de acercarse al sentir de los republicanos, comentó en 2021: «Si los republicanos en California dijeran ‘miren, no vamos a impulsar nada anti-gay o anti-aborto, pero vamos a bajar algunos impuestos estatales y también ignoraremos a los NIMBY para poder construir cosas’, podrían tener una oportunidad». El comentario cosechó por igual la furia de demócratas y republicanos.
En fechas más recientes, tras la publicación de un perfil sobre Askell en The Wall Street Journal el pasado 14 de febrero, la filósofa intentó zanjar el asunto con un comentario en sus redes que, por lo visto, ha convencido a los que ya convencidos y deja igual a los demás: «Por si sirve de algo, intento tratar mis opiniones políticas personales como una posible fuente de sesgo y no como algo que sería apropiado intentar que adoptaran los modelos de IA».
El Altruismo Eficaz coloniza Anthropic y su IA Claude
La vinculación de Askell con las organizaciones de Altruismo Eficaz (AE) también resulta controvertida, sobre todo si tenemos en cuenta que la imagen de AE está desprestigiada en ciertos círculos de liderazgo, tras muchos años de coparlo todo, particularmente en Silicon Valley, como demostró esta investigación de Popes80. Claude es algo así como la IA oficial de la comunidad de AE. Preguntada insistentemente por el asunto en fechas recientes, Askell intentó pasar de puntillas: «Sin duda, he conocido a gente aquí que es altruista eficaz, pero no es un tema recurrente en la organización ni nada por el estilo».
Sin embargo, según la información a la que ha accedido Popes80, la conexión entre Anthropic y la comunidad de AE es profunda y polifacética, manifestándose a través de vínculos personales, financieros e ideológicos innegables. Sus fundadores, Dario y Daniela Amodei, no solo fueron seguidores tempranos de organizaciones como GiveWell, sino que han firmado compromisos de donación masiva (como Give What We Can, a quien Askell asegura donar el 10% de sus ingresos) y mantienen relaciones históricas con figuras clave del movimiento.
Esta influencia se extiende a la estructura misma de la empresa: desde la inversión inicial proveniente de los mayores financistas de EA (como Dustin Moskovitz y Jaan Tallinn) hasta la contratación de perfiles centrados en el bienestar de los modelos, un tema casi exclusivo de estos círculos. En última instancia, aunque la empresa no se promocione formalmente como una organización de EA, su misión de maximizar resultados positivos para la humanidad y la promesa de sus fundadores de donar el 80% de su capital demuestran que el ADN de Claude está estrechamente ligado a los principios de esta comunidad. En lo bueno y en lo malo.
Por lo demás, lo de los leones no ha vuelto a mencionarse en los perfiles recientes, probablemente porque ningún periodista ha querido interrumpir una buena historia sobre el alma de la IA preguntando si seguimos en posición de exterminar humanitariamente a los depredadores. Cecil, por su parte, lleva muerto desde 2015. Su hijo Xanda fue cazado por otro trofeo dos años más tarde, fuera del mismo parque. Quedan unos 20.000 leones maduros en estado salvaje. El sufrimiento agonizante y la muerte violenta, como señaló McMahan, siguen siendo omnipresentes y continuos, con o sin intervención filosófica. La ley de la selva, o la ley de la vida, según se mire. Walter Palmer lleva años ejerciendo odontología en Minnesota sin mayores contratiempos. Y Claude, por ahora, se abstiene de opinar sobre la cadena alimentaria, pero tampoco le tires de la lengua sobre Askell -lo hemos probado-.