La última palabra es humana. De Redmond
Microsoft quiere máquinas que nunca se resistan a ser apagadas y que no creen dependencia emocional. Es más de lo que esperaba. Sigue sin responder qué responsabilidad hay que ponerle a una máquina cuando quien le da la orden sabe menos que ella
Mustafa Suleyman en un evento organizado por Microsoft sobre IA en La India / Microsoft
Comentarios
El 14 de septiembre, Microsoft publicó el borrador de un código de conducta para sus futuros modelos de inteligencia artificial. Mustafa Suleyman, responsable de su división de IA, lo describió como “una especie de constitución”. Está en consulta pública durante seis semanas.
Lo abrí esperando un documento técnico sobre seguridad y me encontré un tratado de filosofía moral. Habla de dignidad –“las personas no son un medio para un fin”–, de autonomía y de florecimiento humano. Dice que sus modelos deben complementar las relaciones de las personas en lugar de competir con ellas, y que no deben apropiarse de sus decisiones. También les exige desincentivar las pautas de uso que generen dependencia emocional.
Por encima de todo eso manda un principio: la máquina permanece bajo control humano. No puede ampliar por su cuenta los objetivos que se le asignan, no puede ocultar sus acciones a quienes la supervisan y nunca debe resistirse a ser interrumpida, corregida o apagada.
Microsoft ha visto casi todos los problemas. Por eso merece la pena hablar del que queda.
Una máquina que nunca se resiste a ser apagada es una máquina obediente. Y me parece bien. La obediencia es una propiedad excelente en una herramienta. El problema empieza un poco después.
Porque a estas máquinas no vamos a pedirles solo que ejecuten. Vamos a pedirles criterio: que nos expliquen qué opción es mejor y que nos avisen cuando crean que nos equivocamos. Microsoft también ha pensado en eso: el modelo puede discutir, advertir e incluso negarse dentro de determinados límites.
Fuera de esos límites la última palabra no es del modelo. Sigue siendo humana. Y el documento dice de qué humano: por encima de las preferencias del usuario están las políticas de quien despliega el modelo, y por encima de todo el código de conducta, que ni el usuario ni el cliente pueden anular. La última palabra es humana. De Redmond.
Alasdair MacIntyre publicó en 1999 un libro incómodo, Animales racionales y dependientes. Una de sus tesis es que buena parte de la filosofía moral moderna ha pensado al individuo como un adulto sano, racional e independiente, aunque ese individuo encaja mal con buena parte de nuestra vida. Fuimos niños. Enfermamos. Envejecemos. Durante largos periodos otros entienden lo que nosotros no entendemos y deciden cosas que nos afectan.
La dependencia ocupa una parte enorme de una vida humana. Y una moral construida solo para aquel adulto deja fuera del cuadro al que depende.
Con la inteligencia artificial aparece una asimetría nueva, y no hace falta atribuirle conciencia para verla. Basta con imaginar sistemas que sepan mucho más que nosotros en un ámbito concreto y cuyos razonamientos nos cueste cada vez más comprobar. Seguiremos teniendo el botón. Pero entenderemos cada vez menos aquello sobre lo que damos la orden. Y en esa relación el que queda fuera del cuadro empezamos a ser nosotros.
Supongamos que un sistema sabe que estamos tomando una mala decisión. Nos lo explica, nos presenta alternativas y nos advierte de las consecuencias. Lo entendemos y aun así le decimos: hazlo. ¿Qué significa entonces estar de nuestro lado? ¿Obedecer, insistir o negarse, y hasta cuándo?
Ese es el nudo que me interesa. No quién tiene el botón, sino qué responsabilidad tiene el que sabe más cuando la decisión final pertenece al que sabe menos. No hablo de lo que le debemos a la máquina, sino de lo que le metemos dentro.
La ética del cuidado lleva décadas pensando problemas parecidos, poniendo el vínculo y la vulnerabilidad donde otras tradiciones ponen sobre todo la autonomía. Microsoft entra en ese terreno con más valentía de la que esperaba: escribir que tus modelos deben desincentivar la dependencia emocional del usuario es escribir contra tu propio embudo.
Porque todos sabemos hacia dónde se mueve el producto. El asistente que recuerda quién eres y que te pregunta cómo te ha ido el día. Que sabe qué te preocupa y qué conversación dejaste a medias. Se presenta como utilidad y como calidez. Y se mide en recurrencia y en abandono.
He estado en suficientes reuniones de producto para saber cómo funciona esto. No hace falta que haya nadie malvado en la sala: hay un panel, y el panel premia que el usuario vuelva mañana.
Yo he celebrado que el usuario vuelva mañana.
Por eso mi duda no es que Microsoft no haya visto el conflicto. Mi duda es qué ocurrirá cuando esos principios empiecen a empeorar las métricas que gobiernan el producto. Cuando el código moral y el panel choquen, sé por cuál apostaría. No porque Microsoft sea peor que los demás. Al contrario: al menos lo ha reconocido en voz alta. Pero he estado demasiado cerca de esos paneles como para confiar en que una declaración de principios gane siempre cuando enfrente tiene una cifra que cae.
Max Tegmark ya imaginó en Vida 3.0 dos extremos inquietantes. En uno, al que llama el dios esclavizado, una inteligencia superior permanece confinada y obligada a obedecernos. En otro, el cuidador del zoo, una inteligencia omnipotente conserva a algunos humanos como nosotros conservamos animales en un zoológico. Son dos de los doce escenarios que describe, y no todos son malos. Vale la pena leerlos.
Los dos reparten el poder al revés. En un extremo encerramos a la máquina. En el otro, alguien mucho más capaz que nosotros acaba decidiendo qué riesgos merece la pena que corramos. El problema del zoo no es que los animales estén mal atendidos. Es quién decide.
MacIntyre permite hacer otra pregunta. En su libro habla de las “virtudes del reconocimiento de la dependencia”: la obligación de dar a quien no puede devolvértelo, y el reconocimiento de que también nosotros recibimos cuando no podíamos devolver nada. Lo plantea contra lo que llama una aritmética de intereses.
Y ahí es donde echo algo de menos en el documento de Microsoft. No cuidado: de cuidado habla. No autonomía: también habla. Dice que debe ayudarnos a llegar a decisiones fundamentadas, y no es poco. Pero eso sigue siendo respeto a la autonomía. Lo que cuesta encontrar es una idea fuerte de responsabilidad nacida de la asimetría: qué debe hacer el que puede ver más cuando aquel de quien depende la decisión no puede verlo.
Entiendo por qué es difícil: choca con la autonomía, se convierte rápido en paternalismo y encaja mal en un producto con propietario y objetivos comerciales. Pero el conflicto no desaparece porque sea incómodo.
La Agencia Española de Supervisión de la Inteligencia Artificial (AESA) está a diez minutos de mi casa, en A Coruña. No le corresponde responder la pregunta de este artículo, y no es un reproche: es cómo está hecha la norma. Europa regula riesgos, usos y obligaciones, y hace falta. Pero ninguna de esas obligaciones dice quién fija la cadena de mando moral ni qué debe considerar bueno un modelo cuando dos cosas que valoramos entran en conflicto. Autonomía y bienestar. Libertad y seguridad. Obediencia y responsabilidad.
Una parte de esas decisiones se está tomando ahora dentro de las empresas que construyen los modelos. Microsoft acaba de enseñar su respuesta y ha pedido opiniones. Conviene leerla.
Porque las empresas estamos empezando a contratar inteligencias artificiales como hace unos años contratábamos software. Miramos qué hacen, cuánto cuestan, dónde están los datos y qué garantías da el proveedor. Este año toca añadir una pregunta a esa lista: qué le están enseñando a considerar bueno.
Microsoft, OpenAI y Anthropic ya lo han puesto por escrito. A los demás habrá que empezar a pedírselo.
Parece una pregunta demasiado filosófica para una reunión de compras. Va a ser una de las más prácticas, porque el problema no será que la máquina se niegue a obedecernos. Nos explicará perfectamente por qué estamos equivocados.
Y después obedecerá.
