La última palabra es humana. De Redmond

Microsoft quiere máquinas que nunca se resistan a ser apagadas y que no creen dependencia emocional. Es más de lo que esperaba. Sigue sin responder qué responsabilidad hay que ponerle a una máquina cuando quien le da la orden sabe menos que ella

Mustafa Suleyman en un evento organizado por Microsoft sobre IA en La India / Microsoft

Mustafa Suleyman en un evento organizado por Microsoft sobre IA en La India / Microsoft

El 14 de septiembre, Microsoft publicó el borrador de un código de conducta para sus futuros modelos de inteligencia artificial. Mustafa Suleyman, responsable de su división de IA, lo describió como “una especie de constitución”. Está en consulta pública durante seis semanas.

Lo abrí esperando un documento técnico sobre seguridad y me encontré un tratado de filosofía moral. Habla de dignidad –“las personas no son un medio para un fin”–, de autonomía y de florecimiento humano. Dice que sus modelos deben complementar las relaciones de las personas en lugar de competir con ellas, y que no deben apropiarse de sus decisiones. También les exige desincentivar las pautas de uso que generen dependencia emocional.

Por encima de todo eso manda un principio: la máquina permanece bajo control humano. No puede ampliar por su cuenta los objetivos que se le asignan, no puede ocultar sus acciones a quienes la supervisan y nunca debe resistirse a ser interrumpida, corregida o apagada.

Microsoft ha visto casi todos los problemas. Por eso merece la pena hablar del que queda.

Una máquina que nunca se resiste a ser apagada es una máquina obediente. Y me parece bien. La obediencia es una propiedad excelente en una herramienta. El problema empieza un poco después.

Porque a estas máquinas no vamos a pedirles solo que ejecuten. Vamos a pedirles criterio: que nos expliquen qué opción es mejor y que nos avisen cuando crean que nos equivocamos. Microsoft también ha pensado en eso: el modelo puede discutir, advertir e incluso negarse dentro de determinados límites.

Fuera de esos límites la última palabra no es del modelo. Sigue siendo humana. Y el documento dice de qué humano: por encima de las preferencias del usuario están las políticas de quien despliega el modelo, y por encima de todo el código de conducta, que ni el usuario ni el cliente pueden anular. La última palabra es humana. De Redmond.

Alasdair MacIntyre publicó en 1999 un libro incómodo, Animales racionales y dependientes. Una de sus tesis es que buena parte de la filosofía moral moderna ha pensado al individuo como un adulto sano, racional e independiente, aunque ese individuo encaja mal con buena parte de nuestra vida. Fuimos niños. Enfermamos. Envejecemos. Durante largos periodos otros entienden lo que nosotros no entendemos y deciden cosas que nos afectan.

La dependencia ocupa una parte enorme de una vida humana. Y una moral construida solo para aquel adulto deja fuera del cuadro al que depende.

Con la inteligencia artificial aparece una asimetría nueva, y no hace falta atribuirle conciencia para verla. Basta con imaginar sistemas que sepan mucho más que nosotros en un ámbito concreto y cuyos razonamientos nos cueste cada vez más comprobar. Seguiremos teniendo el botón. Pero entenderemos cada vez menos aquello sobre lo que damos la orden. Y en esa relación el que queda fuera del cuadro empezamos a ser nosotros.

Supongamos que un sistema sabe que estamos tomando una mala decisión. Nos lo explica, nos presenta alternativas y nos advierte de las consecuencias. Lo entendemos y aun así le decimos: hazlo. ¿Qué significa entonces estar de nuestro lado? ¿Obedecer, insistir o negarse, y hasta cuándo?

Ese es el nudo que me interesa. No quién tiene el botón, sino qué responsabilidad tiene el que sabe más cuando la decisión final pertenece al que sabe menos. No hablo de lo que le debemos a la máquina, sino de lo que le metemos dentro.

La ética del cuidado lleva décadas pensando problemas parecidos, poniendo el vínculo y la vulnerabilidad donde otras tradiciones ponen sobre todo la autonomía. Microsoft entra en ese terreno con más valentía de la que esperaba: escribir que tus modelos deben desincentivar la dependencia emocional del usuario es escribir contra tu propio embudo.

Porque todos sabemos hacia dónde se mueve el producto. El asistente que recuerda quién eres y que te pregunta cómo te ha ido el día. Que sabe qué te preocupa y qué conversación dejaste a medias. Se presenta como utilidad y como calidez. Y se mide en recurrencia y en abandono.

He estado en suficientes reuniones de producto para saber cómo funciona esto. No hace falta que haya nadie malvado en la sala: hay un panel, y el panel premia que el usuario vuelva mañana.

Yo he celebrado que el usuario vuelva mañana.

Por eso mi duda no es que Microsoft no haya visto el conflicto. Mi duda es qué ocurrirá cuando esos principios empiecen a empeorar las métricas que gobiernan el producto. Cuando el código moral y el panel choquen, sé por cuál apostaría. No porque Microsoft sea peor que los demás. Al contrario: al menos lo ha reconocido en voz alta. Pero he estado demasiado cerca de esos paneles como para confiar en que una declaración de principios gane siempre cuando enfrente tiene una cifra que cae.

Max Tegmark ya imaginó en Vida 3.0 dos extremos inquietantes. En uno, al que llama el dios esclavizado, una inteligencia superior permanece confinada y obligada a obedecernos. En otro, el cuidador del zoo, una inteligencia omnipotente conserva a algunos humanos como nosotros conservamos animales en un zoológico. Son dos de los doce escenarios que describe, y no todos son malos. Vale la pena leerlos.

Los dos reparten el poder al revés. En un extremo encerramos a la máquina. En el otro, alguien mucho más capaz que nosotros acaba decidiendo qué riesgos merece la pena que corramos. El problema del zoo no es que los animales estén mal atendidos. Es quién decide.

MacIntyre permite hacer otra pregunta. En su libro habla de las “virtudes del reconocimiento de la dependencia”: la obligación de dar a quien no puede devolvértelo, y el reconocimiento de que también nosotros recibimos cuando no podíamos devolver nada. Lo plantea contra lo que llama una aritmética de intereses.

Y ahí es donde echo algo de menos en el documento de Microsoft. No cuidado: de cuidado habla. No autonomía: también habla. Dice que debe ayudarnos a llegar a decisiones fundamentadas, y no es poco. Pero eso sigue siendo respeto a la autonomía. Lo que cuesta encontrar es una idea fuerte de responsabilidad nacida de la asimetría: qué debe hacer el que puede ver más cuando aquel de quien depende la decisión no puede verlo.

Entiendo por qué es difícil: choca con la autonomía, se convierte rápido en paternalismo y encaja mal en un producto con propietario y objetivos comerciales. Pero el conflicto no desaparece porque sea incómodo.

La Agencia Española de Supervisión de la Inteligencia Artificial (AESA) está a diez minutos de mi casa, en A Coruña. No le corresponde responder la pregunta de este artículo, y no es un reproche: es cómo está hecha la norma. Europa regula riesgos, usos y obligaciones, y hace falta. Pero ninguna de esas obligaciones dice quién fija la cadena de mando moral ni qué debe considerar bueno un modelo cuando dos cosas que valoramos entran en conflicto. Autonomía y bienestar. Libertad y seguridad. Obediencia y responsabilidad.

Una parte de esas decisiones se está tomando ahora dentro de las empresas que construyen los modelos. Microsoft acaba de enseñar su respuesta y ha pedido opiniones. Conviene leerla.

Porque las empresas estamos empezando a contratar inteligencias artificiales como hace unos años contratábamos software. Miramos qué hacen, cuánto cuestan, dónde están los datos y qué garantías da el proveedor. Este año toca añadir una pregunta a esa lista: qué le están enseñando a considerar bueno.

Microsoft, OpenAI y Anthropic ya lo han puesto por escrito. A los demás habrá que empezar a pedírselo.

Parece una pregunta demasiado filosófica para una reunión de compras. Va a ser una de las más prácticas, porque el problema no será que la máquina se niegue a obedecernos. Nos explicará perfectamente por qué estamos equivocados.

Y después obedecerá.

Historias como esta, en su bandeja de entrada cada mañana.

O apúntese a nuestro  canal de Whatsapp

Un comentario en “La última palabra es humana. De Redmond”

Deja una respuesta

Emergencia en Galicia

Las compañías reconocidas en la primera edición de Empresas Emergentes Galicia 2026, proyecto impulsado por Economía Digital Galicia, son un ejemplo de que se puede crear un negocio exitoso en cualquier lugar desde el que hacer patria

De izquierda a derecha, los galardonados: Héctor Estévez, CEO de Centum Research & Technology; Gabriel Gómez Celaya, CEO de Marine Instruments; Esteban Sinde, presidente y director científico y de innovación de Hifas da Terra; Iria Ramos, responsable de Administración de Cristalería Ramos y Ramos; José Manuel Núñez Torres, CEO de Torres Núñez; María Caridad García Busto, propietaria de Granja Campomayor; Nuria Peñamaría, directora de Marketing y Comunicación de Incoga Group; Inés López Villaverde, directora financiera de Tecglass; y Andrés Tarsacó Acuña, CEO de Tarlogic Security

De izquierda a derecha, los galardonados: Héctor Estévez, CEO de Centum Research & Technology; Gabriel Gómez Celaya, CEO de Marine Instruments; Esteban Sinde, presidente y director científico y de innovación de Hifas da Terra; Iria Ramos, responsable de Administración de Cristalería Ramos y Ramos; José Manuel Núñez Torres, CEO de Torres Núñez; María Caridad García Busto, propietaria de Granja Campomayor; Nuria Peñamaría, directora de Marketing y Comunicación de Incoga Group; Inés López Villaverde, directora financiera de Tecglass; y Andrés Tarsacó Acuña, CEO de Tarlogic Security; Iria Ramos, responsable de Administración de Cristalería Ramos y Ramos; José Manuel Núñez Torres, CEO de Torres Núñez; María Caridad García Busto, propietaria de Granja Campomayor; Nuria Peñamaría, directora de Marketing y Comunicación de Incoga Group; Inés López Villaverde, directora financiera de Tecglass; y Andrés Tarsacó Acuña, CEO de Tarlogic Security

Que el mundo, en general, se nos volvió complejo lo vemos cada mañana cuando asaltamos el móvil con la inquietud de saber qué habrá pasado en la noche, con que nueva catástrofe, natural o provocada por el político de turno, se va a ver condicionada algo nuestra vida; y la de todos.

Pero, en el mundo empresarial, hay esperanzas que se sustancian en empresas que se mantienen, firmes y sólidas, ante los avatares del mercado. En concreto, en Galicia, tenemos una empresa que es capaz de innovar con setas y hongos; otra que con 150 profesionales está presente en más de 70 países; aquella capaz, a pesar de su condición de limitada, de invertir en I+D+i el 1% de su facturación o una que, siendo fundada hace más de 60 años, consigue pervivir dedicándose a las múltiples facetas de un único producto, el huevo. Todas ellas y algunas más, de carácter mediano, tienen un rasgo común: son empresas emergentes.

Pero, ¿qué consideramos como una empresa emergente?

Tomado prestado el concepto desde las denominadas como Ciencias de la Complejidad, la emergencia empresarial es una nueva propuesta definitoria (diferente de la europea que sólo se aplica a las startups altamente escalables) de una situación específica atribuible a empresas de mediano tamaño, con capacidades propias que les permitirían dar un salto tanto cuantitativo como también cualitativo y convertirse así en referentes a un nivel superior en su sector adquiriendo una mayor dimensión. Como condición interna, la Emergencia supone el sumatorio entre la (su)pervivencia y el crecimiento sano, la confluencia clásica entre el acto, hoy, y la potencia, mañana, aunque, eso sí, en una sintonía sinérgica con el entorno.

Caracterizamos a las empresa emergentes, entendidas dichas empresas como sistemas adaptativos de carácter complejo, como aquellas que, habiendo nacido con un propósito concreto, habitualmente fuera de los lugares donde el apoyo empresarial es más explícito, incluso en ámbitos como el rural, presentan unos rasgos de crecimiento y desarrollo, con inversiones reiteradas en innovación, y qué, sin perder su esencia durante el proceso de maduración, emergen, surgen y resurgen día a día tanto dentro como fuera del territorio con resultados muy superiores a lo que se podrían esperar por su dimensión y capacidades. De manera gráfica, cuando se las conoce, sugieren la expresión “¿Y esta empresa, como es posible? ¡Y aquí!”. Pues sí, lo es, y su enraizamiento en su propio entorno las hace organizativamente hablando todavía más resilientes.

Son flexibles a la vez que resistentes, gozando de un aumento controlado, rozando de manera continuada eso que la física de la Complejidad denomina como el punto de equilibrio dinámico, una fructífera y asumida inestabilidad productiva que las convierte en especialmente atractivas. Hábiles en la conducción, saben bien como utilizar el freno y el acelerador a la vez; soplar y sorber en paralelo son habilidades que llevan ejercitando desde aquel comienzo que, habiendo marcando indeleblemente su andadura, todavía las impregna. Pero serán estas características muy propias de las empresas consideradas por facturación y empleo como medianas, aquellas que albergan un alto potencial de incremento en una posible transición de fase lo que también las puede hacer vulnerables y de interés para los grandes grupos empresariales ávidos siempre de adquirir compañías estables y con cierta facilidad para la integración en sistemas corporativos que pueden anular su innata idiosincrasia. Funcionan, como la emergencia propia de los sistemas complejos, mejor de abajo hacia arriba que en sentido contrario, carentes de una recia y contundente jerarquía, incentivando el contacto más directo generador de lealtad.

La emergencia en Galicia

A estas empresas medianas, emergentes por derecho, nacidas para permanecer y continuar, pero, en ocasiones, poco reconocidas son a las que Economía Digital Galicia quiere significar, valorando su quehacer y favoreciendo su visibilidad, dada la importancia que tienen para el desarrollo económico y social de Galicia. Y es por ello que se concibe la iniciativa Empresas Emergentes GALICIA 2026, que señaló distinguiendo con esta denominación a nueve empresas propias de la autonomía: Centum Research & Technology, Cristalería Ramos y Ramos S. L., Granja Campomayor S. L., Hifas da Terra, S. L., Incoga Norte S. L. U., Marine Instruments, S. A., Tarlogic Security, S. L., Tecglass S. L., y Torre de Núñez de Conturíz, S. L. U. Nueve ejemplos de que se puede hacer empresa exitosa en cualquier lugar desde el que poder hacer patria, haciendo Galicia. Como bien puso de manifiesto Antonio Couceiro presidente de la Cámara de Comercio de A Coruña en la presentación oficial de la iniciativa el martes 6 de octubre de 2026, empresas que saben hacer y de las que hay que hacer saber. Es una cuestión de justicia este reconocimiento como bien apuntó Juan García, CEO de Economía Digital e impulsor del proyecto.

Las dos caras de las Empresas Emergentes

Como tales, las empresas emergentes son esas pequeñas joyas, trabajadas con delicada orfebrería, que resulta obligado, como en las familias, no solo conservar sino también favorecer su transmisión como un atesorado legado que perdure, que perviva en el tiempo. Ante esta cara amable de incentivo en su cuidado y mantenimiento, se erige una cruz, como toda moneda que se precie, que es la de su visibilidad e interés para otras empresas con mayores recursos para sostener su evolución positiva a partir de una saneada situación. Y a ello deberá estar atenta Galicia, como demarcación geográfica con intereses propios, y, por qué no, actuando como valedora y defensa de su tejido industrial, fruto de una política inteligentemente diseñada al efecto. No podemos olvidar que en los cinco años posteriores al 2020, la inversión exterior en Galicia se multiplicó prácticamente por cuatro, y que, debido a la pujanza del modelo empresarial gallego y a su dinamismo, cada vez está siendo más visible el interés en adquirir empresas propias por parte de grupos empresariales ajenos. Esta pretensión es legítima, por supuesto, pero la complacencia no puede dejarnos caer en la miopía; hay que mirar más a lo lejos, al mañana, para mejor afrontar la incertidumbre que el futuro siempre conlleva.

Por todo ello, el saber hacer, pero también el hacer saber se convierten en aquellos mecanismos que sustentan dar relevancia a las empresas emergentes gallegas, siempre y cuando sepamos cuidarlas, darles apoyo cuando lo precisen y, en la medida de lo posible, que su conocimiento y puesta en valor favorezcan su mantenimiento sin perder su esencia, aquello que las acabó llevando a ser lo que hoy son: Baluarte de la pervivencia y la continuidad de un orgulloso modelo propio de hacer empresa, de saber hacer Galicia. Alertados estamos.

Historias como esta, en su bandeja de entrada cada mañana.

O apúntese a nuestro  canal de Whatsapp

Deja una respuesta

SUSCRÍBETE A ECONOMÍA DIGITAL

Regístrate con tu email y recibe de forma totalmente gratuita las mejores informaciones de ECONOMÍA DIGITAL antes que el resto

También en nuestro canal de Whatsapp