“La tecnología calcula; la conciencia decide.” — León Prior
El informe llegó a las 7:42 de la mañana.
Tenía treinta y seis páginas, siete escenarios comparativos y una recomendación final redactada con una seguridad difícil de cuestionar.
La conclusión era sencilla: cerrar una de las áreas permitiría reducir costos, simplificar la operación y recuperar rentabilidad antes de terminar el año.
Los datos eran correctos.
Las proyecciones parecían sólidas.
La presentación no contenía contradicciones visibles.
A las nueve comenzaría la reunión en la que se tomaría la decisión.
Sobre la mesa estaban las cifras. Fuera de la sala se encontraban las personas que recibirían sus consecuencias.
Nadie había hablado todavía con ellas.
Durante algunos minutos, el director volvió a revisar el documento. Buscó algún error en los cálculos, una variable omitida, una inconsistencia que justificara detener el proceso.
No encontró ninguna.
Y precisamente por eso comenzó a inquietarse.
¿Qué ocurre cuando una recomendación parece impecable, pero algo dentro de nosotros se resiste a aceptarla?
¿Debemos confiar en la evidencia o desconfiar de nuestra incomodidad?
¿Puede una decisión ser correcta en los datos y equivocada en la realidad?
Estas preguntas se han vuelto más frecuentes desde que la inteligencia artificial comenzó a intervenir en decisiones que antes dependían exclusivamente del juicio humano.
La IA puede analizar información, comparar escenarios, anticipar riesgos y mostrar relaciones que habíamos pasado por alto. Su capacidad no está en duda.
La pregunta es otra:
¿Quién decide qué merece ser protegido cuando dos bienes legítimos entran en conflicto?
La inteligencia artificial puede calcular cuánto ahorraríamos al cerrar un área. No puede determinar por sí misma qué pérdida sería moralmente aceptable.
Puede estimar la productividad de una persona. No sabe qué significa para ella perder su trabajo ni qué capacidades invisibles desaparecerán con su salida.
Puede recomendar la alternativa más eficiente. No posee una conciencia que le permita preguntarse si esa eficiencia es justa.
En los dos artículos anteriores de esta miniserie analicé cómo utilizar la IA para pensar mejor y qué decisiones no debemos delegarle. Sin embargo, queda una cuestión todavía más difícil.
No basta con afirmar que la decisión debe permanecer en manos de una persona.
También necesitamos preguntarnos:
¿Desde qué principios decidirá esa persona?
Porque un directivo puede obedecer ciegamente al algoritmo, pero también puede ignorar los datos por soberbia, miedo o conveniencia. Puede esconderse detrás de una recomendación automática o utilizar su autoridad para imponer una preferencia personal.
Ninguna de esas conductas representa verdadero criterio.
La diferencia entre una decisión humana y una decisión simplemente firmada por una persona no está en quién presiona el botón final.
Está en la conciencia desde la que se decide.
Una pregunta que creíamos superada
Vivimos rodeados de indicadores.
Medimos tiempos, costos, productividad, desempeño, satisfacción, riesgo y retorno. Hemos aprendido a traducir una parte creciente de la realidad en cifras porque las cifras nos permiten comparar y decidir.
El problema comienza cuando confundimos lo medible con lo valioso.
Una relación de confianza no siempre aparece en un tablero.
La dignidad no tiene una unidad de medida.
La lealtad no cabe fácilmente en una proyección financiera.
El sentido de pertenencia puede desaparecer mucho antes de que un indicador detecte sus consecuencias.
Durante años supusimos que el principal desafío de la dirección era obtener información suficiente. Hoy tenemos más datos de los que podemos revisar y sistemas capaces de interpretarlos a una velocidad imposible para cualquier persona.
Sin embargo, no necesariamente decidimos mejor.
Tal vez porque la pregunta esencial nunca fue cuánta información teníamos.
La pregunta siempre fue qué entendíamos por persona, por justicia, por progreso y por responsabilidad.
La encíclica Magnifica Humanitas, del papa León XIV, coloca esta discusión en un terreno que muchas conversaciones directivas evitan: el filosófico.
No porque pretenda apartarnos de la realidad, sino porque obliga a examinar las convicciones desde las que construimos esa realidad.
Su advertencia es profundamente actual: el crecimiento del poder técnico no garantiza por sí mismo el desarrollo humano.
Podemos crear sistemas cada vez más inteligentes y, al mismo tiempo, volvernos menos capaces de reconocer el rostro de quienes reciben sus consecuencias.
Podemos perfeccionar los medios y olvidar el propósito.
Podemos hacer eficientemente aquello que nunca debimos hacer.
La inteligencia artificial no inventó este riesgo. Solamente lo volvió más rápido, más convincente y más difícil de detectar.
1. Preguntar qué entendemos por progreso
La reunión comenzó puntualmente.
El responsable financiero presentó el análisis. Explicó las proyecciones, los ahorros esperados y las probabilidades de recuperación.
Después habló el responsable de operaciones. Confirmó que el cierre era viable y que las actividades indispensables podían distribuirse entre otras áreas.
Nadie objetó los datos.
La recomendación parecía avanzar por sí sola hacia su aprobación.
Entonces alguien formuló una pregunta aparentemente simple:
—¿Qué problema estamos intentando resolver?
La respuesta inmediata fue: rentabilidad.
Pero la pregunta no terminó ahí.
¿La falta de rentabilidad provenía realmente de esa área?
¿Cerrar era la única alternativa?
¿Qué capacidades se perderían?
¿Qué problemas aparecerían dentro de seis meses, cuando ya no fuera posible recuperar el conocimiento acumulado?
¿La organización se volvería más sólida o solamente más pequeña?
La conversación cambió.
No porque los datos fueran incorrectos, sino porque habían sido generados a partir de una definición demasiado estrecha del problema.
Magnifica Humanitas propone evaluar el desarrollo tecnológico desde su contribución a la dignidad, la justicia, la fraternidad y el bien común. No rechaza la innovación; cuestiona la idea de que toda ganancia técnica representa automáticamente un avance humano.
Esta distinción es fundamental.
Una organización puede incorporar un sistema de atención automatizada y reducir drásticamente sus tiempos de respuesta. El resultado parecerá exitoso.
Pero si los clientes quedan atrapados entre opciones que no resuelven su problema, si desaparece la posibilidad de hablar con una persona y si las situaciones excepcionales son tratadas como errores del usuario, la eficiencia habrá comenzado a destruir el servicio que pretendía mejorar.
La tecnología habrá funcionado.
La decisión habrá fracasado.
El progreso no puede medirse solamente por aquello que hacemos más rápido. También debe evaluarse por lo que hacemos mejor, por las capacidades que fortalecemos y por las personas que dejamos fuera.
Reflexión: Cuando decimos que una tecnología representa un avance, ¿estamos describiendo sus capacidades o evaluando verdaderamente sus consecuencias?
Buenas prácticas
- Definir antes de incorporar una tecnología qué beneficio humano debe producir, además del resultado operativo.
- Evaluar qué capacidades, relaciones o posibilidades podrían debilitarse, aunque los indicadores iniciales mejoren.
- Mantener alternativas humanas para situaciones sensibles, excepcionales o difíciles de interpretar.
“Yo soy yo y mi circunstancia, y si no la salvo a ella no me salvo yo.” — José Ortega y Gasset
Esta tensión se relaciona con lo planteado en La IA y el criterio directivo: cómo decidir mejor: antes de preguntar qué puede hacer la tecnología, debemos identificar qué valor humano necesita ser protegido.
2. Reconocer lo que los datos no alcanzan a ver
En la sala apareció una nueva información.
El área que el análisis recomendaba cerrar tenía los indicadores de productividad más bajos. Eso nadie lo discutía.
Pero una gerente explicó algo que el informe no mostraba.
Era el área a la que se enviaban los casos que nadie más podía resolver.
Atendía reclamaciones complejas.
Recuperaba relaciones deterioradas.
Conservaba conocimiento sobre decisiones tomadas años atrás.
Ayudaba informalmente a otras áreas cuando los procedimientos dejaban de funcionar.
Nada de eso estaba registrado como productividad.
Para el sistema, eran horas costosas con una producción limitada.
Para quienes conocían la operación, era el último lugar al que se acudía cuando todo lo demás había fallado.
La recomendación no estaba equivocada.
Había respondido correctamente a una pregunta incompleta.
Ese matiz es decisivo.
La inteligencia artificial no conoce la realidad. Conoce la representación de la realidad que construimos mediante datos, instrucciones, categorías y objetivos.
Puede reconocer patrones dentro de esa representación con una capacidad extraordinaria. Pero no puede garantizar que hayamos incluido aquello que verdaderamente importa.
León XIV advierte que los sistemas de inteligencia artificial pueden imitar determinadas funciones humanas y superar nuestra velocidad de cálculo, pero no viven experiencias. No conocen desde dentro el trabajo, la amistad, el compromiso, el dolor ni la responsabilidad.
Una IA puede saber que una persona lleva veinte años en una organización. No sabe lo que esos veinte años significan.
Puede registrar cuántos clientes atiende. No comprende por sí misma la confianza que ha construido con ellos.
Puede calcular cuánto cuesta conservar un puesto. No experimenta la incertidumbre de quien depende de ese ingreso ni la responsabilidad de quien debe comunicarle la decisión.
Esto no significa que debamos abandonar los datos y volver a decidir mediante intuiciones.
Significa algo más exigente: debemos reconocer los límites de la representación antes de convertirla en sentencia.
En una empresa, un sistema puede identificar a un colaborador con resultados inferiores al promedio. Sin contexto, la conclusión será evidente.
Pero quizá atiende la región más compleja.
Quizá recibió una cartera deteriorada.
Quizá dedica parte de su tiempo a formar a sus compañeros.
Quizá los resultados de otras personas dependen, silenciosamente, de su trabajo.
¿Quién tiene la responsabilidad de descubrirlo?
No el algoritmo.
La persona que decide.
Reflexión: ¿Qué personas, relaciones o capacidades desaparecerían de nuestro análisis si solamente tomáramos en cuenta aquello que ya sabemos medir?
Buenas prácticas
- Separar los datos observados de las interpretaciones y recomendaciones producidas por el sistema.
- Conversar con las personas que viven la situación antes de tomar decisiones difíciles o irreversibles.
- Identificar expresamente qué dimensiones relevantes no están representadas en la información disponible.
“Obra de tal modo que trates a la humanidad, tanto en tu persona como en la de cualquier otro, siempre como un fin y nunca solamente como un medio.” — Immanuel Kant
El artículo Decisiones que la IA no debe tomar profundiza en esta frontera: una recomendación puede ser técnicamente consistente y, al mismo tiempo, equivocada para el contexto.
3. Decidir qué bien debe prevalecer
La reunión había dejado de ser sencilla.
Cerrar el área produciría ahorros importantes.
Conservarla sin cambios mantendría un problema financiero real.
Ambas posiciones podían defenderse.
Ambas tenían consecuencias.
Ese es el territorio en el que comienzan las decisiones verdaderamente directivas.
No cuando existe una alternativa correcta y otra evidentemente equivocada, sino cuando varios bienes legítimos entran en conflicto.
Rentabilidad y estabilidad laboral.
Velocidad y calidad.
Eficiencia y accesibilidad.
Resultado inmediato y capacidad futura.
Interés individual y bien común.
La inteligencia artificial puede construir escenarios para cada alternativa. Puede estimar costos, riesgos y probabilidades. Puede revelar consecuencias que la discusión humana había pasado por alto.
Pero no puede establecer por sí misma qué bien debe prevalecer.
Esa decisión requiere una idea previa de justicia.
El bien común, uno de los principios centrales de Magnifica Humanitas, no significa complacer a todos ni evitar cualquier afectación. Significa proteger las condiciones que permiten a las personas y a los grupos desarrollarse, participar y contribuir a un propósito compartido.
En una organización de la sociedad civil, por ejemplo, un sistema podría recomendar concentrar los recursos en los programas que atienden al mayor número de beneficiarios.
La lógica parece indiscutible: más personas atendidas por cada peso invertido.
Sin embargo, uno de los programas pequeños podría estar dirigido a una población con necesidades más graves, menor visibilidad y prácticamente ninguna alternativa disponible.
¿Qué sería más justo?
¿Atender a más personas o proteger a quienes quedarían completamente abandonados?
No existe una fórmula universal capaz de resolver el dilema.
La IA puede mostrarnos lo que ocurriría en cada escenario.
La decisión exige algo que la máquina no posee: una conciencia capaz de reconocer una obligación frente a otros.
Esto no vuelve innecesario el análisis. Lo vuelve más responsable.
Porque decidir desde principios no significa ignorar las consecuencias. Significa saber qué consecuencias estamos dispuestos a asumir y por qué.
Reflexión: Cuando dos resultados valiosos entran en conflicto, ¿qué principio utilizamos para decidir cuál debe prevalecer?
Buenas prácticas
- Identificar a todas las personas y grupos afectados, incluidos quienes no están presentes en la conversación.
- Hacer explícitos los conflictos entre rentabilidad, justicia, cobertura, calidad y sostenibilidad.
- Documentar el principio que fundamenta la decisión, no solamente el resultado esperado.
“La esperanza no es la convicción de que algo saldrá bien, sino la certeza de que algo tiene sentido, independientemente de cómo resulte.” — Václav Havel
4. Impedir que el sistema silencie a quien conoce la realidad
Una coordinadora que había permanecido en silencio pidió la palabra.
Conocía el área desde hacía doce años.
No negó los problemas.
Tampoco defendió su permanencia por lealtad emocional.
Explicó qué podía eliminarse, qué debía conservarse y qué actividades podían reorganizarse sin destruir la capacidad acumulada.
Propuso una alternativa que no aparecía en ninguno de los siete escenarios.
¿Por qué no estaba en el informe?
Porque nadie la había consultado antes de pedirle a la IA que encontrara una solución.
El sistema había trabajado con precisión sobre las opciones que recibió.
La mejor alternativa estaba fuera de ellas.
Este episodio revela otro riesgo: cuanto más confiamos en modelos centralizados, más fácil resulta excluir el conocimiento que se encuentra cerca de la realidad.
La subsidiariedad, otro principio desarrollado en la encíclica, sostiene que las decisiones deben tomarse en el nivel más próximo posible a quienes conocen y viven sus consecuencias, y trasladarse a instancias superiores cuando la naturaleza del problema así lo requiera.
Aplicado a la inteligencia artificial, este principio obliga a evitar que las personas se conviertan en simples ejecutoras de recomendaciones producidas lejos de su contexto.
Cuando nadie puede cuestionar una clasificación automática, la tecnología deja de apoyar el criterio.
Cuando un gerente debe obedecer al sistema incluso después de identificar información relevante que este no contempla, la organización pierde una capacidad mucho más importante que la eficiencia: pierde juicio.
Pero el extremo contrario también es peligroso.
Permitir que cualquier persona ignore una recomendación sin explicar sus razones abre la puerta a favoritismos, prejuicios y arbitrariedad.
No debemos escoger entre la obediencia al algoritmo y la intuición sin control.
Necesitamos procesos en los que las recomendaciones puedan cuestionarse, las excepciones deban fundamentarse y las decisiones dejen una huella comprensible.
La inteligencia artificial debería ampliar la conversación, no cerrarla.
Debería ayudarnos a formular mejores preguntas, no convertirse en la última respuesta.
Reflexión: ¿Las personas más cercanas a la realidad pueden cuestionar una recomendación automatizada o solamente están autorizadas para ejecutarla?
Buenas prácticas
- Definir qué decisiones puede sugerir el sistema, cuáles requieren validación humana y cuáles no deben automatizarse.
- Crear mecanismos formales para impugnar una recomendación mediante argumentos y evidencia.
- Revisar las excepciones para identificar información omitida, cambios en el contexto o limitaciones del modelo.
“Hemos modificado tan radicalmente nuestro entorno que ahora debemos modificarnos a nosotros mismos para poder existir en él.” — Norbert Wiener
Esta necesidad de cuestionar nuestras interpretaciones se desarrolla también en Decides mal por falta de criterio.
5. Identificar quién responderá cuando algo salga mal
La reunión estaba por terminar.
La alternativa había cambiado.
En lugar de cerrar completamente el área, se reorganizarían sus funciones, se eliminarían actividades que ya no aportaban valor y se conservarían las capacidades difíciles de reemplazar.
El ahorro sería menor.
La transición exigiría más trabajo.
El resultado financiero tardaría más en aparecer.
No era la solución más limpia ni la más rápida.
Era la que el grupo estaba dispuesto a sostener y explicar.
Antes de cerrar, el director hizo una última pregunta:
—Si esta decisión fracasa, ¿quién responderá por ella?
La sala quedó en silencio.
Hasta ese momento todos habían hablado de proyecciones, recomendaciones y escenarios. Nadie había utilizado la palabra responsabilidad.
Esa ausencia no es accidental.
Una de las grandes tentaciones de la inteligencia artificial consiste en convertirla en refugio.
Cuando una decisión produce buenos resultados, alguien reclama el mérito.
Cuando causa daño, la explicación cambia:
“El sistema lo recomendó”.
“Los datos indicaban esa alternativa”.
“El modelo asignó ese nivel de riesgo”.
“Era la opción estadísticamente más sólida”.
La responsabilidad comienza a disolverse entre desarrolladores, proveedores, usuarios, directivos y algoritmos.
Al final, nadie decidió.
Pero alguien recibió las consecuencias.
Magnifica Humanitas insiste en que la responsabilidad debe permanecer identificable durante todo el proceso: desde el diseño de los sistemas hasta la decisión de utilizarlos en una situación concreta.
Esto obliga a distinguir entre participación humana y responsabilidad humana.
Una persona que acepta una recomendación sin comprenderla no está ejerciendo criterio.
Una persona que firma una decisión preparada íntegramente por un sistema no la vuelve humana con su firma.
Una persona decide verdaderamente cuando comprende los fundamentos, conoce los límites, escucha a quienes serán afectados, compara alternativas y está dispuesta a responder por las consecuencias.
En una empresa u organización, antes de aprobar una reducción de personal, rechazar una solicitud, excluir a un candidato o retirar un servicio, alguien debería poder contestar preguntas básicas:
¿Por qué se tomó esta decisión?
¿Qué información se utilizó?
¿Qué información faltaba?
¿Qué alternativas se descartaron?
¿Quiénes serán afectados?
¿Qué principio justificó la elección?
¿Qué ocurrirá si la recomendación estaba equivocada?
¿Quién reparará el daño?
Si nadie puede responder, la decisión todavía no está lista.
Reflexión: ¿Estaría dispuesto a explicar personalmente esta decisión frente a quienes recibirán sus consecuencias, sin esconderse detrás del sistema?
Buenas prácticas
- Asignar un responsable humano claramente identificable para cada decisión apoyada por inteligencia artificial.
- Documentar el propósito, los datos, los supuestos, las alternativas descartadas y los riesgos aceptados.
- Establecer mecanismos de revisión, corrección y reparación cuando aparezcan errores o efectos no previstos.
“Obra de tal manera que los efectos de tu acción sean compatibles con la permanencia de una vida humana auténtica en la Tierra.” — Hans Jonas
Desarmar la inteligencia artificial
Al presentar Magnifica Humanitas, León XIV utilizó una expresión que resulta imposible ignorar:
La inteligencia artificial debe ser desarmada.
La frase puede interpretarse como una condena a la tecnología.
No lo es.
Desarmar la IA no significa quitarle capacidad, detener la innovación o renunciar a sus beneficios.
Significa impedir que el poder técnico se convierta automáticamente en poder sobre las personas.
Desarmarla de la vigilancia injustificada.
De la exclusión basada en datos incompletos.
De la manipulación.
De la opacidad.
De la posibilidad de negar trabajo, atención, seguridad o participación sin una explicación comprensible.
Pero desarmar la inteligencia artificial también exige desarmarnos nosotros.
De la fascinación por las respuestas inmediatas.
De la comodidad de delegar decisiones difíciles.
De la soberbia de creer que los datos eliminan la necesidad de escuchar.
De la tentación de llamar objetivo a todo aquello que coincide con nuestros intereses.
De la costumbre de convertir a las personas en variables que deben optimizarse.
La IA no tiene codicia.
No tiene ambición.
No desea dominar.
No decide que la rentabilidad vale más que la dignidad ni que una persona puede sacrificarse en beneficio de un indicador.
Esos propósitos no nacen en la máquina.
Los introducimos nosotros cuando definimos sus objetivos, seleccionamos sus datos, aceptamos sus recomendaciones o dejamos de cuestionar sus resultados.
Quizá la pregunta más incómoda no sea qué hará la inteligencia artificial con nosotros.
Quizá sea qué revelará sobre aquello en lo que ya nos habíamos convertido.
Cierre
Cuando terminó la reunión, el informe seguía sobre la mesa.
Los números no habían cambiado.
Lo que había cambiado era la comprensión de la decisión.
La inteligencia artificial había realizado correctamente su trabajo. Había comparado escenarios, identificado ahorros y mostrado una alternativa viable.
El error habría consistido en pedirle algo que no podía hacer:
Decidir qué debía ser protegido.
La IA puede mostrarnos caminos.
No puede determinar cuál merece recorrerse.
Puede anticipar consecuencias.
No puede establecer qué sacrificios serían injustos.
Puede descubrir contradicciones en nuestros argumentos.
No puede experimentar el peso de una decisión que cambia la vida de otra persona.
Puede ampliar nuestra inteligencia.
No puede proporcionarnos principios.
En una época fascinada por la capacidad de las máquinas, tendremos que recuperar preguntas que parecían antiguas:
¿Qué es una persona?
¿Qué le debemos a los demás?
¿Qué significa actuar con justicia?
¿Qué límites no estamos dispuestos a cruzar?
¿Qué clase de organización estamos construyendo con cada decisión?
La filosofía deja entonces de ser una conversación abstracta.
Entra en la sala de juntas.
Se sienta frente a los indicadores.
Interrumpe la presentación.
Y formula la pregunta que ningún algoritmo puede responder por nosotros:
¿Aunque podamos hacerlo, debemos hacerlo?
No necesitamos menos tecnología.
Necesitamos principios suficientemente sólidos para evitar que nuestras herramientas terminen definiendo aquello que nosotros dejamos de defender.