Queda una sola cama de terapia intensiva y dos personas la necesitan. Una tiene mayores probabilidades de sobrevivir; la otra se encuentra en una situación más urgente y ha tenido menos acceso a servicios médicos a lo largo de su vida. Imaginemos que una inteligencia artificial debe ayudar a determinar quién pasa primero. Podría favorecer el mejor pronóstico, atender el peligro más inmediato, corregir desigualdades anteriores o respetar el orden de llegada. Todas esas reglas pueden defenderse como justas. El problema es que no expresan la misma idea de justicia.

La justicia es solo el ejemplo más visible de una dificultad que atraviesa a los sistemas de inteligencia artificial cuando clasifican, recomiendan, priorizan o producen resultados conforme a criterios humanos. Un sistema de contratación requiere alguna idea de mérito; uno que modera contenidos, una definición de daño; uno que distribuye apoyos, criterios para reconocer la necesidad; uno que recomienda información, una forma de decidir qué merece atención. La herramienta no recibe estos conceptos en toda su amplitud. Recibe datos, ejemplos, etiquetas, instrucciones y evaluaciones que representan una manera particular de entenderlos.

En el hospital, el dilema existe antes de que la máquina intervenga. Para algunas personas, una decisión justa debe salvar al mayor número posible; para otras, proteger primero a quien se encuentra en peor situación. También puede sostenerse que todos deben someterse al mismo criterio o que la decisión debe considerar las desigualdades que condicionaron el acceso previo a la atención. Ningún cálculo técnico resuelve por sí solo esa discusión. Elegir una regla significa tomar posición dentro de ella.

Sin embargo, una inteligencia artificial no puede quedarse en el desacuerdo. Para ordenar casos, alguien debe convertir una de esas posiciones en datos, categorías, prioridades y umbrales. Si se privilegia la probabilidad de supervivencia, el pronóstico tendrá mayor peso; si se prioriza la urgencia, importará la gravedad inmediata; si se busca corregir desventajas anteriores, habrá que incorporar información sobre acceso a servicios o exclusión territorial. A este proceso de transformar una idea amplia en criterios observables y aplicables se le llama operacionalización. Pero operacionalizar la justicia no significa descubrir su definición correcta: significa escoger una interpretación suficientemente concreta para que una herramienta pueda ejecutarla. La misma tensión aparece al enseñar a una IA qué significa mérito, riesgo, seguridad, calidad o relevancia.

Incluso después de escoger una interpretación, surge otra dificultad: estos conceptos son difíciles de medir. La necesidad de una persona no está contenida por completo en su ingreso, edad, diagnóstico o código postal. El mérito tampoco se resume en una calificación; el riesgo, en los antecedentes disponibles; ni la calidad de una conversación, en el número de interacciones. Hay circunstancias que nunca fueron registradas y experiencias que no caben en una categoría. Los sistemas trabajan con indicadores que representan la realidad de manera parcial. Cambiar el indicador puede cambiar quién recibe una oportunidad, quién aparece como peligroso o qué contenido se vuelve visible.

Por eso, medir no es una operación neutral posterior al debate: forma parte del debate mismo. Si la justicia se mide mediante el número de vidas salvadas, otras consideraciones pasarán a segundo plano. Si el mérito se mide por resultados anteriores, pueden desaparecer las desigualdades que los condicionaron. Si la seguridad se mide eliminando cualquier contenido conflictivo, también puede reducirse el espacio para la crítica. Los datos no ofrecen espontáneamente estas respuestas. Alguien decide qué observar, qué comparar y qué resultado considerar aceptable. La máquina puede aplicar esa decisión con consistencia y a gran escala, pero la consistencia no elimina la posición política que contiene.

Además, las definiciones cambian. Lo que una institución consideraba justo, meritorio o seguro puede revisarse cuando nuevas experiencias sociales hacen visibles daños antes ignorados. Las políticas públicas han aprendido a reconocer el trabajo de cuidados, la discapacidad, las barreras territoriales y distintas formas de discriminación. También han cambiado nuestras ideas sobre privacidad, violencia, inclusión y libertad de expresión. Actualizar un sistema no consiste solo en darle información reciente: exige revisar si seguimos entendiendo de la misma manera aquello que fue diseñado para reconocer. Pero los sistemas no evolucionan automáticamente junto con la sociedad. Una interpretación anterior puede quedar fijada en bases de datos y modelos que siguen tomando decisiones aun cuando el discurso institucional ya promete otra cosa.

El debate sobre los valores de la inteligencia artificial no puede limitarse a corregir errores técnicos.Constantemente se advierte que los esfuerzos por construir algoritmos “justos” o “imparciales” pueden perfeccionar la herramienta sin cuestionar las relaciones históricas y estructurales de poder dentro de las cuales opera. Tampoco basta con transferir una decisión humana a una máquina y suponer que solo aumentó la velocidad. Cuando una función pasa de una persona a un sistema, también pueden cambiar la responsabilidad y la posibilidad de cuestionar el resultado.

Reconocerlo no obliga a rechazar la inteligencia artificial ni a abandonar toda medición. Obliga a impedir que una interpretación temporal y parcial se presente como definitiva. Las instituciones deben explicar qué entienden por justicia, mérito, riesgo o seguridad; por qué eligieron determinados indicadores; qué dimensiones quedaron fuera y cuándo revisarán sus criterios. También deben permitir que las personas cuestionen una decisión y muestren aquello que los datos no representaron. Frente a una sola cama y dos vidas, una inteligencia artificial puede ordenar información y asignar una prioridad. Lo que no puede hacer es decidir, sin nosotros y en silencio, qué idea de justicia merece gobernar la elección.