Escondido en una nota a pie de página de dos oraciones en una voluminosa opinión judicial, un juez federal recientemente denunció a los agentes de inmigración por usar inteligencia artificial para escribir informes sobre el uso de la fuerza, lo que generó preocupaciones de que podría conducir a inexactitudes y erosionar aún más la confianza pública en cómo la policía ha manejado la ofensiva migratoria en el área de Chicago y las protestas subsiguientes.

La jueza federal de distrito Sara Ellis escribió la nota a pie de página en una opinión de 223 páginas emitida la semana pasada, señalando que la práctica de usar ChatGPT para redactar informes sobre el uso de la fuerza socava la credibilidad de los agentes y "podría explicar la inexactitud de estos informes". Describió lo que vio en al menos un video de una cámara corporal, y escribió que un agente le pide a ChatGPT que compile la narrativa de un informe después de proporcionar al programa una breve descripción y varias imágenes.

El juez observó discrepancias fácticas entre la versión oficial sobre las respuestas de las fuerzas del orden y lo que mostraban las imágenes de las cámaras corporales. Sin embargo, los expertos afirman que el uso de IA para redactar un informe basado en la perspectiva específica de un agente sin tener en cuenta su experiencia real es el peor uso posible de la tecnología y plantea serias dudas sobre la precisión y la privacidad.

La perspectiva necesaria de un oficial

Las fuerzas del orden de todo el país han estado lidiando con la creación de barreras que permitan a los agentes utilizar la tecnología de inteligencia artificial, cada vez más disponible, manteniendo la precisión, la privacidad y el profesionalismo. Los expertos afirmaron que el ejemplo mencionado en el dictamen no cumplía con ese requisito.

“Lo que hizo este tipo es lo peor de lo peor. Darle una sola frase y unas cuantas imágenes —si es cierto, si eso es lo que pasó aquí— contradice todos los consejos que tenemos. Es una pesadilla”, dijo Ian Adams, profesor adjunto de criminología en la Universidad de Carolina del Sur, quien forma parte de un grupo de trabajo sobre inteligencia artificial del Consejo para la Justicia Penal, un grupo de expertos independiente.

El Departamento de Seguridad Nacional no respondió a las solicitudes de comentarios y no estaba claro si la agencia tenía directrices o políticas sobre el uso de IA por parte de los agentes. Las imágenes de la cámara corporal citadas en la orden aún no se han publicado

Adams afirmó que pocos departamentos han implementado políticas, pero aquellos que sí lo han hecho suelen prohibir el uso de IA predictiva al redactar informes que justifican las decisiones de las fuerzas del orden, especialmente los informes sobre el uso de la fuerza. Los tribunales han establecido un estándar denominado razonabilidad objetiva al considerar si el uso de la fuerza estuvo justificado, basándose en gran medida en la perspectiva del agente en cada situación específica.

“Necesitamos los hechos específicos de ese incidente y las ideas específicas de ese agente para saber si se trató de un uso justificado de la fuerza”, dijo Adams. “Ese es el peor escenario posible, salvo que se le pida explícitamente que invente hechos, porque le estás rogando que los invente en esta situación tan delicada”.

Información privada y evidencia

Además de generar inquietudes acerca de un informe generado por IA que caracteriza de manera incorrecta lo sucedido, el uso de IA también plantea posibles preocupaciones sobre la privacidad.

Katie Kinsey, jefa de personal y asesora de políticas tecnológicas del Proyecto de Policía de la Facultad de Derecho de la Universidad de Nueva York, dijo que si el agente en la orden estaba usando una versión pública de ChatGPT, probablemente no entendió que perdió el control de las imágenes en el momento en que las subió, lo que les permitió ser parte del dominio público y potencialmente utilizadas por malos actores.

Kinsey afirmó que, desde una perspectiva tecnológica, la mayoría de los departamentos están desarrollando el avión a medida que vuela en lo que respecta a la IA. Añadió que es habitual en las fuerzas del orden esperar hasta que ya se estén utilizando las nuevas tecnologías y, en algunos casos, se cometan errores, para entonces hablar sobre la implementación de directrices o políticas.

“Preferiría hacer las cosas al revés, entendiendo los riesgos y estableciendo barreras para protegerlos”, dijo Kinsey. “Aunque no estén estudiando las mejores prácticas, hay opciones más fáciles de alcanzar que podrían ayudar. Podemos empezar por la transparencia”.

Kinsey dijo que mientras las autoridades federales consideran cómo se debe usar o no usar la tecnología, podrían adoptar una política como las implementadas recientemente en Utah o California, donde los informes policiales o las comunicaciones escritas usando IA deben estar etiquetadas.

Uso cuidadoso de nuevas herramientas

Las fotografías que utilizó el oficial para generar una narrativa también provocaron preocupaciones sobre la precisión de algunos expertos.

Empresas tecnológicas reconocidas como Axon han comenzado a ofrecer componentes de IA con sus cámaras corporales para facilitar la redacción de informes de incidentes. Estos programas de IA comercializados para la policía operan en un sistema cerrado y se limitan principalmente al uso del audio de las cámaras corporales para producir narrativas, ya que las empresas han afirmado que los programas que intentan usar imágenes no son lo suficientemente eficaces.

“Hay muchas maneras diferentes de describir un color, una expresión facial o cualquier componente visual. Si preguntas a cualquier experto en IA, te dirá que las indicaciones arrojan resultados muy diferentes entre las distintas aplicaciones de IA, y esto se complica con un componente visual”, afirmó Andrew Guthrie Ferguson, profesor de derecho en la Facultad de Derecho de la Universidad George Washington.

También hay cuestiones de profesionalismo. ¿Nos parece bien que la policía utilice análisis predictivo? —añadió—. Se trata de lo que el modelo cree que debería haber sucedido, pero que podría no ser lo que realmente ocurrió. No queremos que sea lo que acabe en los tribunales para justificar nuestras acciones.

(Foto AP/Erin Hooley, archivo)

Por  CLAUDIA LAUER