Una IA confundió una bolsa de Doritos con un arma, y ocho coches de policía terminaron rodeando a un adolescente

Los responsables de la tecnología, que vigila las escuelas del condado de Baltimore, insisten en que todo funcionó como se esperaba

Marcos Merino

Editor

Lo que para un adolescente de 16 años debía ser una tarde cualquiera después de un entrenamiento de fútbol americano terminó convertido en una escena de película de acción. Ocho coches patrulla, con sus correspondientes agentes de policía gritando "¡Al suelo!" pistola en mano, acababan de congregarse frente a la entrada del instituto Kenwood.

¿El motivo? Un algoritmo de IA del sistema de videovigilancia había identificado la forma de un arma de fuego en el bolsillo de uno de ellos.

Un error con consecuencias

El joven en cuestión era Taki Allen, estudiante del centro y jugador de su equipo de fútbol americano, que se encontraba charlando con sus amigos después de entrenar, y de pronto se vio rodeado de policías que le apuntaban con sus armas:

"Me dijeron que me tirara al suelo. Me esposaron. Pensé que me iban a matar".

La supuesta 'arma' que desató el operativo era, en realidad, una bolsa de Doritos sabor picante, que se encontraba arrugada en el bolsillo del pantalón del estudiante. El sistema de detección de armas, basado en inteligencia artificial y operado por la empresa Omnilert, había emitido una alerta automática al identificar la forma del envoltorio como un posible arma de fuego.

Horas más tarde, Allen lo recordaba así:

"Me mostraron la foto y dijeron: 'Esto parece una pistola'. Yo les respondí que 'No, son unas chips'".

Su abuelo, Lamont Davis, lo resumió de forma dramática, pero no errónea: "Dios no lo quiera, mi nieto podría estar muerto si se hubiera movido un poco".

El estudiante y el 'arma' protagonistas de la noticia (Imagen | WBFF FOX45 Baltimore)

La tecnología (y el protocolo) tras el error

El sistema implicado pertenece a Omnilert Gun Detection, implementado en 2024 en varias escuelas del condado de Baltimore. Según la compañía, su software "usa inteligencia artificial para analizar en tiempo real las imágenes de las cámaras de seguridad e identificar posibles armas", enviando alertas inmediatas a las autoridades.

En teoría, la detección es verificada por un operador humano antes de que la policía actúe. En la práctica, el incidente de Kenwood High demostró que el proceso puede fallar de manera grave. Omnilert calificó el suceso como un 'falso positivo', pero defendió que el sistema "funcionó según lo previsto", ya que "priorizó la seguridad y la verificación rápida por humanos".

Una "verificación" realizada, claro, tras sacar las armas frente a un instituto, no revisando la foto en el momento previo a dar el aviso a los agentes.

En cualquier caso, la explicación no convenció a la comunidad: padres y alumnos (respaldados por expertos en tecnología) se plantean ahora si un sistema con tal margen de error debería tener poder para desatar un operativo armado en un entorno escolar.

La organización que agrupa a las escuelas públicas del condado envió una carta a los padres ofreciendo servicios de asesoramiento, pero Allen asegura que nadie del colegio se comunicó con él directamente. "No se disculparon. Solo dijeron que era protocolo".

Debate sobre la IA y la vigilancia escolar

El caso ha reavivado un debate creciente sobre el uso de inteligencia artificial en contextos de seguridad pública y educativa. Si bien los defensores de la tecnología la presentan como una herramienta para prevenir tragedias —en un país donde los tiroteos escolares suponen una amenaza constante—, los críticos advierten que los sistemas de visión artificial aún cometen errores graves, especialmente en entornos con variables complejas como la iluminación, el movimiento o los reflejos.

Omnilert anunció que realizará una 'revisión exhaustiva' del incidente para mejorar la precisión de su sistema, aunque insistió en que su tecnología "está diseñada para asistir, no reemplazar, el juicio humano". Por su parte, el distrito escolar prometió reforzar los protocolos de verificación antes de remitir los avisos a las fuerzas de seguridad.

Vía | CBS News

Imagen | Marcos Merino mediante IA

En Genbeta | Monitorizar las pausas del baño llevó a la 'obediencia maliciosa' de todos los empleados y un coste que ya supera los 50.000 dólares 

Ver todos los comentarios en https://www.genbeta.com

VER Comentarios