Las noticias falsas se han convertido en un problema cada vez más predominante, y en los últimos años una serie de avances tecnológicos basados en inteligencia artificial, lamentablemente han conseguido multiplicar la seriedad de esta amenaza.
Son tecnologías que tienen mucho potencial para el bien, pero que están siendo explotadas para el mal. Imágenes, sonido y vídeos falsos, los famosos 'deepfakes', empiezan a inundar las redes sociales, y el problema más grave que tenemos ahora es que son más difíciles de detectar de lo que se piensa, mientras las técnicas que utilizan no paran de avanzar.
Cuando es difícil detectar más del 80% de los vídeos manipulados
En Genbeta hablamos con Andres Torrubia, cofundador y CEO de Fixr.es, conocido en Twitter como @antor, donde constantemente publica recursos sobre un tema que le apasiona: la inteligencia artificial, el machine learning y deep learning.
Andres, que ha llegado a disputar las más importantes competiciones a nivel mundial sobre IA con equipos punteros de China y Estados unidos, comentaba recientemente desde su cuenta que hace pocos días se había terminado una de las mayores competiciones del mundo para detectar deepfakes: Kaggle, y los resultados nos dejan una reflexiones preocupantes.
Hace unos días terminó en @kaggle una de las competiciones con mayores premios 1 millón de $ en total, el problema: la detección de DEEP FAKES (ultrafalsos en castellano).
— Andres Torrubia (@antor) April 7, 2020
Os cuento mis reflexiones 👇 pic.twitter.com/kh7JrsUl8Y
En su hilo Andres explica que las mejores puntuaciones de los expertos que participaron en esta competición para detectar deepfakes tienen una tasa de acierto de alrededor del 80%, que puede sonar alto, pero estamos hablando de vídeos falsos que son prácticamente imposibles de distinguir de uno real para cualquier persona promedio.
Esto además choca con las tasas de detección de deepfakes en la mayoría de artículos académicos publicados, que rondan hasta el 99%. La razón de esto: el conjunto de datos usados.
"En el aprendizaje automático y aprendizaje profundo hay una palabra clave que es generalizar. Generalizar consiste en que el sistema que has entrenado con el conjunto de datos que usas para entrenar (conjunto de entrenamiento) luego ha de funcionar igual de bien con datos reales (en este caso deepfakes que encuentres por ahí).
En muchos artículos académicos el conjunto de datos que usan para probar los sistemas de detección de deepfakes es muy similar al que usan para entrenar, y por eso ves tasas de acierto altísimas; pero eso no se da luego en la realidad; entre otras cosas porque los sistemas para generar deepfakes evolucionan.
Para qué sirven los sistemas de detección de deepfakes hoy
Por ahora la gran mayoría de los deepfakes online son porno pero cada vez preocupan más los de carácter electoral, el potencial para la manipulación viral en el ámbito político es cada vez más alarmante. Solo hay que ver los avances a través de parodias como 'Equipo E', un viral de los líderes políticos españoles que demuestra que estos vídeos son ya imparables.
El gran problema aquí es que los ciudadanos vamos a depender de algoritmos de detección creados por estos expertos que no dejen colar hasta el 20% de los deepfakes, el daño que esto puede causar a las sociedades es enorme. Y ese 20% no se va a parar ahí, porque como explica Andres, los sistemas siguen evolucionando.
El reto es establecer si los sistemas que detectan deepfakes hoy van a servir para detectar deepfakes que se hagan con técnicas que aparezcan en los próximos dos o tres meses.
Los autores de los artículos académicos escogen los conjuntos de datos sobre los que entrenan y también sobre los que validan los resultados; en muchos casos los conjuntos sobre los que validan no representan los peores escenarios en la realidad.
Aunque pueda ser un poco polémico decirlo, en investigación se considera buen resultado superar las prestaciones reportadas por otro grupo de investigación así que no hay un gran incentivo en que tú mismo como investigador te pongas un conjunto de validación mucho más difícil que el que se han puesto otros investigadores.
Cómo se trabaja para combatir esto
Aquí es donde entra la importancia de competiciones como Kaggle, los organizadores del desafío deepfake ahí son empresas como Facebook, Amazon, Microsoft y más, incluyendo un comité que incluye investigadores de la comunidad universitaria y que conocen claramente la situación actual.
Torrubia nos explica que el uso de competiciones es muy interesante para catalizar innovaciones porque se premian resultados, no esfuerzo. Esas tasas de detección de 80% vienen dadas porque los participantes no tienen acceso a los deepfakes con los que van a probar su algoritmo; ni siquiera pueden de verlos.
"Esto es crítico porque se parece mucho a la realidad: en la práctica tu algoritmo ha de funcionar bien con cualquier vídeo, no sólo con los que tu mismo hayas decidido a priori; y la mejor manera de verificar esto es hacerlo como lo han hecho".
También está el componente monetario: "En total hay $1 millón de dólares en premios. Además de la propia reputación que te daría quedarte en buena posición ganando el premio, los premios son sustanciosos como para atraer tanto a expertos en el problema en sí como a otros participantes de cualquier ámbito".
La detección de deepfakes es un problema no resuelto, y que se convierta también en un juego del gato y el ratón en el que los falsificadores llevan ventaja. Mientras más avanzan las técnicas para crear los vídeos, más deben avanzar los algoritmos capaces de detectarlos. Y nosotros, ya no podemos creer en todo lo que vemos o escuchamos.
Imagen de portada: Deeptrace
Ver 1 comentarios