Facebook ha anunciado los resultados de su primer Deepfake Detection Challenge , una competencia abierta para encontrar algoritmos que puedan detectar videos manipulados por IA. Los resultados, aunque prometedores, muestran que aún queda mucho trabajo por hacer antes de que los sistemas automatizados puedan detectar de manera confiable el contenido falso, y los investigadores describen el problema como un "problema sin resolver".
Facebook dice que el algoritmo ganador en el concurso fue capaz de detectar "ejemplos desafiantes del mundo real" de deepfakes con una precisión promedio de 65.18 por ciento. Eso no está mal, pero no es el tipo de éxito que desearías para cualquier sistema automatizado.
Deepfakes ha demostrado ser una amenaza exagerada para las redes sociales. Aunque la tecnología provocó muchas dudas sobre la erosión de la evidencia de video confiable, los efectos políticos de las falsificaciones profundas hasta ahora han sido mínimos . En cambio, el daño más inmediato ha sido la creación de pornografía no consensuada , una categoría de contenido que es más fácil de identificar y eliminar para las plataformas de redes sociales.
Mike Schroepfer, director de tecnología de Facebook, dijo a los periodistas en una llamada de prensa que estaba satisfecho con los resultados del desafío, que según él crearía un punto de referencia para los investigadores y guiaría su trabajo en el futuro. "Honestamente, el concurso ha sido más exitoso de lo que podría haber esperado", dijo.
Unos 2,114 participantes presentaron más de 35,000 algoritmos de detección a la competencia. Fueron probados en su capacidad para identificar videos falsos de un conjunto de datos de alrededor de 100,000 clips cortos. Facebook contrató a más de 3.000 actores para crear estos clips, que fueron grabados manteniendo conversaciones en entornos naturalistas. Algunos clips fueron alterados usando IA al pegar las caras de otros actores en sus videos.
Los investigadores tuvieron acceso a estos datos para entrenar sus algoritmos, y cuando se probaron en este material, produjeron tasas de precisión tan altas como 82.56 por ciento. Sin embargo, cuando se probaron los mismos algoritmos contra un conjunto de datos de "recuadro negro" que consiste en imágenes no vistas, tuvieron un rendimiento mucho peor, con el modelo con mejor puntuación logrando una tasa de precisión del 65,18 por ciento. Esto muestra que detectar deepfakes en la naturaleza es un problema muy desafiante.
Schroepfer dijo que Facebook actualmente está desarrollando su propia tecnología de detección de falsificación profunda separada de esta competencia. "Tenemos tecnología de detección de deepfake en producción y la mejoraremos en función de este contexto", dijo. La compañía anunció que estaba prohibiendo los deepfakes a principios de este año , pero los críticos señalaron que la amenaza mucho mayor a la desinformación era de los llamados "shallowfakes": videos editados con medios tradicionales.
Los algoritmos ganadores de este desafío se lanzarán como código de código abierto para ayudar a otros investigadores, pero Facebook dijo que mantendría en secreto su propia tecnología de detección para evitar que se realice una ingeniería inversa.
Schroepfer agregó que si bien las falsificaciones profundas "actualmente no son un gran problema" para Facebook, la compañía quería tener las herramientas listas para detectar este contenido en el futuro, por si acaso. Algunos expertos han dicho que las próximas elecciones de 2020 podrían ser un momento privilegiado para que las falsificaciones profundas se utilicen para una influencia política seria.
"La lección que aprendí por los últimos años es que quiero estar preparado de antemano y no ser atrapado", dijo Schroepfer. "Quiero estar realmente preparado para muchas cosas malas que nunca suceden en lugar de lo contrario".