El software de supervisión de ExamSoft tiene un problema de detección de rostros

Gabe Teninbaum, profesor de la Facultad de Derecho de la Universidad de Suffolk, está pidiendo a ExamSoft que solucione un error grave con su software de realización de pruebas: no reconocer rostros. Es un problema que puede retrasar a los examinados, o impedirles que comiencen sus exámenes por completo, y según los informes, afecta de manera desproporcionada a las personas con tonos de piel oscuros.

El software de ExamSoft registra a los estudiantes mientras completan exámenes remotos y monitorea en busca de signos de deshonestidad académica. El informe de Teninbaum aborda una función de ExamSoft llamada ExamID, cuyo objetivo es verificar que los examinados sean quienes dicen ser. La primera vez que un estudiante inicia sesión en su portal de exámenes, carga una foto de sí mismo (su "imagen de referencia"); luego se les pide que se tomen otra selfie antes de comenzar los exámenes futuros, que el software compara con su foto original.

La investigación ha encontrado que los algoritmos de reconocimiento facial cometen constantemente más errores al identificar caras negras que blancas. Y aunque esos estudios no se centraron específicamente en ExamSoft, no parece ser una excepción. En septiembre, varios examinadores que no eran blancos le dijeron al New York Times que el software no podía identificarlos debido a la “mala iluminación”, un problema que Teninbaum, que tiene la piel clara, no pudo replicar.

A principios de este otoño, Teninbaum se propuso encontrar una solución. Él cree que tales errores agregan estrés indebido a un período de tiempo que ya es estresante. "Estos son estudiantes que están a punto de tomar un examen de alto riesgo con mucho en juego, y eso es muy desagradable", dijo Teninbaum en una entrevista con The Verge.

“Cada vez que vas a un examen, solo quieres concentrarte en el examen”, agregó. "No quieres sentir que tienes estos desafíos adicionales".

Teninbaum también cree que la óptica es importante; las escuelas deben a los estudiantes marginados no depender de una categoría de software que se sabe que es discriminatoria. “Los estudiantes merecen sentir que su institución está haciendo lo que puede para proteger sus derechos, intereses y dignidad”, dice.

En su informe , que se publicará próximamente en The Journal of Robotics, Artificial Intelligence, and Law , Teninbaum describe la solución que encontró.

Sugiere que las escuelas asignen a cada estudiante una imagen de referencia genérica idéntica. Luego, propone, deberían pedir a ExamSoft que habilite la "identificación diferida", una función integrada en el software que permite a los estudiantes continuar con los exámenes incluso si la identificación falla. Esta función está básicamente oculta, no se menciona en ninguna parte del sitio web de ExamSoft (al menos, no que yo pudiera encontrar). Solo ExamSoft puede activarlo.

En conjunto, estos ajustes harán que ExamSoft identifique erróneamente a todos los examinados. Pero aún podrán continuar con sus exámenes: ExamSoft enviará las selfies a la escuela después, y los instructores pueden verificar a todos manualmente. “Sabemos quiénes son nuestros estudiantes”, dice Teninbaum. "Podemos asegurarnos de que los estudiantes sean quienes dicen ser y evitar someter a los estudiantes a este tipo de desafíos".

También sugiere que ExamSoft haga que la función de "identificación diferida" sea accesible para los clientes. “El periodista insta a ExamSoft a incorporar esto en una función mediante la cual las instituciones pueden simplemente activar / desactivar, pasando por alto ExamID hasta que la tecnología madure y se convierta en una que no discrimine”, dice su informe.

Teninbaum espera que esos cambios duren más allá de la pandemia de COVID-19 y puedan ayudar a los estudiantes a sentirse más cómodos tomando clases remotas. “Va a ser un problema creciente a medida que las personas se conecten cada vez más a Internet para su educación”, dice.

Aun así, solo ha solucionado una parte del problema. Los estudiantes han experimentado una serie de contratiempos con el software de supervisión de ExamSoft. Más de 3,000 personas que usaron la plataforma para tomar el examen de abogados de California en octubre vieron sus videos marcados por posibles violaciones a las reglas, casi el 36 por ciento de los solicitantes que tomaron el examen en línea. Los usuarios informaron problemas de audio y otros problemas técnicos también.

Un grupo de seis senadores estadounidenses, incluidos Richard Blumenthal, Elizabeth Warren y Corey Booker, escribieron una carta abierta a ExamSoft en diciembre, destacando los posibles daños para los estudiantes de color y los estudiantes con discapacidades, entre muchas otras preocupaciones.

ExamSoft no respondió de inmediato a una solicitud de comentarios.