La cancelación de la publicación de una novela tras ser señalada como generada por inteligencia artificial reavivó el debate sobre la precisión de las herramientas de detección. Un informe de Wired y antecedentes de falsos positivos sustentan las dudas sobre su uso.
La novela de terror autopublicada en febrero de 2025 por la escritora estadounidense Mia Ballard iba a ser lanzada en Estados Unidos por la editorial Orbit Books. Según informó el director ejecutivo de Pangram, una empresa dedicada a la detección de contenido generado por inteligencia artificial, el libro contenía un 78% de texto producido por IA. Ballard negó las acusaciones, pero la publicación prevista para marzo fue cancelada. La edición británica, publicada por Hachette Book Group en noviembre del año pasado, fue retirada del mercado.
El medio Wired publicó un artículo que cuestiona el funcionamiento de Pangram. La empresa era prácticamente desconocida hasta principios de este año, cuando adquirió notoriedad tras evaluar el libro de Ballard. El informe señala que los detectores de IA presentan sesgos: un estudio citado indica que son más propensos a identificar como generadas por IA las obras de escritores no nativos de inglés. Escritores neurodiversos también afirmaron que sus patrones de escritura se marcan de forma desproporcionada.
La herramienta de Pangram, según el artículo de Wired, funciona peor con textos de menos de 100 palabras. La propia empresa admite que un mismo fragmento puede arrojar resultados diferentes según se analice de forma aislada o dentro de un contexto más amplio. El cofundador y director ejecutivo de Pangram, Max Spero, mostró desinterés durante la entrevista con Wired, según el medio.
Este no es el primer caso de falsos positivos en detectores de IA. En abril de este año, una consulta a un detector determinó que un fragmento de la novela Frankenstein, escrita por Mary Shelley hace dos siglos, era texto “100% generado por IA”.
Expertos explicaron que no existe una tecnología confiable para determinar si un texto fue generado por IA. Estas herramientas analizan la distribución estadística de las palabras y la comparan con la producida por modelos de lenguaje. Los modelos generan texto eligiendo la palabra más probable según el contexto, lo que produce estructuras formales y poca variación sintáctica. Los detectores miden esos patrones, pero muchos textos humanos presentan características similares, lo que genera riesgo de falsos positivos.