Home Técnica Probé la nueva herramienta de detección de IA de Substack y en...

Probé la nueva herramienta de detección de IA de Substack y en su mayoría funciona

22

Cada vez más queremos saber: ¿Es humano o es IA? ¿Es esa imagen real? ¿Esa canción? ¿Ese vídeo? La plataforma de publicación Substack está intentando agregar algo de claridad Detector de IA en asociación con Pangram Ayudar a los lectores a comprender cuánta IA hay en el contenido que consumen en la plataforma de publicación.

La herramienta está disponible para todos los clientes de Substack y funciona en publicaciones, notas, comentarios y respuestas de más de 100 palabras publicadas a partir del martes. Los creadores podrán escanear sus borradores con Pangram para ver cuánta IA se ha detectado y también proporcionar una declaración que explique su proceso de escritura, dijo Substack.

Los usuarios de Web e iOS pueden probar las funciones de Pangram ahora y los usuarios de Android tendrán acceso más tarde.

en una publicación de blog Al anunciar la nueva función, el cofundador y director ejecutivo de Substack, Chris Best, dijo que su plataforma tiene como objetivo evitar la “pesca en la nube”, que es cuando un lector consume contenido sin darse cuenta de que fue creado por IA.

“Cuando los lectores tienen que preguntarse si lo que están leyendo es real, esto socava la confianza en el autor y amenaza el sustento de los autores, incluidos aquellos que utilizan cuidadosamente herramientas de inteligencia artificial para crear trabajos en los que confían”, escribió Best.

De CNET: La decadencia de la IA está destruyendo Internet. Esta es la gente que lucha para salvarlo.

Pangram hace conjeturas aproximadas 40% mensajes de texto en algunas plataformas de redes sociales Gen de IAEl sitio de networking LinkedIn lo calificó con una sorprendente cifra de dos tercios. Y la agencia de crecimiento de IA Graphite publicó recientemente un documento técnico que afirma que la IA ahora está escribiendo Tantos artículos online como personas. Una encuesta de Gartner encontró que el 68% de las personas Se pregunta si el contenido que están viendo es real.Y la mitad de los consumidores prefieren marcas que no utilizan IA en su marketing.

Probándolo por mí mismo

Recientemente me uní a SubStack, pero quería probar la nueva herramienta de detección de Pangram AI. La herramienta funciona en publicaciones, notas, comentarios y respuestas, por lo que decidí utilizar las publicaciones como mi laboratorio de pruebas temporal. Primero, inicié sesión en mi cuenta de Substack y publiqué una nueva publicación. Copié y pegué texto de un artículo que escribí en Substack Post (solo, sin IA) y lo publiqué.

Después de unos minutos hice clic en la publicación en vivo. En el menú de tres puntos en la parte superior derecha de la página, vi la opción “Buscar texto AI”. Hice clic en él y apareció una pequeña ventana anunciando correctamente que mi artículo estaba “totalmente escrito por humanos”. Aparece una línea debajo que indica el porcentaje de IA, texto humano o asistido por IA.

Continué con la misma publicación, pero agregué un párrafo largo, completamente generado por IA, que pegué desde ChatGPT. Cuando “busco texto de IA”, la herramienta informa que el 10% de los artículos están escritos por IA, una estimación bastante precisa.

Más tarde publiqué una publicación totalmente generada por IA y el escaneo la identificó correctamente como 100% generada por IA.

Para otra prueba, agregué algunas oraciones generadas por IA a una publicación que por lo demás era contenido enteramente humano, y el escaneo la identificó como 100% generada por humanos. Cerca, pero no del todo bien. Entonces, la herramienta Pangram funcionó bastante bien para mis pruebas básicas.

Imagen de la subpila de la herramienta de detección Pangram AI
Cómo utilizar Pangram para identificar contenido de IA.subpila

Aunque estaba bastante satisfecho con lo bien que funcionó el sistema de detección de IA de Substack en mi propio contenido, me decepcionó saber que uno de mis podcasters-bloggers favoritos aparentemente utilizó IA completa en su última publicación. Sin embargo, otros autores que revisé utilizaron texto enteramente generado por humanos.

¿Qué pasa con los falsos positivos?

En su anuncio, Best reconoció que la herramienta de detección de IA “no es perfecta”, pero citó una investigación independiente que encontró el software de Pangram. 97,5% correcto Reconocimiento de texto AI completamente generado. La Universidad de Maryland descubrió que Pangram tenía una precisión del 99,3% al identificar “texto generado por IA humana”, lo que básicamente significa que un humano reescribió o parafraseó el contenido de la IA.

Es comprensible que los autores de substacks que no utilizan IA estén preocupados por ser etiquetados erróneamente como autores asistidos por IA. En consecuencia, el riesgo de falsos positivos es un factor importante. Substack dijo que los creadores pueden escanear su contenido para ver si se etiquetará como que contiene IA mientras esté en forma de borrador. Si Pangram detecta incorrectamente texto AI, el creador puede informar el error a Substack y eliminar el escaneo falso.

Para promover una mayor transparencia, los editores ahora pueden incluir una declaración de “cómo lo hago” si quieren que los lectores sepan cuánta IA, si es que usaron alguna, han usado en su contenido. Best dijo que la IA no puede identificar si se utilizó para recopilar información o como fuente de artículos escritos.

“No estamos en contra del uso de la IA para ayudarlos en su trabajo, y creemos que las personas deberían tener la libertad de elegir qué herramientas usar para expresarse”, dijo Best. “Pero la gente debería saber lo que está recibiendo”.

Enlace fuente