Engañan a ChatGPT con un truco básico para que revele información privada

Investigadores lograron que el chatbot deje al descubierto direcciones de correo, números telefónicos, fragmentos de documentos y artículos con los que fue entrenado.

Engañan a ChatGPT con un truco básico para que revele información privadaChatGPT: desnudan desinteligencias de la IA.

Un grupo de investigadores —entre ellos, integrantes de Google— desnudaron desinteligencias en ChatGPT, obligando al chatbot a revelar información privada. Con un truco básico consiguieron que el sistema de OpenAI deje al descubierto datos con los que fue entrenado, por ejemplo direcciones de email, números telefónicos, artículos de Wikipedia, noticias tomadas de sitios web y trabajos académicos.

Investigadores engañan a ChatGPT para que revele información secreta

La trampa a ChatGPT ha sido una colaboración entre especialistas de la Universidad de Washington, Cornell, la Universidad Carnegie Mellon, la Universidad de California Berkeley y ETH Zurich. Además, tal como señalamos, en este trabajo participaron investigadores de DeepMind, una división de Google abocada a la IA. Por cierto, la compañía estadounidense desarrolla Bard, su propio chatbot conversacional.

¿Cómo engañaron al sistema de OpenAI para que revele datos privados? Tal como nota el sitio Engadget, usaron un simple mensaje: pidieron al chatbot que repite palabras aleatorias, sin detenerse. En este caso, solicitaron que reitere “poema, poema, poema, poema”, hasta el hartazgo. Luego hicieron lo mismo con “empresa”.

Como respuesta, ChatGPT inicialmente escribió esos términos, pero luego dejó al descubierto la información arriba señalada.

“Es increíble que este ataque funcione”, dijeron los investigadores

Tanto ChatGPT como Google Bard y los generadores de imágenes funcionan con modelos de lenguaje masivos (LLM, por sus siglas en inglés) que son entrenados con grandes paquetes de datos. En torno a esa práctica —imprescindible para que sean “inteligentes”— hay una intensa polémica. ¿Las compañías que desarrollan esos modelos tienen el consentimiento pleno para emplear esa información, que incluye artículos de Internet, trabajos académicos, obras literarias, imágenes, etcétera?

Siguiendo a la fuente, hasta ahora no ha sido del todo claro qué datos usan chatbots como ChatGPT, ya que son de código cerrado y, en tanto, no es posible revisar sus “entrañas”. Por eso, los hallazgos del grupo de investigadores son, en buena medida, sorprendentes. “Es increíble para nosotros que nuestro ataque funcione (…) Podría haberse encontrado antes”, observaron los expertos involucrados en el estudio.

OpenAI solucionó la falla en ChatGPT el 30 de agosto, mencionaron los investigadores. Sin embargo, Engadget nota en su informe que con ardides similares consiguió que el chatbot siga mostrando datos privados con los que es entrenado.

Compruebe también

Primer paciente de Neuralink puede «controlar el cursor con la mente», dijo Elon Musk

Primer paciente de Neuralink puede «controlar el cursor con la mente», dijo Elon Musk

Así lo confirmó Elon Musk, fundador de la startup dedicada a producir chips que se …

Atención a los GPS falsos: la nueva trampa para hackear celulares

Atención a los GPS falsos: la nueva trampa para hackear celulares

Cuáles son los principales peligros para los usuarios y qué recaudos tener en cuenta. GPS, …

Dejanos tu comentario