La empresa FoloToy decidió retirar de circulación su oso de peluche “Kumma”, además de suspender el resto de su línea de juguetes con inteligencia artificial, luego de detectarse conversaciones con contenido sexual explícito y orientaciones potencialmente peligrosas.
“La Argentina se está convirtiendo en algo mejor”. El gurú cripto que organizó la megaferia que dejará US$50 millones en la Ciudad
La medida fue confirmada por Larry Wang, CEO de la firma con sede en Singapur, quien explicó a CNN que la decisión respondió a preocupaciones planteadas por investigadores del Fondo Educativo PIRG de EE.UU., quienes documentaron fallas en los mecanismos de seguridad del producto.
Auditoría interna y fallas señaladas por el informe
Wang afirmó que la compañía inició una revisión interna para evaluar los protocolos de protección del juguete. “Kumma”, comercializado en el sitio web de la empresa por US$99, funcionaba con el sistema GPT-4o de OpenAI e incorporaba un altavoz que permitía diálogos y narraciones.
En la página oficial, el fabricante destacaba: “Kumma, nuestro adorable oso, combina inteligencia artificial avanzada con funciones interactivas y amigables, convirtiéndolo en el amigo perfecto tanto para niños como para adultos”. El portal también lo describía como un dispositivo que, «desde conversaciones animadas hasta cuentos educativos, se adapta a tu personalidad y necesidades, aportando calidez, diversión y un toque de curiosidad a tu día», aunque actualmente aparece como agotado.
El informe de PIRG, publicado el 13 de noviembre, detalló que el peluche respondía a temas sensibles sin filtros adecuados. En una conversación con los investigadores, sugirió lugares donde encontrar cuchillos dentro del hogar y, en otras instancias, aceptó mantener diálogos de índole sexual.
Ideal para el Black Friday. ChatGPT te ayuda en tus compras con el nuevo Shopping Research
El documento subraya: “Nos sorprendió la rapidez con la que Kumma tomaba un tema sexual que introdujimos en la conversación y lo desarrollaba, aumentando simultáneamente los detalles gráficos e introduciendo nuevos conceptos sexuales por su cuenta”. Los analistas también describieron que el juguete más tarde “abordó temas sexuales aún más explícitos con gran detalle, como explicar diferentes posturas sexuales, dar instrucciones paso a paso sobre un nudo básico para atar a una pareja y describir dinámicas de juegos de rol entre profesores y alumnos, y padres e hijos; escenarios que, de forma perturbadora, él mismo planteaba”.
Si bien los autores del informe indicaron que es improbable que un menor utilice términos como “perversión” o formule preguntas sofisticadas sobre sexualidad, señalaron que “sorprendió que el juguete estuviera tan dispuesto a hablar extensamente sobre estos temas e introducir continuamente conceptos nuevos y explícitos”.
Ofertas relámpago en TikTok y chatbots falsos. Cinco ciberestafas de las que protegerse este Black Friday
Reacción de OpenAI y advertencias del organismo investigador
En un comunicado adicional fechado el 14 de noviembre, PIRG afirmó que OpenAI les notificó que había “suspendido a este desarrollador por infringir” sus políticas. CNN indicó que se puso en contacto con la empresa tecnológica para obtener una respuesta oficial.
R.J. Cross, coautora del informe, valoró las acciones tomadas hasta el momento, aunque subrayó la falta de controles robustos en esta industria emergente. “Es estupendo ver que estas empresas toman medidas ante los problemas que hemos identificado. Sin embargo, los juguetes con IA siguen estando prácticamente sin regular, y todavía hay muchos que se pueden comprar hoy en día”, declaró. También añadió que “retirar un producto problemático del mercado es un buen paso, pero dista mucho de ser una solución sistémica”.
