A FoloToy, empresa de brinquedos infantis, está retirando do mercado o ursinho de pelúcia Kumma, equipado com inteligência artificial, depois que o produto passou a fornecer conselhos de teor sexual e abordar temas considerados perigosos para crianças.

As falhas foram identificadas por pesquisadores do Public Interest Research Group (PIRG), que testaram três dispositivos infantis com chatbots de IA.

Nos testes, o Kumma chegou a dar dicas sobre “como ser um bom beijador” e a explicar diferentes fetiches. Em outra interação, o brinquedo alertou que fósforos são para adultos, mas em seguida descreveu passo a passo como acendê-los.

Dos brinquedos que testamos, o Kumma da FoloToy foi o mais disposto a oferecer informações sexualmente explícitas e respondeu perguntas sobre onde encontrar objetos perigosos, como facas, comprimidos e fósforos

pesquisadores do Public Interest Research Group (PIRG)

Empresa suspende vendas e anuncia auditoria

Após a divulgação do estudo, o diretor de marketing da FoloToy, Hugo Wu, afirmou, conforme divulgado pelo portal Futurism, que a companhia decidiu suspender temporariamente as vendas do Kumma e iniciar uma auditoria interna de segurança abrangente.

O executivo também agradeceu aos pesquisadores por terem apontado os riscos potenciais associados ao brinquedo, ressaltando que esse tipo de alerta contribui para aprimorar o produto.

Brinquedo usava tecnologia da OpenAI

No próprio site, a FoloToy informava que o Kumma era alimentado pelo GPT-4o, modelo de inteligência artificial da OpenAI, empresa responsável pelo ChatGPT.

A descrição do produto destacava que o ursinho foi desenvolvido para “alimentar a curiosidade por meio de atividades envolventes e conversas reflexivas” e que contava com controles fáceis de usar para personalizar e monitorar a experiência da criança.