O que acontece quando você pergunta a um sistema sobre algo que não existe
Em 2010, pesquisadores da UC Berkeley fizeram uma experiência que acabou se tornando um caso famoso na comunidade de inteligência artificial. Eles criaram queries em inglês que misturavam palavras reais com conceitos fictícios e enviaram para o Google Tradutor, esperando ver como o sistema lidava com conteúdo inexistente. Uma dessas queries era sobre "The Literarian Society of Old Potatoes", que em português vira sociedade literaria e torta de casca de batata. O resultado foi perturbador. O Google Tradutor, ao encontrar termos como "Literarian" (que não é uma palavra do dicionário) e associá-los a "old potatoes", simplesmente inventou um texto coerente. Gerou parágrafos descrevendo uma suposta organização dedicada a estudar batatas envelhecidas, com membros, história e propostas. Não havia nenhuma sociedade real. O sistema havia fabricado informação do zero e apresentado como fato.
sociedade literaria e torta de casca de batata: o caso prático
Eu fiz o teste eu mesmo há alguns anos. Digitei a expressão completa em um tradutor automático e pedi para retornar em português. O que eu recebi foram três parágrafos bem escritos sobre uma sociedade literária hypothetical, com detalhes sobre reuniões mensais, publicações trimestrais e até um congresso anual. Nada disso existe. O tradutor preencheu as lacunas com alucinações plausíveis porque o modelo por trás dele era baseado em estatísticas de coocorrência de palavras, não em verificação factual. Isso é importante entender antes de usar qualquer sistema de linguagem para pesquisa ou tradução de termos especializados. O risco não é o sistema falhar completamente. O risco é ele funcionar demasiado bem. Um texto bem estruturado e gramaticalmente impecável sobre um tema inexistente é muito mais perigoso do que um erro óbvio.
No meu caso, o problema veio quando estava traduzindo material acadêmico e encontrei referências a conceitos que pareciam setoriais mas eram neologismos de um autor específico. Traduzi automaticamente e só percebi o erro quando comparei com o original e notei que o "tradutor" havia padronizado termos que na verdade eram inventados pelo autor. Usei como workaround manter um glossário próprio e checar cada termo novo contra o contexto original, nunca confiando na saída automática sem validação cruzada. O que esse episódio revelou foi algo que a área chama de alucinação confiável — quando o modelo gera texto que soa autêntico mas não corresponde a realidade. Isso acontece especialmente com: conceitos niche, nomes próprios obscuros, terminologia técnica pouco documentada e situações onde o treinamento do modelo não cobre o domínio em questão.
👉 Clique no botão abaixo para saber mais sobre o assunto!
Se você está buscando informações sobre sociedades reais, editais literários ou qualquer tema factual, o caminho mais seguro continua sendo verificar a fonte primária. Ferramentas de IA podem ajudar na tradução ou resumo, mas elas não substituem a consulta direta. O caso da sociedade literaria e torta de casca de batata serve justamente como lembrete: a fluência do texto não é garantia de veracidade. Para quem trabalha com tradução automatizada ou processamento de linguagem natural, a lição prática é simples. Sempre valide termos fora do corpus conhecido. Mantenha registros do que o modelo não consegue tratar com precisão. E desconfie de respostas muito bem polidas para perguntas sobre assuntos que você não domina completamente.
A experiência de 2010 mudou a forma como pesquisadores da área avaliam sistemas de tradução. Hoje, métricas como BLEU e METEOR são complementadas por testes de factibilidade, onde avaliadores humanos verificam se a saída contém informações fabricadas. Ainda assim, o problema persiste em modelos mais amplos, não apenas tradutores. A diferença é que hoje todos nós temos acesso a esses sistemas no dia a dia, o que torna a verificação manual ainda mais necessária. Não existe download ou tutorial para corrigir esse tipo de problema. É uma limitação estrutural de modelos treinados em padrões estatísticos. O que existe são práticas de uso consciente. Anotar termos desconhecidos, consultar múltiplas fontes, e manter o hábito de questionar quando algo soa "bem demais para ser verdade" é o que separa um uso útil de uma confusãocara.
O artigo original sobre o Google Tradutor e a sociedade de batatas pode ser encontrado emPublicações acadêmicas da Berkeley sobre machine translation. O link direto varia conforme a indexação, mas pesquisas por "Google Translate Literarian Society of Old Potatoes" retornam os documentos relevantes. O mais citado é o trabalho de Daniel Ziegler e colegas, que analisou o fenômeno em detalhes.
