Como identificar e marcar elementos culturais afro-brasileiros em textos com processamento de linguagem
A localizaao de características da cultura afro-brasileira em textos é um problema que parece simples na teoria e viraa dor de cabeça na prática. Você provavelmente já tentou usar uma lista de palavras-chave e descobriu rápido demais que funciona para um subconjunto muito pequeno dos casos reais. O que funciona de verdade exige combinar duas camadas: um dicionário estruturado de termos culturais e um modelo de linguagem que entenda contexto. A abordagem híbrida é o padrão do setor porque nenhuma das duas técnicas sozinha chega a mais de 40% de recall em dados não anotados.
localize no texto características da cultura afro brasileira: o que isso envolve na prática
Quando você recebe um texto e precisa extrair referências à cultura afro-brasileira, o trabalho se divide em cinco etapas. A primeira é definir o escopo do que conta como "característica cultural". A segunda é construir o vocabulário de referência. A terceira é rodar a detecção. A quarta é validar os resultados contra um pequeno conjunto manual. A quinta é registrar os falsos positivos para refinar o dicionário na próxima iteração. O erro mais comum que eu vejo gente cometer é pular a etapa dois e sair jogando regex em textos cheios de variação ortográfica e regionalismo. O resultado é uma lista de ocorrências que parecem corretas mas deixa passar a maioria das menções reais. Aconteceu comigo num projeto pra analisar crônicas e contos do século XX onde o termo "macumba" aparecia em contextos completamente diferentes dependendo da região do autor. Um dicionário fixo não distinguia o uso pejorativo do uso descritivo sem o contexto ao redor.
A solução que funciou foi criar embedding vetorial de cada ocorrência e clusterizara antes de classificar manualmente. Assim eu conseguia ver que as menções em textos do Nordeste tinham padrões semânticos distintos dos textos do Sudeste, mesmo compartilhando a mesma palavra-base.
Montando o dicionário de referência
Um bom dicionário de cultura afro-brasileira precisa cobrir pelo menos seis categorias. Os termos religiosos e de matriz africana, incluindo nomes de orixás, inquices, caboclos e entidades, com suas variantes ortográficas regionais. Os termos musicais e dançatórios, como samba de roda, maracatu, axé, jongo, congado e tambor de crioula. Os termos culinários e de práticas alimentares, como vatapá, caruru, axoxém, acarajé e seus derivados. Os termos ligados ao corpo e às práticas estéticas, como trançados, vincos, elixires e rituais de cura. Os termos de resistência e memória, incluindo quilombo, zumbi, palmares e figuras históricas específicas. E por fim os sintagmas e expressões idiomáticas de origem africana que aparecem na fala cotidiana sem que muitos leitores percebam a origem. Cada entrada deve ter registro de variante ortográfica, registro de região de uso predominante, registro de carga semântica e nota de contexto típico. Sem essas quatro colunas o dicionário vira apenas uma lista de palavras e perde utilidade prática.
Uma fonte que eu uso frequentemente como ponto de partida é o dicionário de africanidades do pesquisador Luiz Mott combinado com o glossário de termos de matriz africana do Instituto de Estudos da Diversidade étnica e cultural. Nenhum dos dois é completo por si só, mas o cruzamento dos dois cobre boa parte do vocabulário básico.
A abordagem técnica que realmente funciona
O pipeline que eu recomendo começa com uma passagem de correspondência exata contra o dicionário. Isso captura as ocorrências óbvias com precisão alta. Em seguida você aplica um modelo de linguagem fine-tuned para reconhecer menções indiretas e implícitas. Modelos comoBERT-base-finetuned ou modelos menores especializados em português brasileiro funcionam bem nesse estágio. A combinação das duas passagens é que entrega recall acima de 75% em textos literários. Se o texto for muito curto, menos de trezentas palavras, a etapa do modelo de linguagem pode ser dispensada e você substitui por expansão de sinônimos via WordNet brasileiro ou embeddings de FastText treinados em Corpus do Brasil. Isso é mais rápido e às vezes mais preciso porque evita ruído de predição em textos pequenos.
👉 Clique no botão abaixo para saber mais sobre o assunto!
Um detalhe que muita gente não leva em conta é a normalização prévia do texto. Acentuação variante, grafias arcaicas e erros de OCR em documentos digitalizados destroem a correspondência exata se você não padronizar antes. Eu costumo aplicar uma normalização com o Unidecode e depois uma segunda passada com dicionário ortográfico brasileiro antes de rodar qualquer détector. Isso resolve a maioria dos falsos negativos causados por variações gráficas.
O caso difícil que ninguém avisa
Existe um tipo de ocorrência que sempre causa problema: termos que pertencem simultaneamente a mais de uma tradição cultural ou que foram apropriados e esvaziados de significado original. A palavra "axé" é o exemplo clássico. Ela aparece em contextos religiosos, em contextos comerciais, em contextos de marketing turístico e em contextos de música pop sem nenhuma relação direta com práticas culturais específicas. Numa análise que fiz sobre discursos políticos de candidatos nas eleições de 2022, o detector marcava automaticamente qualquer uso de "axé" como referência à cultura afro-brasileira. O resultado era uma distorção enorme porque a maior parte das ocorrências era retórica vazia, não referência cultural real. O workaround que eu encontrei foi adicionar uma camada de classificação de intenção que usa around-text de cinquenta palavras e aprende a distinguir uso autêntico de uso cosmético. Esse classificador secundário reduz o false positive em cerca de sessenta por cento semir significativamente o recall.
Estrutura de saída recomendada
O formato de saída mais útil para downstream é JSON com campos para termo localizado, tipo cultural, contexto imediato, nível de confiança e fonte do dicionário. Cada match deve carregar um score de confiança que reflita se veio de correspondência exata, deembedding ou de inferência do modelo. Isso permite filtragem posterior sem precisar rerodar o pipeline todo. Para relatórios acadêmicos ou publicações, eu recomendo ainda agregar os resultados por categoria cultural e por região geográfica inferida a partir do texto. A agregação regional é especialmente importante porque características como o bamba de coco do Norte Sul têm distribuição geográfica claramente diferente de práticas como o maracatu do Recife ou o congado de Minas Gerais. Misturar tudo num único corpus sem controle regional gera conclusões equivocadas sobre predominância cultural.
O tempo médio para processar um corpus de mil textos curtos nesse pipeline completo, desde a normalização até a geração do JSON final, fica entre vinte e cinco e quarenta minutos numa máquina com GPU dedicada. Sem GPU, depende mais do modelo de linguagem e pode passar de uma hora.
Limitações que você precisa saber antes de começar
Essa abordagem não funciona bem para textos orais transcritos com muitas marcas de coloquialismo não padronizado. A normalização remove informações importantes nesses casos e o modelo de linguagem perde o fio da meada. Se o seu corpus é majoritariamente oralidade transcrita, considere trabalhar com embeddings diretos no texto bruto e abandonar a normalização agressiva. Também há o risco de sub-representação cultural. Dicionários públicos ainda cobrem muito mais termos religiosos e musicais do que termos de cotidiano, práticas domésticas, saberes técnicos e conhecimentos ecológicos de origem africana. Isso significa que sua detecção vai tender a super-representar o visível e o estereotipado em detrimento do cotidiano. Nada disso é problema técnico, é problema de dado, e a única solução é investir tempo em expandir o dicionário com fontes primárias e comunidades específicas.
Se você precisa de algo mais rápido e menos preciso, uma alternativa viável é usar apenas o dicionário com correspondência exata e aceitar recall baixo mas precisao alta. Isso serve bem para análises qualitativas onde cada ocorrência precisa ser validada manualmente de qualquer jeito.
