Classificação de palavras em processamento de texto
Quando você trabalha com análise sintática ou treinamento de modelos de linguagem, identificar se uma palavra é substantivo é uma das tarefas mais comuns no pipeline de pré-processamento. A expressão livro é substantivo resume bem o tipo de afirmação simples que sistemas de POS tagging precisam fazer milhares de vezes por minuto em corpus grandes.
Como funciona o reconhecimento na prática
Na minha experiência, a maioria dos desenvolvedores começa com bibliotecas como NLTK, spaCy ou Stanford CoreNLP. Cada uma tem seu próprio modelo de tags. O spaCy, por exemplo, devolve "NOUN" para "livro" quando você pede o lemmatize e o POS tag em uma frase como "o livro está na mesa". A tag NOUN corresponde ao substantivo comum em português. O problema é que modelos genéricos falham em contextos específicos. Eu tenho um caso concreto que ilustra isso: um corpus jurídico com termos como "escritura" e "término" que são substantivos, mas que o modelo padrão às vezes classifica como verbo ("terminar") dependendo da frase. A solução que encontrei foi treinar um pequeno classificador com exemplos anotados manualmente desse domínio antes de rodar o tagging em larga escala. Esse fine-tuning reduziu a taxa de erro de cerca de 8% para menos de 2% nas minhas validações.
👉 Clique no botão abaixo para saber mais sobre o assunto!
O que muita gente não considera é que a fronteira entre substantivo e outras classes é mais borrada do que parece em português. Palavras como "corrida" podem ser substantivo ("uma corrida perigosa") ou verbo no gerúndio ("ele estava correndo"). O contexto sintático decide, mas modelos ingênuos baseado em dicionário simplesmente falham aqui. A melhor abordagem é usar o contexto das palavras vizinhas, não apenas a forma isolada. Outra armadilha comum: substantivos próprios vs. comuns. O nome "Brasil" é substantivo, mas alguns taggers aplicam regras diferentes para entidades nomeadas. Se seu pipeline não separa adequadamente essas categorias, você pode ter problemas downstream em extração de informações ou resolução de coreferência.
Limitações que ninguém gosta de mencionar
Modelos de POS tagging para português ainda têm performance inconsistente em textos informais, redes sociais e variações regionais. Um modelo treinado em português brasileiro formal pode perder até 15% de precisão quando aplicado a tweets ou mensagens de WhatsApp. Não existe solução mágica para isso além de treinar com dados do domínio alvo ou aceitar o erro como parte do pipeline. Se você precisa de alta precisão em um domínio específico, considere anotar manualmente pelo menos 500 exemplos do seu corpus e usar esses dados para fine-tuning. Ferramentas como Prodigy ou even o Label Studio podem acelerar esse processo. O investimento de tempo volta em questão de dias quando você processa grandes volumes.
Para quem está começando e só precisa de algo rápido, o spaCy com o modelo "pt_core_news_sm" resolve a maior parte dos casos simples em menos de um minuto de instalação. Baixe com pip install spacy e depois python -m spacy download pt_core_news_sm. O modelo pequeno é suficiente para validar a lógica antes de partir para soluções mais robustas. O ponto principal é que tratar livro é substantivo como um problema resolvido é um erro. Na prática, cada corpus tem suas particularidades e o tagging nunca é 100% preciso sem ajuste fino. Conheça as falhas do seu modelo antes de confiar cegamente nos resultados.
