Entendendo a classificação entre textos literários e não literários
A separação entre textos literários e não literários parece simples na teoria, mas na prática você vai encontrar uma zona cinzenta enorme. Eu já perdi umas duas horas num projeto de classificação automática só porque um manual técnico de engenharia tinha trechos que pareciam prosa.
Definições básicas que precisam ser revistas
Texto literário é aquele que prioriza a forma sobre o conteúdo. Metáforas, ritmo, ambiguidade proposital. Poesia, contos, romances. O valor está na construção linguística em si. Texto não literário comunica informação direta. Manuais, artigos científicos, reportagens, contratos. A forma serve ao conteúdo, não o contrário. A armadilha é que classificadores ingênuos falham miseravelmente aqui. Um romance policial tem narrativa, personagens, diálogos. Por fora parece literatura. Por dentro pode ser puro entretenimento descartável. Um ensaio filosófico bem escrito pode ter belleza estética. Isso não o torna literário no sentido técnico.
O problema real na hora de classificar
Eu estava trabalhando num pipeline de indexação para uma biblioteca digital há uns anos. Tínhamos cerca de 40 mil textos para categorizar automaticamente. O modelo clássico baseava-se em features como densidade de adjetivos, comprimento médio das frases, presença de figuras de linguagem. Funcionou razoavelmente bem para poesia versus manuais. Desandou completamente com crônicas jornalísticas e memórias. A solução que funcionou foi combinars três abordagens em série, não apenas uma. Primeiro um filtro superficial baseado em metadados e estrutura. Depois um classificador treinado com exemplos reais do seu domínio específico. Por fim uma revisão manual amostral para os casos limítrofes.
Onde a maioria erra na implementação
As pessoas costumam usar o mesmo modelo para todos os tipos de texto. Isso não funciona. Textos literários e não literários têm distribuições de frequência de palavras completamente diferentes. Um SVM com kernel RBF treinado apenas em corpus jornalístico vai classificar quase tudo como não literário. Você precisa de dados representativos de ambos os lados. Outro erro comum é confiar em heurísticas simplistas. Contar metáforas não funciona porque identificadores de metáfora são imprecisos. A palavra "brilhar" aparece em manuais de física e em sonetos. O contexto é tudo. Recomendo usar embeddings de transformersfine-tunados no seu domínio, não features manuais.
👉 Clique no botão abaixo para saber mais sobre o assunto!
O gargalo que ninguém avisa é o tempo de processamento. Um modelo como o BERT-base processa um texto de mil palavras em cerca de 80 milissegundos numa GPU razoável. Sem GPU, isso sobe para uns 2 segundos por documento. Para 40 mil textos, como no meu caso, isso significa de 28 horas com GPU a quase 220 horas sem. Planeje isso antes.
Como montar o pipeline na prática
Se você está começando do zero, comece com um dataset existente. O Corpus Brasileiro de Textos Acadêmicos tem boa cobertura de não literário. Para literário, o Domínio Público da biblioteca digital brasileira oferece milhares de obras em domínio público. Junte os dois e balanceie se necessário. Treine um classificador binário. Eu uso tipicamente um modelo lightweight como um LinearSVC ou um pequeno transformer como o DistilBERT dependendo do volume. A métrica que importa é F1-score, não accuracy. Seu dataset provavelmente será desbalanceado e accuracy vai mentir pra você.
Implemente um thresholds ajustável. Quando a confiança do modelo estiver abaixo de 0.7, roteie para revisão humana. No meu projeto, cerca de 12 por cento dos textos caíam nessa zona. Era mais barato revisar manualmente do que tentar melhorar o modelo infinitamente.
Limitações que você precisa aceitar
Nenhuma classificação automática é perfeita para gêneros híbridos. Crônicas, aforismos, diários pessoais. Textos que misturam narrativa com reflexão podem ser classificados erroneamente de acordo com o treino. Se o seu uso final exige precisão acima de 95 por cento, você precisa de revisão humana obrigatória nos casos ambíguos. Também vale considerar que a própria fronteira entre literário e não literário é construção cultural e histórica. O que era consideradonão literário há 50 anos pode ser estudado como literatura hoje. Se o seu sistema precisa lidar com textos históricos, a classificação pode envelhecer mal. Documente isso e deixe claro para quem for usar os resultados.
Para projetos menores, onde treinar um modelo próprio não compensa, uma alternativa viável é usar APIs de classificação de texto prontas. Algumas oferecem modelos especializados em gênero textual. O custo por requisição soma rápido se você tiver volume alto, mas para menos de mil documentos por mês pode ser economicamente razoável e economiza semanas de desenvolvimento.
