Banca de QUALIFICAÇÃO: PEDRO BORGES PIO

Uma banca de QUALIFICAÇÃO de DOUTORADO foi cadastrada pelo programa.
DISCENTE : PEDRO BORGES PIO
DATA : 18/05/2026
HORA: 14:00
LOCAL: Remoto. Microsoft Teams. Link: https://teams.microsoft.com/meet/26648162876840?p=sx3A4GvKDmx02ByDci
TÍTULO:

Explorando as capacidades de pequenos modelos de linguagem para reconhecimento de entidades nomeadas jurídicas

PALAVRAS-CHAVES:

LLM, SLM, Reconhecimento de entidades nomeadas, Processamento de Linguagem Natural, LoRA, Aprendizado por Reforço

PÁGINAS: 57
RESUMO:

Large Language Model (LLM)s baseados apenas em decodificadores alcançaram um forte
desempenho em diversas áreas do Processamento de Linguagem Natural; no entanto, em
tarefas específicas como Named Entity Recognition (NER), eles ainda ficam atrás de seus
equivalentes baseados apenas em codificadores. Questões como alucinações e a falta de
contexto bidirecional de sentença, inerentes à arquitetura de decodificadores, contribuem
para essa defasagem de desempenho. Essa discrepância se amplia ainda mais no NER
de domínio específico, como em documentos jurídicos brasileiros, que apresentam
vocabulários e entidades altamente especializados, exigindo ajustes precisos do modelo para
alcançar resultados ideais. Outra limitação significativa dos LLMs é o seu tamanho, que
frequentemente dificulta seu treinamento e a sua implantação em GPUs voltadas para
consumidores. Este trabalho tem como objetivo reduzir a diferença de desempenho en-
tre modelos de linguagem decodificadores e codificadores no NER jurídico brasileiro por
meio do fine-tuning de Small Language Model (SLM)s utilizando Low-Rank Adaptation
(LoRA). Alcançamos um desempenho próximo ao state-of-the-art (SOTA) nos conjuntos
de dados LeNER-BR e UlyssesNER-BR, ao mesmo tempo em que fornecemos uma
análise abrangente de como a posição dos módulos LoRA e seus hiperparâmetros afetam
o desempenho do modelo. Além disso, propomos uma estrutura de pesquisa futura utilizando
técnicas de Aprendizado por Reforço para aprimorar as capacidades de raciocínio
do modelo por meio da verificação de sua Cadeia de Pensamento (Chain of Thought).
Essa abordagem visa melhorar ainda mais a precisão da extração e permitir que o modelo
generalize as tarefas de NER sem a necessidade de realizar o fine-tuning do SLM para
cada conjunto de dados específico.

 

MEMBROS DA BANCA:
Presidente - 3128249 - LUIS PAULO FAINA GARCIA
Interno - 2366026 - FLAVIO DE BARROS VIDAL
Interno - 1821656 - THIAGO DE PAULO FALEIROS
Externo à Instituição - RONALDO CRISTIANO PRATI - UFABC
Externo à Instituição - WAGNER MEIRA JUNIOR - UFMG