Banca de QUALIFICAÇÃO: ZADYS CARRASCO MEDINA

Uma banca de QUALIFICAÇÃO de MESTRADO foi cadastrada pelo programa.
DISCENTE : ZADYS CARRASCO MEDINA
DATA : 20/02/2026
HORA: 14:00
LOCAL: MS Teams
TÍTULO:

Análise Exploratória de Métricas para Avaliação Automatizada em Sistemas de Geração Aumentada por Recuperação

PALAVRAS-CHAVES:

RAG, LLMs, métricas específicas, avaliação automatizada, recuperação, geração automática de texto

PÁGINAS: 37
RESUMO:

Geração Aumentada por Recuperação (RAG) é uma técnica essencial que aprimora os Modelos de Linguagem de Grande Escala (LLMs), mitigando limitações como alucinações e conhecimento estático, ao fundamentar as respostas em uma base externa e confiável. A aplicação das métricas específicas representa uma abordagem promissora para a avaliação automatizada de sistemas RAG. O desafio principal é que métricas tradicionais, como BLEU e ROUGE, são insuficientes para avaliar a complexa interação entre a recuperação de contexto e a qualidade factual da resposta gerada. Neste trabalho, foi implementado um sistema RAG, utilizando duas bases de dados distintas. A avaliação foi conduzida por meio de métricas específicas, para fornecer uma análise mais rigorosa e transparente do desempenho do sistema.

MEMBROS DA BANCA:
Presidente - 1821656 - THIAGO DE PAULO FALEIROS
Interna - 1780217 - EDNA DIAS CANEDO
Interno - 3128249 - LUIS PAULO FAINA GARCIA
Externo à Instituição - ALAN DEMÉTRIUS BARIA VALEJO - UFSCAR