Banca de DEFESA: ZADYS CARRASCO MEDINA

Uma banca de DEFESA de MESTRADO foi cadastrada pelo programa.
DISCENTE : ZADYS CARRASCO MEDINA
DATA : 21/08/2026
HORA: 10:00
LOCAL: Remoto - plataforma TEAMs
TÍTULO:

Análise Exploratória de Métricas para Avaliação Automatizada em Sistemas de Geração Aumentada por Recuperação

PALAVRAS-CHAVES:

Geração Aumentada por Recuperação, Modelos de Linguagem de Grande Escala, Avaliação Automatizada, Métricas de Avaliação

PÁGINAS: 54
RESUMO:

A Geração Aumentada por Recuperação (RAG) é uma técnica essencial para aprimorar os Modelos de Linguagem de Grande Escala (LLMs), mitigando limitações como alucinações e conhecimento estático, ao fundamentar as respostas em uma base externa e confiável. Avaliar esses sistemas RAG ainda é um desafio, pois métricas tradicionais, como BLEU e ROUGE, são insuficientes para avaliar tanto a etapa de recuperação quanto a qualidade da resposta. A aplicação de métricas específicas, capazes de avaliar essas duas etapas, representa um avanço significativo para a avaliação automatizada de sistemas RAG. Neste trabalho, foi implementado um sistema RAG, no qual se variou o tamanho dos chunks (128, 256, 512, 1024) e o top-k (1, 3, 5), obtendo-se um total de 12 configurações. A base de conhecimentos utilizada como base para o RAG foi um conjunto de documentos sobre saúde e, a partir de um dataset previamente elaborado com perguntas estreitamente relacionadas à base de dados, o sistema RAG gera as respostas. Posteriormente, para avaliar o comportamento do sistema, foram aplicadas métricas específicas com o objetivo de analisar a correlação entre elas e como o tamanho dos chunks pode impactar osresultados.

MEMBROS DA BANCA:
Presidente - 1821656 - THIAGO DE PAULO FALEIROS
Interna - 1780217 - EDNA DIAS CANEDO
Interno - 3128249 - LUIS PAULO FAINA GARCIA
Externo à Instituição - ALAN DEMÉTRIUS BARIA VALEJO - UFSCAR