Use este identificador para citar ou linkar para este item:
https://repositorio.ufms.br/handle/123456789/13975| Tipo: | Trabalho de Conclusão de Curso |
| Título: | Medição da Qualidade de Recuperação e Geração em LLMs com o Framework RAGAS |
| Autor(es): | GUSTAVO SERRA VASCONCELOS JOÃO PAULO DE SOUZA WAKUGAWA |
| Primeiro orientador: | BRUNO MAGALHAES NOGUEIRA |
| Resumo: | Este trabalho apresenta uma análise comparativa de Grandes Modelos de Linguagem (LLMs) aplicados a um agente conversacional que utiliza a técnica de Geração Aumentada por Recuperação (RAG). O estudo foi realizado na plataforma Inithub, utilizando dados reais de estudantes e dados sintéticos gerados por automação para simular diferentes cenários de uso. Foram avaliados três modelos de última geração: OpenAI GPT-5-Chat, Google Gemini 2.5 Pro e Anthropic Claude 3.5 Sonnet. A validação utilizou o framework Ragas, focando nas métricas de Fidelidade (\textit{Faithfulness}) e Relevância (\textit{Answer Relevancy}). Ao final, são discutidos os diferentes comportamentos observados em cada modelo e como essas características influenciam a construção de assistentes virtuais para gestão de inovação. |
| Abstract: | This work presents a comparative analysis of Large Language Models (LLMs) applied to a conversational agent utilizing Retrieval-Augmented Generation (RAG). The study was conducted on the Inithub platform, using real data from students and synthetic data generated via automation to simulate different usage scenarios. Three state-of-the-art models were evaluated: OpenAI GPT-5-Chat, Google Gemini 2.5 Pro, and Anthropic Claude 3.5 Sonnet. The validation used the Ragas framework, focusing on Faithfulness and Answer Relevancy metrics. Finally, the work discusses the different behaviors observed in each model and how these characteristics influence the development of virtual assistants for innovation management. |
| País: | |
| Editor: | Fundação Universidade Federal de Mato Grosso do Sul |
| Sigla da Instituição: | UFMS |
| Tipo de acesso: | Acesso Aberto |
| URI: | https://repositorio.ufms.br/handle/123456789/13975 |
| Data do documento: | 2025 |
| Aparece nas coleções: | Sistemas de Informação - Bacharelado (FACOM) |
Arquivos associados a este item:
| Arquivo | Tamanho | Formato | |
|---|---|---|---|
| 24738.pdf | 215,03 kB | Adobe PDF | Visualizar/Abrir |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.