Use este identificador para citar ou linkar para este item: https://repositorio.ufms.br/handle/123456789/13975
Registro completo de metadados
Campo DCValorIdioma
dc.creatorGUSTAVO SERRA VASCONCELOS-
dc.creatorJOÃO PAULO DE SOUZA WAKUGAWA-
dc.date.accessioned2025-12-08T11:51:01Z-
dc.date.available2025-12-08T11:51:01Z-
dc.date.issued2025pt_BR
dc.identifier.urihttps://repositorio.ufms.br/handle/123456789/13975-
dc.description.abstractThis work presents a comparative analysis of Large Language Models (LLMs) applied to a conversational agent utilizing Retrieval-Augmented Generation (RAG). The study was conducted on the Inithub platform, using real data from students and synthetic data generated via automation to simulate different usage scenarios. Three state-of-the-art models were evaluated: OpenAI GPT-5-Chat, Google Gemini 2.5 Pro, and Anthropic Claude 3.5 Sonnet. The validation used the Ragas framework, focusing on Faithfulness and Answer Relevancy metrics. Finally, the work discusses the different behaviors observed in each model and how these characteristics influence the development of virtual assistants for innovation management.-
dc.language.isopt_BRpt_BR
dc.publisherFundação Universidade Federal de Mato Grosso do Sulpt_BR
dc.rightsAcesso Abertopt_BR
dc.subject.classificationEngenharia / Tecnologiapt_BR
dc.titleMedição da Qualidade de Recuperação e Geração em LLMs com o Framework RAGASpt_BR
dc.typeTrabalho de Conclusão de Cursopt_BR
dc.contributor.advisor1BRUNO MAGALHAES NOGUEIRA-
dc.description.resumoEste trabalho apresenta uma análise comparativa de Grandes Modelos de Linguagem (LLMs) aplicados a um agente conversacional que utiliza a técnica de Geração Aumentada por Recuperação (RAG). O estudo foi realizado na plataforma Inithub, utilizando dados reais de estudantes e dados sintéticos gerados por automação para simular diferentes cenários de uso. Foram avaliados três modelos de última geração: OpenAI GPT-5-Chat, Google Gemini 2.5 Pro e Anthropic Claude 3.5 Sonnet. A validação utilizou o framework Ragas, focando nas métricas de Fidelidade (\textit{Faithfulness}) e Relevância (\textit{Answer Relevancy}). Ao final, são discutidos os diferentes comportamentos observados em cada modelo e como essas características influenciam a construção de assistentes virtuais para gestão de inovação.pt_BR
dc.publisher.countrynullpt_BR
dc.publisher.initialsUFMSpt_BR
Aparece nas coleções:Sistemas de Informação - Bacharelado (FACOM)

Arquivos associados a este item:
Arquivo TamanhoFormato 
24738.pdf215,03 kBAdobe PDFVisualizar/Abrir
Mostrar registro simples do item Visualizar estatísticas


Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.