O Aprendizado por Reforço (RL) depende da definição de uma função de recompensa que orienta o comportamento do agente durante o treinamento. Embora esse paradigma tenha alcançado resultados em áreas como robótica, jogos e modelos de linguagem, a construção de funções de recompensa continua sendo um dos principais desafios da área. Recompensas mal especificadas podem levar a comportamentos indesejados, conhecidos como reward hacking, enquanto a combinação de múltiplos objetivos exige definir compromissos entre diferentes critérios de desempenho, frequentemente ajustados de forma manual.

Em problemas complexos, é comum que a recompensa seja composta por diversos objetivos simultâneos, como eficiência, segurança, consumo de energia e qualidade da solução. A prática tradicional consiste em combinar esses objetivos por meio de uma soma ponderada, utilizando pesos definidos manualmente pelo projetista. Entretanto, essa abordagem impõe preferências fixas durante todo o treinamento e pode fazer com que o agente priorize apenas os objetivos mais fáceis de otimizar, negligenciando aspectos igualmente importantes para a tarefa.

Outra dificuldade está na própria construção da função de recompensa. Recompensas muito esparsas dificultam a aprendizagem por fornecerem pouco feedback ao agente, enquanto recompensas densificadas por meio de reward shaping podem introduzir incentivos indesejados, levando o agente a maximizar a recompensa sem necessariamente resolver o problema proposto. Esses desafios evidenciam que o desempenho de um algoritmo de RL depende não apenas do método de otimização empregado, mas também da forma como os objetivos são especificados e balanceados ao longo do treinamento.

Nesse contexto, esta linha de pesquisa investiga métodos para funções de recompensa mais robustas, explorando decomposição de recompensas, otimização multiobjetivo e incorporação dinâmica de preferências durante o treinamento. O objetivo é desenvolver algoritmos capazes de adaptar automaticamente a importância de diferentes objetivos ao longo do aprendizado, reduzindo a necessidade de calibração manual, acelerando a convergência e produzindo agentes mais eficientes, robustos e alinhados às intenções do projetista em aplicações como robótica, sistemas autônomos e modelos de linguagem.

Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract Abstract 

O paradigma de Aprendizagem por Reforço (RL) tem ganhado cada vez mais destaque no contexto de finanças e investimentos. Diferentemente de abordagens tradicionais, os agentes de RL aprendem por meio da interação contínua com o ambiente, realizando operações de compra e venda de ativos enquanto buscam maximizar uma função de recompensa. Ao longo desse processo, o agente aprende uma política capaz de tomar decisões de alocação de capital de forma cada vez mais eficiente.

Para avaliar o desempenho dessas estratégias, não basta analisar apenas o retorno obtido. É comum utilizar métricas que consideram também o risco associado aos investimentos, como o Maximum Drawdown (MDD), que mede a maior perda acumulada de um portfólio; o Índice de Sharpe, que relaciona retorno e risco; a volatilidade, que representa a variação dos retornos; além do retorno anualizado e outras métricas amplamente utilizadas na literatura financeira.

Entre os algoritmos de Aprendizagem por Reforço mais empregados nesse contexto destacam-se o Soft Actor-Critic (SAC), o Proximal Policy Optimization (PPO) e o Deep Deterministic Policy Gradient (DDPG). Esses algoritmos possuem características distintas quanto à forma de exploração do ambiente.

O Aprendizado por Reforço (RL) tem se consolidado como uma das principais abordagens para o desenvolvimento de sistemas robóticos autônomos. Entretanto, levar agentes treinados em simulação para controlar robôs reais continua sendo um dos maiores desafios da área. Diferenças entre o ambiente simulado e o mundo físico, restrições de tempo real, limitações de percepção e a necessidade de tomada de decisão em ambientes dinâmicos exigem novas estratégias para tornar esses sistemas mais robustos e confiáveis.

Nesta linha de pesquisa, utilizamos o futebol de robôs como principal plataforma experimental para investigar esses desafios. Competições como a RoboCup e a IEEE Very Small Size Soccer (VSSS) oferecem cenários cooperativos e competitivos que exigem planejamento de movimento, percepção do ambiente e tomada de decisão em tempo real. Nesse contexto, o grupo desenvolve simuladores e ambientes de treinamento voltados para RL, investiga métodos de planejamento inteligente de trajetórias e explora técnicas de sim-to-real para aproximar políticas aprendidas em simulação de aplicações em robôs físicos.

Além do controle robótico, esta linha também investiga o uso de RL em problemas de automação, como a calibração automática de sistemas de percepção e a otimização de componentes tradicionalmente ajustados de forma manual. Ao integrar treinamento em simulação, planejamento de movimento, percepção e automação, buscamos desenvolver métodos capazes de ampliar a aplicação do RL em sistemas robóticos reais, tornando-os mais eficientes, adaptáveis e robustos.

O Aprendizado por Reforço (RL) pode ser utilizado como uma ferramenta central para o refinamento de LLMs, permitindo a otimização de objetivos textuais semânticos complexos, subjetivos e difíceis de traduzir em uma função de perda tradicional do aprendizado supervisionado. Atualmente, há diversos tipos de problemas em que o emprego de RL agrega valor, como o alinhamento com preferências humanas. Um exemplo de problema seria a necessidade de ensinar o modelo a distinguir entre uma resposta “aceitável" e uma resposta "excelente" sem ter que rotular manualmente milhões de pares de pergunta e respostas perfeitas. 

Neste contexto, pode-se fazer uso do chamado Reinforcement Learning from Human Feedback (RLHF), que possibilita o feedback humano para comparar respostas geradas pelo modelo para treinar um Modelo de Recompensa. Dessa forma, o LLM se ajusta de acordo com o feedback humano, não um dado prévio rotulado.