Especialista em LLM e Prompt Engineering

Este especialista terá a missão de elevar agentes de IA já prototipados ao nível de soluções robustas em produção, integrando LLM e dados reais da empresa. Será responsável por definir e aplicar técnicas avançadas de engenharia de prompt e estratégias de interação com LLMs para melhorar a precisão, consistência e controlabilidade das respostas desses agentes. O foco do papel é garantir que os agentes forneçam respostas úteis e seguras, alinhadas aos objetivos do negócio, por meio de prompts bem elaborados, uso de funções auxiliares e monitoramento contínuo do desempenho dos modelos em ambiente de produção.Responsabilidades e atribuiçõesImplementar e gerenciar o deploy de modelos de linguagem (como APIs do OpenAI, modelos locais via Ollama ou outras plataformas), garantindo integração perfeita dos LLMs à nossa plataforma.Projetar, testar e otimizar prompts avançados para os agentes de IA, utilizando técnicas de prompt engineering (ex.: exemplos few-shot, chain-of-thought prompting) para guiar o raciocínio do modelo e controlar o formato/estilo das respostas conforme as necessidades de cada caso de uso.Desenvolver estratégias para incorporar funções auxiliares ou ferramentas de apoio ao LLM – por exemplo, integrações que permitam ao agente buscar dados em bases de conhecimento, executar cálculos ou consultar APIs externas – ampliando as capacidades dos agentes além do texto livre.Aplicar métodos de avaliação automatizada e humana da qualidade das respostas dos agentes: definir métricas objetivas (precisão, relevância, utilidade), implementar testes A/B de diferentes variantes de prompt/modelo e coordenar ciclos de feedback com usuários para melhoria contínua.Monitorar ativamente o desempenho dos modelos em produção (observabilidade do comportamento dos LLMs), criando logs e dashboards que rastreiem taxas de sucesso, tempos de resposta, custos de API e ocorrências de erros ou respostas indesejadas, a fim de identificar rapidamente oportunidades de ajuste.Colaborar com o Engenheiro de Arquitetura de Sistemas e Dados e com o Engenheiro de Dados para assegurar que os agentes de IA estejam utilizando dados atualizados e corretos, configurando pipelines de dados que alimentem o contexto dos modelos (por exemplo, implementação de RAG com base no data lake da empresa, quando aplicável).Refinar os agentes de IA existentes, transformando-os em produtos estáveis: ajustar prompts e parâmetros do modelo para melhorar a exatidão das respostas, evitar ambiguidades e garantir consistência no tom e nas políticas definidas (incluindo filtros de segurança e conformidade nas respostas).Executar testes rigorosos de comportamento dos agentes antes de cada release, incluindo cenários de borda e tentativas de uso indevido (prompt injection, perguntas capciosas), afinando os prompts ou adicionando validações para garantir robustez e segurança das interações em produção.Documentar as abordagens de prompt engineering adotadas, criando diretrizes reutilizáveis para desenvolvimento de futuros agentes de IA e contribuindo para o conhecimento interno da empresa em técnicas de LLM.Acompanhar as evoluções na área de IA generativa e LLMs (novos modelos, técnicas de prompt, ferramentas de avaliação) para incorporar as melhores práticas e manter os agentes atualizados com o estado da arte da tecnologia.Requisitos e qualificaçõesExperiência prática comprovada com implementação e integração de modelos de linguagem em aplicações do mundo real – por exemplo, ter trabalhado com APIs de serviços como OpenAI, Azure/GCP AI, ou implantado modelos open-source (GPT-Neo, LLaMA ou similares) em ambiente de produção.Domínio de técnicas de prompt engineering: capacidade de escrever prompts eficazes para diferentes objetivos, ajustar o tom e estilo das respostas, usar instruções de sistema vs. usuário apropriadamente e aplicar estratégias como cadeia de raciocínio (chain-of-thought) para melhorar a qualidade das respostas do modelo.Familiaridade com ferramentas e frameworks volta