Analista IA Langfuse

Modelo: Híbrido

Contratação: PJ

Local: Santo Amaro

Senioridade: Pleno

Breve Resumo do Projeto: Apoiar a frente de IA Responsável, do COE IA na operação e evolução da esteira de declaração, avaliação, aprovação e monitoramento de casos de uso de IA (modelos de ML, IA generativa e agentes).

Descrição das Principais Atividades e Reponsabilidades:

• Revisar formulários de declaração de casos de uso (IA by Design), apoiar Champions e Tradutores, identificar lacunas e tracionar os casos junto às áreas.
• Conduzir reuniões técnicas com Negócio, Tech Dados & IA, Arquitetura, Segurança da Informação, Jurídico e fornecedores.
• Classificar casos de uso em N1, N2 e N3 e aplicar a matriz de risco, avaliando autonomia, uso de dados pessoais, exposição ao cliente, impacto financeiro, explicabilidade e HITL (intervenção humana).
• Manter o inventário de modelos e agentes (owner, finalidade, nível de risco e status), a documentação e o controle de evidências para auditoria.
• Preparar materiais para comitês (Comitê de Alto Risco e Comitê de Monitoramento IA), consolidar pareceres e controlar planos de ação.
• Operar o Langfuse como camada corporativa de observabilidade dos agentes: traces, sessions, tags, scores, evaluations, datasets, experiments e Prompt Management.
• Definir e manter a convenção de tags por agente, subagente e intenção, garantindo filtros sem mistura entre agentes.
• Implementar e acompanhar evaluators (LLM-as-a-Judge) das métricas M01 Acurácia, M06 Completude, M10 Guardrails e M11 LGPD, definindo execução síncrona, assíncrona ou batch e faixas de interpretação (aceitável, atenção, crítico) com alertas.
• Garantir a rastreabilidade agente → versão do prompt → intenção → avaliação, com cadastro dos prompts no Prompt Management.
• Construir e manter dashboards nos 4 pilares: Observabilidade (volume, latência, erro), Qualidade, Rastreabilidade e FinOps (tokens, custo por interação, baseline, realizado x estimado e projeção anual).
• Apoiar a integração de plataformas ao painel único (gateway LiteLLM, OpenTelemetry, LangChain/LangGraph, LangFlow, CrewAI) e validar a exportação de logs/KPIs de plataformas SaaS (Agentforce, Wonderful, Copilot Studio).
• Conectar os indicadores ao inventário do IAbD e ao Comitê de Monitoramento IA apoiando também o monitoramento de modelos de ML (KS, Lift, drift).

Descrição Perfil Técnico:

• Langfuse (obrigatório, hands-on): tracing, scores, evaluations, datasets, experiments, Prompt Management, dashboards e configuração de custo por modelo.
• Observabilidade e avaliação de LLMs e agentes (LLM-as-a-Judge, métricas de qualidade, guardrails).
• Conceitos de OpenTelemetry e gateway LiteLLM.
• Python e SQL em nível básico/intermediário (leitura de traces, scripts e consultas) e prompt engineering.
• Governança de IA, gestão de riscos e frameworks.

Diferenciais:

• Microsoft Copilot Studio, Salesforce Agentforce e Gemini Enterprise.
• Noções de ambiente self-hosted (Docker/Kubernetes).
• Monitoramento de modelos de ML: KS, Lift, drift e data quality.

Competências Comportamentais:

• Boa comunicação e capacidade de traduzir o técnico para o negócio.
• Organização e disciplina de follow-up.
• Influência sem autoridade.
• Facilidade para atuar com diversas diretorias e times técnicos.
• Flexibilidade para mudança de rota.
• Pensamento analítico orientado a dados.
• Perfil hands-on, com autonomia técnica.
• Curiosidade e aprendizado contínuo em ferramentas de IA.
• Rigor com padronização, documentação e qualidade de dados.

Como Aplicar: Todas as incrições devem ser realizadas através do nosso portal de VAGAS (https://jump.inhire.app/vagas).

Informações da Empresa:

Nascida do objetivo de atender projetos e prestar serviços de forma eficiente e diferenciada somos uma empresa especializada em serviços de tecnologia e análise de dados, contando com uma equipe altamente capacitada em diversas áreas. Atendemos uma variedade de projetos, oferecendo expertise na captação e análise de dados, bem como a concepção e desenvolvimento de produtos.

Diferenciamo-nos pelo uso de uma metodologia única, proporcionando resultados de alta performance e qualidade com agilidade e eficiência. Acreditamos em ultrapassar o convencional, trazendo inovação para todos os segmentos de negócio .

Com mais de 12 anos de experiência no mercado de tecnologia, a Jump destaca-se como a parceira ideal para extrair o máximo potencial de seus dados de maneira eficaz e ágil. Nossa equipe especializada está sempre pronta para atender às necessidades específicas de nossos clientes em dados, a qualquer momento.