Engenheiro de Dados Sênior (AWS - PySpark - Kafka)

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. Isso não poderia ser diferente com o nosso principal combustível: as pessoas! Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.

Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.

Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro. Cadastre-se agora mesmo em nossas vagas!

Responsabilidades e atribuições

Buscamos um Engenheiro de Dados Sênior que, além de construir e operar pipelines, assuma responsabilidade arquitetural sobre a plataforma de dados orientada a eventos: desenho de tópicos e contratos de eventos, padrões de ingestão em streaming, processamento com PySpark e decisões de performance, resiliência e custo no ambiente AWS. É uma posição de execução técnica pesada: a pessoa escreve código, faz tuning de Kafka e Spark, revisa o desenho de terceiros e responde pela confiabilidade dos dados que alimentam painéis executivos, relatórios a clientes e obrigações regulatórias.

O ambiente é regulado, no mercado financeiro e de investimentos, onde rastreabilidade, reprodutibilidade e correção auditável dos números são requisitos de primeira ordem. A interlocução acontece com áreas como Wealth Management, Comercial, Risco, Compliance e Operações, além da atuação como referência técnica em Kafka e streaming para engenheiros pleno e júnior.

Principais responsabilidadesProjetar e evoluir a arquitetura orientada a eventos na AWS, com Kafka (Amazon MSK ou Confluent) como backbone de integração entre sistemas transacionais e a plataforma analítica.

Desenvolver producers e consumers Kafka com PySpark (Spark Structured Streaming), com controle explícito de offsets, checkpointing, idempotência, tratamento de late data e semântica de entrega adequada a cada caso.

Definir e defender o desenho de tópicos, chaves, particionamento, retenção, compactação e contratos de eventos, com justificativa de trade-offs entre ordenação, throughput e custo.

Governar esquemas no Schema Registry (Avro, Protobuf ou JSON Schema), definindo regras de compatibilidade e evolução sem quebrar consumidores.

Implementar Change Data Capture (CDC) de bancos transacionais via Kafka Connect ou Debezium e integrar com fontes como APIs de custodiantes, distribuidores e provedores de mercado.

Construir a camada de persistência dos eventos no Data Lake em S3, com formatos de tabela abertos (Iceberg ou Delta), organização de camadas e integração com Glue, EMR e Redshift.

Conduzir tuning de performance e custo em Kafka e Spark, cobrindo lag de consumer groups, rebalanceamento, dimensionamento de brokers, micro-batch, skew e spill.

Instrumentar observabilidade e controles automatizados de qualidade dos fluxos de eventos, cobrindo lag, freshness, volumetria, quebras de contrato e reconciliação entre origem e destino.

Garantir linhagem e rastreabilidade ponta a ponta, da origem do evento ao número no painel, aplicando controles de acesso, criptografia, segregação por sensibilidade e conformidade com LGPD e normas do setor.

Automatizar provisionamento e deploy da plataforma com infraestrutura como código e CI/CD, documentar decisões arquiteturais (ADRs) e atuar em code review, pareamento e definição de padrões com o time.

Requisitos e qualificações

Requisitos obrigatórios6+ anos de experiência em engenharia de dados, sendo pelo menos 2 anos com responsabilidade arquitetural sobre plataformas orientadas a eventos (ter desenhado a arquitetura, não apenas implementado o desenho de outra pessoa).

Histórico comprovado de ter colocado em produção e operado uma plataforma de streaming com Kafka, com incidentes, plantão e consequências reais.

Domínio de Apache Kafka: tópicos, partições, chaves, consumer groups, offsets, retenção, compactação, rebalanceamento, configuração de producers e consumers e diagnóstico de lag.

Experiência prática na construção de producers e consumers com PySpark (Spark Structured Streaming) integrados ao Kafka, incluindo checkpointing, triggers, watermarks e gestão de estado.

Experiência consolidada no ecossistema de dados AWS: Amazon MSK, S3, Glue, EMR, Lambda, IAM e Redshift ou equivalente.

Python aplicado a engenharia de dados, com código modular, testável e versionado (não apenas notebooks), incluindo tipagem e testes automatizados.

SQL avançado, com window functions, CTEs e leitura de plano de execução.

Schema Registry e formatos de serialização (Avro, Protobuf ou JSON Schema), com regras de compatibilidade e evolução de esquemas.

Kafka Connect ou Debezium para Change Data Capture (CDC) e integração de fontes transacionais à plataforma de dados.

Infraestrutura como código (Terraform, CloudFormation ou CDK), Git, cultura de code review e CI/CD aplicado a dados.

Formatos de tabela abertos (Iceberg ou Delta) e arquitetura Lakehouse sobre S3.

Diferenciais

Experiência no mercado financeiro: investimentos, wealth management, custódia, renda fixa e variável, fundos, posição e movimentação.

Vivência com dados regulatórios de CVM, BACEN, BSM e ANBIMA, incluindo prazos e formatos de entrega.

Confluent Cloud ou Confluent Platform, Kafka Streams, ksqlDB ou Apache Flink (incluindo Amazon Managed Service for Apache Flink).

Kinesis Data Streams e Firehose como alternativa ou complemento ao Kafka na AWS.

Orquestração com Apache Airflow (MWAA) ou Step Functions e transformação versionada com dbt.

Ferramentas de qualidade, catálogo e observabilidade (Great Expectations, Soda, DataHub, OpenMetadata, Prometheus, Grafana, CloudWatch).

Certificações AWS (Data Engineer, Solutions Architect) ou Confluent Certified Developer for Apache Kafka.

Competências comportamentais

Rigor com correção numérica e com garantias de entrega: em ambiente regulado, evento perdido ou duplicado é dado errado.

Comunicação escrita clara, capaz de registrar a arquitetura de eventos em documento que sobreviva à saída do autor.

Autonomia para investigar do painel até o evento de origem sem depender de aprovação a cada passo.

Postura de referência técnica, com code review, pareamento e mentoria de profissionais pleno e júnior.

Capacidade de traduzir demandas de negócio em desenho de eventos sustentável, inclusive recusando atalhos que geram dívida técnica.

Honestidade na estimativa de escopo, risco e prazo no planejamento técnico.

INDISPENSÁVEL Conhecimento/Atuação em: Apache Kafka em produção (Amazon MSK ou Confluent), com desenho de tópicos e operação de consumer groupsProducers e consumers com PySpark (Spark Structured Streaming) integrados ao KafkaEcossistema de dados AWS (MSK, S3, Glue, EMR, IAM)Schema Registry e Change Data Capture (Kafka Connect ou Debezium)Infraestrutura como código e CI/CD aplicado a dados

Informações adicionais

Atuação: 100%Remoto.