Engenheiro(a) de Dados Sênior – Azure Databricks

Modelo: Remoto

Empresa contratante : Avantti Tecnologia Área: Tecnologia | Engenharia de Dados Nível: Sênior Modelo de contratação: CLT Modalidade de trabalho: Remota

Inglês avançado obrigatório, ambiente Global

Sobre a oportunidade A Avantti Tecnologia está em busca de um(a) Engenheiro(a) de Dados Sênior, com mais de 8 anos de experiência em Engenharia de Dados, para atuar na construção, evolução, otimização e sustentação de soluções de dados em ambientes corporativos de grande escala.

Buscamos um profissional com sólida experiência no ecossistema Microsoft Azure, especialmente em Azure Databricks, PySpark, Azure Data Factory (ADF), Azure Data Lake, Python e SQL.

É fundamental ter experiência prática no desenvolvimento de pipelines ETL/ELT, transformação e integração de dados, otimização de performance e suporte a ambientes produtivos, garantindo soluções escaláveis, confiáveis e eficientes para demandas analíticas e de negócio.

Principais responsabilidades Desenvolver, manter e otimizar pipelines de dados utilizando Azure Databricks, PySpark, Azure Data Factory, Python e Azure Data Lake.

Construir e sustentar processos ETL/ELT para integração de dados corporativos e atendimento às necessidades analíticas.

Realizar ingestão, transformação, validação e reconciliação de dados provenientes de múltiplos sistemas.

Executar análise e profiling de dados, identificando problemas de qualidade e garantindo consistência e confiabilidade das informações.

Desenvolver, escrever e otimizar consultas SQL complexas, visando alto desempenho no processamento de dados.

Realizar tuning de performance e troubleshooting em cargas de trabalho de grande escala.

Atuar na resolução de incidentes de produção Nível 2, envolvendo pipelines do Azure Data Factory, jobs do Databricks e fluxos de processamento.

Monitorar e sustentar pipelines em produção, assegurando disponibilidade, escalabilidade e eficiência operacional.

Apoiar processos de deploy e releases nos ambientes de desenvolvimento, homologação e produção.

Gerenciar prioridades e demandas de múltiplos projetos, atuando com autonomia e foco no cumprimento dos prazos.

Requisitos obrigatórios Experiência comprovada em Engenharia de Dados e desenvolvimento de processos ETL.

Experiência sólida e prática com Azure Databricks e Azure Data Factory (ADF).

Domínio de desenvolvimento ETL/ELT e transformação de dados.

Conhecimento avançado em SQL, incluindo desenvolvimento, otimização e tuning de consultas complexas.

Experiência com Python e PySpark.

Vivência com Azure Data Lake e integração de dados corporativos.

Experiência com análise, validação, profiling e qualidade de dados.

Experiência com sustentação, monitoramento e troubleshooting de pipelines em produção.

Capacidade de atuação independente, organização e gestão de prioridades.

Boa comunicação verbal e escrita.

Diferenciais Experiência com pipelines de CI/CD e práticas de DevOps.

Conhecimento de Git, Azure DevOps ou ferramentas similares de versionamento e deploy.

Familiaridade com ferramentas de monitoramento, logging e observabilidade em ambientes cloud.

Perfil comportamental Perfil analítico, investigativo e orientado à resolução de problemas.

Autonomia para conduzir atividades e solucionar desafios técnicos complexos.

Organização e capacidade de administrar demandas simultâneas.

Boa comunicação e facilidade para interação com equipes multidisciplinares.

Comprometimento com qualidade, performance e entregas.