Especialista Engenharia de Dados

Principais

Responsabilidades:

• Projetar, desenvolver e evoluir pipelines de dados para ingestão, transformação e disponibilização de informações
• Atuar na definição e evolução da arquitetura da plataforma de dados, incluindo arquitetura Lakehouse e Arquitetura Medalhão (Bronze, Silver e Gold)
• Desenvolver e otimizar soluções utilizando SQL, Python e PySpark
• Atuar com Azure Databricks, Azure Data Lake Storage (ADLS Gen2), Delta Lake e Unity Catalog
• Definir estratégias de particionamento, compactação e organização das tabelas, incluindo tratamento de problemas de small files
• Monitorar e otimizar a performance de jobs, pipelines e consultas, identificando gargalos e oportunidades de melhoria
• Desenvolver estratégias de ingestão batch e incremental e integrações com bancos de dados, APIs, sistemas corporativos e outras fontes
• Apoiar a implementação de governança, segurança, qualidade, monitoramento e observabilidade dos pipelines
• Avaliar impactos de arquitetura, escalabilidade, performance e custos das soluções
• Definir e disseminar padrões e boas práticas de Engenharia de Dados
• Apoiar tecnicamente engenheiros de dados e demais profissionais da área
• Atuar em conjunto com Analytics na definição das estruturas e camadas disponibilizadas para consumo
• Documentar arquiteturas, padrões, fluxos e decisões técnicas da plataforma.