O Engenheiro de Dados Sênior será responsável por projetar, construir, otimizar e sustentar toda a plataforma de dados baseada em Azure Databricks, garantindo qualidade, governança, segurança, performance e escalabilidade.É um papel altamente técnico, com forte atuação em arquitetura, automação, governança e integração entre áreas. Projetar, implementar e evoluir arquiteturas Lakehouse utilizando o padrão Medallion (Bronze, Silver, Gold) em produção. Definir padrões de modelagem, versionamento e organização de tabelas no Unity Catalog, incluindo permissões, lineage e governança. Documentar arquiteturas, fluxos, padrões e boas práticas de engenharia de dados. Construir pipelines robustos de ingestão, transformação e disponibilização de dados em Python, PySpark e SQL avançado. Desenvolver pipelines em batch e streaming utilizando Databricks Jobs, Workflows, Delta Live Tables / Lakeflow. Implementar processos de reconciliação, checagem e qualidade de dados (DQX) com testes automatizados. Otimizar performance de jobs Spark, particionamento, caching e estratégias de custo. Administrar e operar recursos de dados no Azure Databricks, ADLS, Azure Data Factory, Azure DevOps, Azure Functions, Synapse Analytics, entre outros. Abrir, acompanhar e detalhar incidentes na Azure (inglês intermediário). Monitorar, observar e tratar falhas em pipelines, garantindo confiabilidade e SLA. Configurar permissões, acessos e governança via Unity Catalog. Garantir segurança, integridade e conformidade dos dados (incluindo LGPD). Implementar padrões de auditoria, lineage e rastreabilidade. Criar testes automatizados de qualidade, reconciliação e validação de dados. Utilizar ferramentas como DQX Databricks para monitoramento contínuo. Realizar data profiling, verificação de integridade e consistência. Versionar código com Git e implementar pipelines de CI/CD em Azure DevOps. Automatizar deploys de notebooks, workflows, bundles e artefatos Databricks. Implementar Asset Bundles para empacotamento e promoção entre ambientes. Trabalhar em conjunto com times de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura. Apoiar equipes menos experientes, promovendo boas práticas de engenharia. Traduzir necessidades de negócio em soluções escaláveis e eficientes. Obrigatórios: - Python - PySpark - Azure Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow, Unit Catalog (permissões) e Asset Bundles; - Microsoft Azure Cloud - SQL avançado - Git e CI/CD pipelines (Azure DevOps) - Inglês Intermediário (Abrir incidentes na Azure) - Qualidade e reconciliação de dados: testes automatizados, DQX Databricks. Diferenciais/desejável: - Conhecimento em AWS - Azure Kubernetes Service (AKS) - Noções de IA na cloud - Certificações Databricks (Data Engineer Associate / Professional).

Número de vagas: 1

Tipo de contrato e Jornada: Efetivo – CLT - Período Integral

Área Profissional: Especialista em Informática, TI, Telecomunicações - TI

Denunciar vaga