O quê?
Onde?

Data Engineer

4,4
1.311 avaliações
São Paulo - SP
Salário a combinar
Híbrido
Hoje

Responsabilidades Desenhar e manter pipelines de ingestão batch e incremental a partir de fontes diversas (APIs, bancos transacionais, arquivos, plataformas de e-commerce) para o BigQuery. Modelar os dados em camadas (raw, staging, consumo) seguindo critérios de governança: views governadas, controle de acessos e nenhuma geração de dados isolados fora do modelo. Orquestrar os fluxos com Cloud Composer / Airflow e monitorar sua execução, horários e falhas. Otimizar custos e performance no BigQuery: particionamento, clustering e materialização. Implementar controles de qualidade de dados e alertas para falhas ou desvios. Preparar datasets e features para casos de uso de ML em conjunto com o ML Engineer. Documentar fontes, linhagem e regras de negócio, e registrar o andamento no Jira. Diferenciais Conhecimentos de Data Science: estatística aplicada, feature engineering e noções de modelos de ML (scikit-learn, BigQuery ML), para colaborar com o ML Engineer e preparar dados adequados para modelagem. dbt ou Dataform para transformações. Spark / PySpark. Microsoft Fabric (Pipelines, Lakehouse): hoje a engenharia não é feita no Fabric, mas o conhecimento soma pela convivência com a camada de reporting. Power BI no nível de modelo semântico, para entender como os dados são consumidos. Ferramentas de qualidade de dados (Dataplex). CI/CD para deploy de pipelines e infraestrutura (GitHub Actions ou Cloud Build). Experiência em e-commerce, varejo ou logística, com dados multipaís ou multicliente. Espanhol: desejável.

Número de vagas: 1

Tipo de contrato e Jornada: Efetivo – CLT - Período Integral

Área Profissional: Especialista em Informática, TI, Telecomunicações - Processamento de Dados

Assine a Conta Premium agora!
Exigências
  • Escolaridade Mínima: Ensino Superior
Valorizado
  • Experiência desejada: Entre 3 e 5 anos
Denunciar vaga

Outras vagas similares

Candidatar-me
Candidatar-me
Candidatar-me
Candidatar-me
Candidatar-me