Offer summary

Qualifications:

Strong knowledge of data pipelines and architecture including Data Mesh concepts., Experience with AWS services such as Glue, S3, and Athena., Proficient in SQL and Python, with a solid understanding of object-oriented programming., Familiarity with Apache Spark and data formats like Parquet, JSON, and AVRO..

Key responsibilities:

Design and implement complex data pipelines and governance frameworks.

Collaborate on high-complexity projects using modern technology stacks.

Ensure data lineage and architecture compliance within the team.

Lead technical discussions and decisions, potentially guiding the team in the future.

Job description

Por que ser zupper?

Vamos direto ao ponto: o que oferecemos é um ambiente de crescimento exponencial. Mais do que palavras bonitas, isso significa que oferecemos todas as oportunidades para que você possa protagonizar sua evolução e todo o suporte necessário.

Como protagonismo sem apoio não gera desenvolvimento acelerado, além de oportunidades, cada zupper tem um plano de desenvolvimento de carreira, acompanhamento próximo por uma pessoa do time de People e acesso a uma plataforma proprietária que tangibiliza o sentimento de progresso.

E por que fazemos tudo isso?

Porque acreditamos que somente um ambiente de crescimento exponencial vai nos fazer chegar aonde queremos: usar a tecnologia para transformar a vida de pessoas, potencializar talentos desperdiçados por falta de acesso e posicionar regiões desprivilegiadas como pólos de tecnologia de qualidade.

Ah, e não podemos esquecer: na Zup acreditamos na #Liberdade! Com isso, zuppers podem trabalhar de onde quiserem, seja home office, em nossos escritórios ou em um modelo híbrido. Apesar disso, nosso contrato é 100% remoto, e você escolhe a forma que te convém.

O que você fará por aqui

Estamos em busca de uma pessoa Engenheira de Dados Sênior com forte atuação em Big Data, que domine desde a construção de pipelines até arquitetura e governança de dados. O desafio envolve atuar em projetos de alta complexidade, com stack moderna e boas práticas consolidadas.

O que esperamos que você saiba

Sólidos conceitos de pipeline de dados, incluindo o uso de camadas como Landing/Transiente, Raw/Trusted/Refined ou Bronze/Silver/Gold.
Entendimento de arquitetura Data Mesh e implementação de linhagem de dados.
Experiência com Delta Lake e domínio das características dos formatos Parquet, JSON e AVRO.
Vivência com serviços AWS, especialmente Glue (Jobs, Data Catalog, Crawler, Triggers), S3, Athena, Lake Formation, CloudWatch, IAM, KMS e Secrets Manager.
Experiência com bancos de dados SQL e NoSQL, com entendimento do modelo ACID.
Conhecimento em modelagem dimensional e relacional.
Domínio de SQL (agregações, cláusulas WHERE x HAVING, joins, funções de janela).
Sólida base em Python (listas, dicionários, tuplas, bibliotecas usuais, PEP8), incluindo programação orientada a objetos (classes, métodos, encapsulamento, abstração, herança e polimorfismo).
Vivência com Apache Spark, especialmente conceitos como Lazy Evaluation (action x transformation), gestão do plano de execução (cache, persist, checkpoint) e uso avançado de DataFrames no PySpark.

O que seria muito legal se você soubesse

Desejável perfil com visão sistêmica, boa capacidade de articulação técnica, autonomia para tomada de decisão e interesse em liderar tecnicamente o time no futuro próximo.

O que te oferecemos

Aqui não é só a sua carreira que importa, queremos que você tenha saúde e bem estar físico e mental para a melhor jornada de experiência profissional e pessoal da sua vida.

Carreira acelerada