Engenheiro de Dados

Remote: 
Full Remote
Contract: 
Work from: 

Offer summary

Qualifications:

Sólida experiência como Engenheiro de Dados, focando na construção de pipelines escaláveis., Conhecimento avançado em Azure Data Services, incluindo Data Factory e Synapse., Habilidade com Python, Spark, SQL e PowerShell para manipulação de dados., Noções de segurança e compliance em dados, incluindo LGPD. .

Key responsibilities:

  • Projetar e desenvolver pipelines de ingestão de dados de fontes externas.
  • Integrar e consolidar dados no ambiente Azure, garantindo qualidade e consistência.
  • Implementar arquitetura de referência para processamento e armazenamento de dados.
  • Monitorar e otimizar a performance das cargas de dados, propondo melhorias.

Lumini IT Solutions logo
Lumini IT Solutions https://www.luminiitsolutions.com/
51 - 200 Employees
See all jobs

Job description

JOB DESCRIPTION

UTILIZE A SUA PAIXÃO POR TECNOLOGIA PARA CAUSAR IMPACTO POSITIVO E #VemSerLuminiIT


Aqui na Lumini IT a inovação e a resiliência fazem parte da nossa rotina.


Somos uma empresa de soluções de TI que preza pela qualidade e agilidade na entrega de seus serviços.


O nosso grande segredo para estar sempre um passo à frente do mercado é a audácia e a transformação que cada LUMINER promove todos os dias.


Nossa integridade nos impulsiona e, o melhor, todo mundo colabora com todo mundo, não importa quem deu a ideia, somos uma empresa de estratégia horizontal, todas as pessoas estão dispostas a ajudar e se envolvem legitimamente para fazer dar certo e entregar resultados.


Esta posição é para a área de dados aqui da Lumini e consiste em desenvolver projetos específicos para atender à realidade de companhias de diferentes tamanhos e realidades.


Curtiu? Inscreva-se na vaga!


RESPONSIBILITIES AND ASSIGNMENTS

Descrição da Posição


Estamos em busca de um Engenheiro de Dados para atuar na construção e integração de pipelines de dados no ambiente Azure, garantindo a ingestão, processamento e disponibilidade dos dados.

O profissional será responsável pela integração de APIs externas e bases de dados existentes, além da implementação de arquiteturas escaláveis para análise e tomada de decisão.

O projeto está inserido em um programa de longa duração de modernização e inovação com foco em Dados, IA, Produtividade, Otimização e Automação de Processos em uma grande transportadora no Brasil.


Principais Responsabilidades


  • Projetar e desenvolver pipelines de ingestão de dados de fontes externas (APIs, bancos relacionais e não relacionais, arquivos, sensores de telemetria, etc.);
  • Integrar e consolidar dados de diferentes fontes no ambiente Azure, garantindo qualidade e consistência;
  • Implementar arquitetura de referência para processamento e armazenamento de dados;
  • Criar e gerenciar data lakes, data warehouses e data marts dentro do ecossistema Azure;
  • Desenvolver e otimizar processos de ETL/ELT utilizando ferramentas da Microsoft como Azure Data Factory, Databricks, Synapse Analytics e Azure Functions;
  • Garantir a governança, segurança e escalabilidade dos pipelines de dados;
  • Monitorar e otimizar a performance das cargas de dados, identificando gargalos e propondo melhorias;
  • Trabalhar em estreita colaboração com cientistas de dados e analistas funcionais para atender às necessidades do negócio.

REQUIREMENTS AND QUALIFICATIONS

Perfil Desejado


  • Experiência sólida como Engenheiro de Dados, com foco em construção de pipelines escaláveis;
  • Conhecimento avançado em Azure Data Services, incluindo Data Factory, Synapse, Databricks, Azure SQL, Blob Storage e Monitoramento;
  • Experiência em integração de dados via APIs REST/SOAP e consumo de dados em tempo real;
  • Conhecimento em bancos de dados relacionais (SQL Server, PostgreSQL) e não relacionais (CosmosDB, MongoDB);
  • Habilidade com Python, Spark, SQL e PowerShell para manipulação e processamento de dados;
  • Experiência com DataOps, versionamento de código (Git) e CI/CD para pipelines de dados;
  • Conhecimento em modelagem de dados, otimização de consultas e tuning de banco de dados;
  • Noções de segurança e compliance em dados, incluindo LGPD e melhores práticas de armazenamento e compartilhamento;
  • Capacidade de documentação e comunicação clara para interação com equipes técnicas e de negócio.


 Diferenciais


  • Experiência com event-driven architectures usando Azure Event Hub ou Kafka.
  • Conhecimento em machine learning pipelines e MLOps no Azure.
  • Certificações Microsoft (DP-203 – Azure Data Engineer Associate ou afins).

ADDITIONAL INFORMATION

Modalidade de Trabalho: 100% Home Office;

Contratação: PJ;

Horário de atuação da equipe: comercial.



Importante: Nós valorizamos a diversidade e inclusão, consideramos todos os candidatos para as nossas vagas, independente de cor, raça, religião, gênero e identidade de gênero, nacionalidade, deficiência, orientação sexual, ascendência, idade, etc.


O DNA da Lumini IT Solutions é pautado pela inovação e performance!

Com mais de 10 anos de experiência na gestão de ambientes de TI de missão crítica, a Lumini utiliza o poder da inteligência operacional para oferecer serviços de tecnologia acessíveis e de alto valor. Nossa abordagem ao gerenciamento de ambientes de TI vai muito além de bits e bytes. O que nos move é disseminar uma cultura de melhoria contínua em processos de negócios dos nossos clientes. A Lumini trabalha pela democratização do uso de tecnologias como serviços cognitivos, machine learning, monitoramento de informação em tempo real e data science, atendendo a empresas de qualquer tamanho que tenham o anseio e a pretensão de transformar os seus mercados.


Required profile

Experience

Spoken language(s):
Portuguese
Check out the description to know which languages are mandatory.

Other Skills

  • Communication

Related jobs