Engenheiro(a) de Dados (Pleno)

Descrição

Estamos em busca de um(a) Engenheiro(a) de Dados para desenvolver, implementar, otimizar e manter processos de ETL (extração, transformação e carga) de ponta a ponta, manipulando grandes volumes de dados na nuvem. Esta pessoa será responsável por criar processos de extração de dados provenientes de diversas fontes, como bancos de dados NoSQL, bancos vetoriais, APIs, planilhas, entre outros. Além disso, terá o papel de projetar, construir e manter soluções de dados na nuvem, utilizando plataformas como AWS, Google Cloud, Azure ou outras específicas para dados.Essa função também envolve analisar cenários de big data e propor soluções nas plataformas adequadas, considerando o impacto sobre a infraestrutura, o usuário final (ferramentas de visualização de análises) e os custos envolvidos.

Também será responsável por monitorar o desempenho dos sistemas, recomendar SGBDs SQL, NoSQL e vetoriais/grafos para casos específicos da Payface, manter o mapa de dados da empresa e colaborar com equipes multidisciplinares para assegurar a integração e a qualidade dos dados. Outra atribuição é preparar e otimizar conjuntos de dados para a aplicação de modelos de machine learning, sempre garantindo a integridade e qualidade dos dados.

Responsabilidades e atribuições

• Desenvolver, implementar e manter processos de ETL para manipulação de grandes volumes de dados na nuvem.
• Criar processos de extração de dados de diferentes fontes, incluindo bancos de dados NoSQL, vetoriais, APIs e planilhas.
• Projetar, construir e manter soluções de dados na nuvem, utilizando plataformas como AWS, Google Cloud, Azure, entre outras.
• Analisar cenários de big data e propor soluções em plataformas de dados, considerando impacto na infraestrutura, experiência do usuário final e custos.
• Avaliar e recomendar o uso de SGBDs SQL, NoSQL e vetoriais/grafos para cenários específicos.
• Manter e atualizar o mapa de dados da Payface.
• Colaborar com equipes multidisciplinares para assegurar a qualidade e integração dos dados.
• Monitorar a performance dos sistemas e implementar melhorias quando necessário.
• Preparar e otimizar conjuntos de dados para modelos de machine learning, garantindo a integridade e qualidade dos dados.
  
  

Requisitos e qualificações

• Experiência sólida no desenvolvimento de processos de ETL e modelagem de dados.
• Conhecimento avançado em pelo menos uma das principais plataformas de nuvem: AWS, Google Cloud, Azure ou Big Query.
• Fluência em Python (ou Scala), SQL e ferramentas de integração de dados.