Data Engineer II

À propos de l'équipe :

Notre mission en tant qu'organisation d'Analytique des Données et d'Ingénierie est de permettre à HashiCorp d'exploiter les données comme un atout stratégique en fournissant des solutions de données fiables, évolutives et efficaces. Notre objectif ultime est de permettre à nos parties prenantes de prendre des décisions éclairées basées sur les données et d'atteindre des objectifs commerciaux critiques. Nous recherchons un ingénieur de niveau intermédiaire pour rejoindre notre équipe !

Dans ce rôle, vous pouvez vous attendre à :

• Superviser et gouverner l'expansion de l'architecture des données existantes et optimiser les performances des requêtes de données selon les meilleures pratiques.
• Développer et maintenir des pipelines de données évolutifs et mettre en place de nouvelles intégrations d'API pour soutenir l'augmentation continue du volume et de la complexité des données.
• Collaborer avec les équipes d'analyse et d'affaires pour améliorer les modèles de données qui alimentent les outils d'intelligence d'affaires, augmentant ainsi l'accessibilité des données et favorisant la prise de décisions basées sur les données au sein de l'organisation.
• Mettre en œuvre des processus et des systèmes pour surveiller la qualité des données, en garantissant que les données de production sont toujours fiables et disponibles pour les principales parties prenantes et les processus commerciaux qui en dépendent.
• Écrire des tests unitaires/d'intégration, contribuer à l'encyclopédie d'ingénierie et documenter son travail.
• Effectuer des analyses de données nécessaires pour résoudre les problèmes liés aux données et aider à la résolution de ces derniers.
• Concevoir des intégrations de données et un cadre de qualité des données.
• Concevoir et évaluer des outils open-source et des outils de fournisseurs pour la traçabilité des données.
• Travailler en étroite collaboration avec toutes les unités commerciales et les équipes d'ingénierie pour développer une stratégie pour l'architecture à long terme de la plateforme de données.
• Développer les meilleures pratiques pour la structure des données afin d'assurer la cohérence au sein du système.

Vous êtes un bon candidat pour notre équipe si vous avez :

• Baccalauréat ou maîtrise en génie informatique, informatique ou domaine connexe.
• Expérience dans le développement et le déploiement de pipelines de données, de préférence dans le Cloud.
• Minimum de 2 ans d'expérience avec Snowflake - Snowflake SQL, Snow Pipe, Streams, Stored Procedure, Task, Hashing, Row Level Security, Time Travel, etc.
• Expérience pratique avec Snowpark et le développement d'applications avec Snowpark et Streamlit.
• Maîtrise des pipelines ETL ou ELT et des différents aspects, terminologies avec SQL pur comme SCD Dimensions, Delta Processing, etc.
• Expérience avec les services Cloud AWS - S3, Lambda, Glue, Athena, IAM, CloudWatch.
• Expérience pratique dans le développement et la maintenance d'API (API Restful) avec des technologies Cloud (comme AWS API Gateway, AWS Lambda, etc.).
• Expérience dans la création de pipelines pour l'intégration en temps réel et quasi temps réel en travaillant avec différentes sources de données - fichiers plats, XML, JSON, fichiers Avro et bases de données.
• Maîtrise de Python/Go pour écrire des fonctions maintenables, réutilisables et complexes pour le traitement des données en backend.
• Le développement frontend avec Python est un atout, mais pas nécessaire.
• Solides compétences en communication écrite et orale avec la capacité de synthétiser, simplifier et expliquer des problèmes complexes à différents publics.

About the team:

Our mission as a Data Analytics & Engineering organization is to enable HashiCorp to leverage data as a strategic asset by providing reliable, scalable, and efficient data solutions. Our ultimate goal is to enable our stakeholders to make informed, data driven decisions, and achieve critical business objectives. We are seeking a mid-level engineer to join our team!

In this role you can expect to:

• Oversee and govern the expansion of existing data architecture and the optimization of data query performance via best practices.
• Develop and maintain scalable data pipelines and builds out new API integrations to support continuing increases in data volume and complexity.
• Collaborates with analytics and business teams to improve data models that feed business intelligence tools, increasing data accessibility and fostering data-driven decision making across the organization.
• Implements processes and systems to monitor data quality, ensuring production data is always reliable and available for key stakeholders and business processes that depend on it.
• Writes unit/integration tests, contributes to engineering wiki, and documents work.
• Performs data analysis required to troubleshoot data related issues and assist in the resolution of data issues.
• Designs data integrations and data quality framework.
• Designs and evaluates open source and vendor tools for data lineage.
• Works closely with all business units and engineering teams to develop strategy for long term data platform architecture.
• Develop best practices for data structure to ensure consistency within the system

You may be a good fit for our team if you have:

• Bachelor's or Master's in computer engineering, computer science or related area.
• Experience in developing and deploying data pipelines, preferably in the Cloud..
• Minimum 2 years of experience with snowflake- snowflake SQL, Snow pipe, streams, Stored procedure, Task, Hashing, Row Level Security, Time Travel etc.
• Hands on experience with Snowpark and App development with Snowpark and Stream lit.
• Proficient in ETL or ELT Data Pipelines and various aspects, terminologies with Pure SQL like SCD Dimensions, Delta Processing etc.
• Working with AWS cloud services - S3, Lambda, Glue, Athena, IAM, CloudWatch.
• Hands-on experience in API (Restful API) development and maintenance with Cloud technologies( Like AWS API Gateway, AWS lambda etc).
• Experience in creating pipelines for real time and near real time integration working with different data sources - flat files, XML, JSON, Avro files and databases.
• Fluent in Python/Go language to be able to write maintainable, reusable, and complex functions for backend data processing. 
• Front development with python is good to have but not necessary.
• Robust written and oral communication skills with the ability to synthesize, simplify and explain complex problems to different audiences.

#LI-Remote