Senior Data Python Developer/Engineer - #449899

Req ID: 328891

NTT DATA strives to hire exceptional, innovative and passionate individuals who want to grow with us. If you want to be part of an inclusive, adaptable, and forward-thinking organization, apply now.

We are currently seeking a Senior Data Python Developer/Engineer to join our team in Montreal, Quebec (CA-QC), Canada (CA).

En tant qu'ingénieur(e) senior en plateforme de données Python, vous intégrerez l'équipe C3 Data Warehouse et vous vous concentrerez sur la création de notre plateforme de données nouvelle génération, utilisée pour l'approvisionnement et le stockage des données issues de différents systèmes technologiques de l'entreprise, en une plateforme centralisée permettant de fournir diverses solutions de reporting et d'analyse aux fonctions Risques technologiques de Morgan Stanley. À ce poste, vous serez principalement chargé(e) de contribuer au développement d'un framework de pipeline de données unifié, écrit en Python et utilisant des technologies telles qu'Airflow, DBT, Spark et Snowflake. Vous contribuerez également à l'intégration de ce framework aux plateformes internes existantes pour la qualité, le catalogage et la découverte des données, la journalisation des incidents et la génération d'indicateurs. Vous travaillerez en étroite collaboration avec les responsables de l'entreposage de données, les analystes de données, les développeurs ETL, les ingénieurs infrastructure et les équipes d'analyse de données afin de faciliter la mise en œuvre de cette plateforme et de ce framework de pipeline de données.

PRINCIPALES RESPONSABILITÉS :

• Développer divers composants en Python de notre framework de pipeline de données unifié.
• Contribuer à l'élaboration de bonnes pratiques pour une utilisation optimale et efficace d'Airflow, DBT et Snowflake.
• Participer aux tests et au déploiement de notre infrastructure de pipeline de données à l'aide de frameworks de test standard et d'outils CI/CD.
• Surveiller les performances des requêtes et des chargements de données et effectuer les ajustements nécessaires.
• Fournir une assistance et des conseils pendant les phases d'assurance qualité et d'acceptation des utilisateurs afin de confirmer rapidement la validité des problèmes potentiels et d'en déterminer la cause profonde et la meilleure solution pour les problèmes vérifiés.
  
  

COMPÉTENCES / QUALIFICATIONS :

• Licence en informatique, génie logiciel, technologies de l'information ou domaine connexe requise.
• Au moins 10 ans d'expérience en développement et solutions de données dans des environnements de données très complexes avec d'importants volumes de données.
• Au moins 7 ans d'expérience en SQL/PLSQL avec la capacité à écrire des requêtes ad hoc et complexes pour l'analyse de données.
  
  

Au moins 7 ans d'expérience dans le développement de pipelines de données et de solutions d'entreposage de données avec Python et des bibliothèques telles que Pandas, NumPy, PySpark, etc.

Au moins 3 ans d'expérience dans le développement de solutions dans un environnement de données hybride (sur site et cloud)

Au moins 3 ans d'expérience dans le développement de DAG Airflow pour orchestrer des pipelines de données utilisant la ramification, la génération dynamique de DAG/tâches et la gestion des erreurs.

Expérience pratique du développement de pipelines de données pour les données structurées, semi-structurées et non structurées, et expérience de l'intégration avec leurs bases de données (par exemple, SGBDR, bases de données NoSQL, bases de données de documents, fichiers journaux, etc.)

Une expérience pratique avec Snowflake est indispensable.

Une expérience pratique avec Apache Spark est indispensable.

Une expérience pratique avec Airflow (ou des outils similaires comme Dagster) est indispensable.

Une expérience pratique avec DBT est un atout.

• Expérience avec les requêtes SQL d'optimisation des performances, les tâches Spark et les procédures stockées.
• Compréhension des modèles de données E-R (conceptuels, logiques et physiques).
• Compréhension des concepts avancés d'entrepôt de données (tables de faits sans faits, modèles temporels et bitemporels, etc.) un atout.
• Solides compétences analytiques, notamment une compréhension approfondie de l'interprétation des exigences métier des clients et de leur traduction en conceptions et solutions techniques.
• Excellentes compétences en communication, tant à l'oral qu'à l'écrit. Capacité à collaborer efficacement avec divers groupes informatiques et métiers, dans différentes régions et différents rôles, et à interagir efficacement avec tous les niveaux hiérarchiques.
• Autonomie. Capacité avérée à gérer plusieurs projets simultanés avec un minimum de supervision. Capacité à gérer une liste de priorités complexe et en constante évolution et à résoudre les conflits entre priorités concurrentes.
• Excellentes compétences en résolution de problèmes. Capacité à identifier les points à cibler et à clarifier les objectifs, les exigences et les priorités de l'entreprise.
  
  

As a Senior Python Data Platform Engineer, you will be a member of the C3 Data Warehouse team with a focus on building our next-gen data platform used for sourcing and storing data from different technology systems across the firm into a centralized data platform that empowers various reporting and analytics solutions for the Technology Risk functions within Morgan Stanley. In this role you will be primarily responsible for contributing to the development of a unified data pipeline framework written in Python utilizing technologies such as Airflow, DBT, Spark and Snowflake. You will also be responsible for contributing to the integration of this framework with existing internal platforms for data quality, data cataloging, data discovery, incident logging, and metric generation. You will be working closely with data warehousing leads, data analysts, ETL developers, infrastructure engineers, and data analytics teams to facilitate the implementation of this data platform and data pipeline framework.

KEY RESPONSIBILITIES:

• To develop various components in Python of our unified data pipeline framework.
• To contribute towards the establishment of best practices for the optimal and efficient usage of Airflow, DBT and Snowflake.
• To assist with the testing and deployment of our data pipeline framework utilizing standard testing frameworks and CI/CD tooling.
• To monitor the performance of queries and data loads and perform tuning as necessary.
• To provide assistance and guidance during the QA & UAT phases to quickly confirm the validity of potential issues and to determine the root cause and best resolution of verified issues.
  
  

SKILLS / QUALIFICATIONS:

• Bachelor’s degree in Computer Science, Software Engineering, Information Technology, or related field required.
• At least 10 years of experience in data development and solutions in highly complex data environments with large data volumes.
• At least 7 years of SQL / PLSQL experience with the ability to write ad-hoc and complex queries to perform data analysis.
• At least 7 years of experience developing data pipelines and data warehousing solutions using Python and libraries such as Pandas, NumPy, PySpark, etc.
• At least 3 years of experience developing solutions in a hybrid data environment (on-Prem and Cloud)
• At least 3 years of experience developing Airflow DAGs to orchestrate data pipelines that utilize branching, dynamic DAG / task generation, and error handling.
• Hands on experience with developing data pipelines for structured, semi-structured, and unstructured data and experience integrating with their supporting stores (e.g. RDBMS, NoSQL DBs, Document DBs, Log Files, etc.)
• Hands on experience with Snowflake a must.
• Hands on experience with Apache Spark a must.
• Hands on experience with Airflow (or similar tools like Dagster) a must.
• Hands on experience with DBT preferred.
• Experience with performance tuning SQL queries, Spark job, and stored procedures.
• An understanding of E-R data models (conceptual, logical, and physical).
• Position is hybrid, so must reside or relocate to Montreal.
  
  

Preferred Skills:

• Understanding of advanced data warehouse concepts (Factless Fact Tables, Temporal \ Bi-Temporal models, etc.) a plus.
• Strong analytical skills, including a thorough understanding of how to interpret customer business requirements and translate them into technical designs and solutions.
• Strong communication skills both verbal and written. Capable of collaborating effectively across a variety of IT and Business groups, across regions, roles and able to interact effectively with all levels.
• Self-starter. Proven ability to manage multiple, concurrent projects with minimal supervision. Can manage a complex ever changing priority list and resolve conflicts to competing priorities.
• Strong problem-solving skills. Ability to identify where focus is needed and bring clarity to business objectives, requirements, and priorities.
  
  

About NTT DATA

NTT DATA is a $30 billion trusted global innovator of business and technology services. We serve 75% of the Fortune Global 100 and are committed to helping clients innovate, optimize and transform for long term success. As a Global Top Employer, we have diverse experts in more than 50 countries and a robust partner ecosystem of established and start-up companies. Our services include business and technology consulting, data and artificial intelligence, industry solutions, as well as the development, implementation and management of applications, infrastructure and connectivity. We are one of the leading providers of digital and AI infrastructure in the world. NTT DATA is a part of NTT Group, which invests over $3.6 billion each year in R&D to help organizations and society move confidently and sustainably into the digital future. Visit us at us.nttdata.com

NTT DATA endeavors to make https://us.nttdata.com accessible to any and all users. If you would like to contact us regarding the accessibility of our website or need assistance completing the application process, please contact us at https://us.nttdata.com/en/contact-us . This contact information is for accommodation requests only and cannot be used to inquire about the status of applications. NTT DATA is an equal opportunity employer. Qualified applicants will receive consideration for employment without regard to race, color, religion, sex, sexual orientation, gender identity, national origin, disability or protected veteran status. For our EEO Policy Statement, please click here . If you'd like more information on your EEO rights under the law, please click here . For Pay Transparency information, please click here .