Le data engineer construit et fait tourner la tuyauterie dont dépendent toutes les équipes qui exploitent des données : analystes, data scientists, équipes produit, finance, opérations. Son travail se voit peu quand tout fonctionne, et beaucoup quand un tableau de bord affiche des chiffres faux ou qu’un modèle s’entraîne sur des données de la veille. C’est un métier d’ingénieur logiciel appliqué aux données, avec ses propres contraintes de volume, de fraîcheur, de qualité et de coût. Cet article décrit ce qu’il fait, ce qui le distingue des métiers voisins, les compétences attendues, les parcours qui y mènent et la façon de présenter ce profil sur un CV.
Ce que fait un data engineer au quotidien
Le cœur du métier tient en un mot : les pipelines. Un pipeline de données récupère une information là où elle naît (une application, une base de production, un capteur, un fichier envoyé par un partenaire, une API), la transforme et la dépose là où elle sera utilisée (un entrepôt de données, un lac, un outil de visualisation, un modèle).
Concrètement, une semaine de data engineer mélange plusieurs types de travail.
- Construire des ingestions : connecter une nouvelle source, gérer les formats, les changements de schéma, les reprises après erreur.
- Écrire des transformations : nettoyer, dédoublonner, joindre, agréger, le plus souvent en SQL, parfois en Python ou avec Spark 🔗 quand les volumes l’exigent.
- Orchestrer : planifier les traitements, gérer leurs dépendances et leurs échecs avec un outil comme Airflow 🔗, Dagster ou les orchestrateurs des clouds.
- Garantir la qualité : écrire des tests sur les données, surveiller les volumes et les valeurs aberrantes, alerter les bonnes personnes quand une source dérive.
- Gérer la plateforme et ses coûts : choisir le partitionnement des tables, régler les quotas, surveiller la facture de l’entrepôt, automatiser le déploiement de l’infrastructure.
- Échanger avec les utilisateurs : comprendre ce dont une équipe a besoin, documenter les tables, expliquer pourquoi un indicateur a changé.
Selon l’entreprise, l’équilibre varie. Dans une scale-up, le data engineer est souvent seul ou à deux et couvre toute la chaîne. Dans un grand groupe, il peut se concentrer sur l’ingestion de flux temps réel, sur la plateforme ou sur un domaine métier.
Data engineer, analytics engineer, data scientist
Les intitulés se recouvrent, et les offres les mélangent. Trois repères aident à s’y retrouver.
Le data engineer est responsable du mouvement et de la fiabilité des données : ingestion, flux, plateforme, performance, coûts. Il code beaucoup, en Python, en SQL, parfois en Scala ou en Java, et travaille avec les outils de l’ingénierie logicielle (Git, tests, intégration continue, conteneurs, infrastructure as code).
L’analytics engineer est un rôle plus récent, popularisé par des outils comme dbt 🔗. Il se place entre le data engineer et l’analyste : il part des données déjà ingérées dans l’entrepôt et construit les modèles propres, testés et documentés que les analystes utilisent. Son outil principal est le SQL, avec les pratiques du logiciel (versionnement, revues, tests).
Le data scientist exploite les données pour répondre à une question ou construire un modèle : prévision, segmentation, recommandation, expérimentation. Il consomme le travail des deux premiers. Pour lui, la statistique et la modélisation priment sur la tuyauterie.
Dans une petite structure, une même personne peut tenir deux de ces rôles. Sur un CV, il faut pourtant choisir son centre de gravité. Le modèle de CV de data engineer et celui de CV de data scientist montrent bien la différence : mêmes langages, mais des puces qui ne racontent pas du tout la même chose.
Les compétences attendues
Les offres de data engineer convergent vers un socle commun, que l’on peut ranger en quatre blocs.
Le socle logiciel
- Python pour les ingestions, les scripts et les tests, avec les bonnes pratiques du développement : structure de projet, gestion des dépendances, tests unitaires ;
- Git, la revue de code et l’intégration continue ;
- Docker, et souvent des notions d’infrastructure as code (Terraform) pour déployer ses propres outils.
Les données
- SQL avancé : jointures complexes, fonctions de fenêtrage, optimisation de requêtes, lecture d’un plan d’exécution ;
- la modélisation : schéma en étoile, tables de faits et de dimensions, historisation des changements ;
- les formats et le stockage : Parquet, Avro, partitionnement, compression.
La plateforme
- un entrepôt cloud : BigQuery, Snowflake, Redshift ou Databricks ;
- un orchestrateur : Airflow, Dagster, Prefect ;
- un outil de transformation : dbt est devenu très répandu ;
- le temps réel pour certains postes : Kafka 🔗, Pub/Sub, Kinesis, Spark Structured Streaming.
Les pratiques
- la qualité des données : tests, contrats de schéma, observabilité ;
- la gouvernance : catalogue, documentation, gestion des accès, respect des règles de protection des données personnelles ;
- la maîtrise des coûts : chaque requête mal écrite sur un entrepôt cloud a un prix.
Personne ne maîtrise tout. Un junior est attendu sur Python, SQL, Git et un orchestrateur ; un confirmé sur la conception de pipelines robustes et la modélisation ; un senior sur l’architecture de la plateforme, la qualité et les coûts à l’échelle.
Les parcours pour y arriver
Il n’existe pas de diplôme unique de data engineer. Les profils arrivent par plusieurs portes.
Les écoles d’ingénieurs et les masters en informatique ou en science des données fournissent le socle le plus direct : bases de données, systèmes distribués, génie logiciel. Un stage ou une alternance dans une équipe data permet ensuite d’entrer directement sur un poste junior.
Les développeurs backend font souvent une très bonne transition : ils maîtrisent déjà le code, les tests et la production. Il leur reste à approfondir le SQL analytique, la modélisation et les outils de la donnée. Sur un CV, ils mettent en avant les traitements par lots, les files de messages et les bases de données qu’ils ont déjà manipulés.
Les data analysts qui codent passent fréquemment par le rôle d’analytics engineer avant de devenir data engineers. Leur atout est la connaissance des besoins métier ; leur chantier est le socle logiciel (Python structuré, tests, Git, déploiement).
Les administrateurs de bases de données et les ingénieurs d’exploitation peuvent aussi s’orienter vers ce métier, en s’appuyant sur leur connaissance des performances et de l’infrastructure.
Les certifications des fournisseurs cloud orientées données, comme Google Cloud Professional Data Engineer 🔗, AWS Certified Data Engineer – Associate 🔗 ou celle de Databricks 🔗, structurent l’apprentissage d’une plateforme. Elles aident au premier tri quand l’offre cite le fournisseur, sans remplacer un pipeline réellement construit.
Construire un CV de data engineer
Un CV de data engineer convaincant raconte des flux, pas des outils. Pour chaque expérience, il répond à quatre questions : d’où viennent les données, quel volume passe, en combien de temps elles sont disponibles, et pour qui.
Avant : « Développement de pipelines de données avec Airflow, Spark et BigQuery. »
Après : « Conception du pipeline d’ingestion des commandes du site et des magasins vers BigQuery (Airflow, dbt) : 3 millions de lignes par jour, données disponibles pour l’équipe pricing avant 7 h, tests de fraîcheur et de volume avec alerte dans le canal de l’équipe. »
Quelques conseils complémentaires :
- montrez la qualité par un effet : moins d’incidents signalés par les utilisateurs, un délai de correction réduit, des tests ajoutés sur les tables critiques ;
- mentionnez les coûts si vous les avez réduits, même de façon modeste ;
- regroupez vos outils par usage (ingestion, orchestration, transformation, entrepôt, infrastructure), comme le détaille notre article sur la présentation de la stack technique ;
- préparez l’entretien de conception : on vous demandera presque toujours de dessiner un pipeline au tableau. Notre article sur la préparation d’un entretien technique donne une méthode pour raconter un projet en profondeur.
Le contenu fait la différence, la forme évite d’être écarté trop tôt. L’éditeur de TechCV met en page vos pipelines et vos outils sur une page sobre, dont les logiciels de tri extraient correctement le texte. Vous pouvez partir du modèle de data engineer et y reporter vos propres volumes.
Questions fréquentes
Faut-il savoir coder pour être data engineer ?
Oui. C’est même ce qui distingue le data engineer de nombreux rôles d’analyse. Python et SQL sont indispensables, et les pratiques du développement logiciel (tests, revues de code, intégration continue) sont de plus en plus attendues dès le niveau junior.
Data engineer ou analytics engineer : lequel choisir pour débuter ?
Si vous venez de l’analyse et que le SQL est votre point fort, le rôle d’analytics engineer est une porte d’entrée naturelle. Si vous venez du développement ou que vous aimez l’infrastructure et le temps réel, visez directement des postes de data engineer.
Le Big Data est-il encore un terme à mettre sur un CV ?
Le terme a vieilli. Les recruteurs préfèrent des volumes et des outils précis : « 90 millions d’événements par jour sur Spark » dit beaucoup plus que « environnement Big Data ». Gardez le mot seulement s’il figure tel quel dans l’offre.
Faut-il connaître un cloud en particulier ?
Il vaut mieux en connaître un en profondeur que trois en surface. Les concepts (stockage objet, entrepôt, orchestration, gestion des droits) se transposent d’un fournisseur à l’autre, et les recruteurs le savent.