Ingénieur DevOps Senior (tous genres) | Plateforme de données

Le poste

Détails de l'emploi Contrat permanent, temps plein ou partiel, à distance ou à Cologne / Düsseldorf / Darmstadt / Berlin Info Qui nous sommes Nous sommes la puissance technologique derrière les places de marché en ligne internationales de Kaufland et une entreprise du groupe Schwarz. Animés par une mentalité de start-up et travaillant sur un pied d'égalité au sein de hiérarchies plates, nous développons les meilleures solutions de place de marché pour nos clients, vendeurs et partenaires. #FromEuropeForEurope Jour après jour, notre équipe Tech & Product d'environ 400 experts poursuit l'objectif de créer la meilleure expérience d'achat possible pour nos clients sur notre place de marché en ligne. Grâce à des développements techniques innovants, ils créent non seulement une expérience d'achat exceptionnelle, mais posent également les bases d'une expérience de vente optimale pour nos vendeurs. Apprenez-en plus sur notre division, nos domaines et nos équipes interfonctionnelles ici ! Responsabilités Vos tâches - voici ce qui vous attend en détail • Vous gérez et êtes responsable de notre infrastructure Apache Kafka auto-hébergée et du registre de schémas de bout en bout, en gérant les ACL, les quotas clients, les certificats, les mises à niveau et la reprise après sinistre • Vous exploitez nos pipelines de capture de données modifiées basés sur Debezium, en supervisant les connecteurs, les instantanés, les décalages, le retard de réplication et les chargeurs de puits BigQuery • Vous exécutez nos charges de travail sur Kubernetes, y compris Navarch - notre orchestrateur de flux de travail auto-construit exécutant environ 7 500 tâches SQL et Python quotidiennement - en gérant la gestion des ressources, la mise à l'échelle automatique et le débogage • Vous automatisez et gérez la gestion des accès et l'infrastructure en tant que code sur nos pipelines CI/CD GitLab auto-hébergés, remplaçant les tickets manuels par des politiques basées sur le code • Vous êtes responsable de l'observabilité et des coûts d'infrastructure - Datadog sur Kafka et les chargeurs de puits, alertes natives Slack, et maintien d'une vue honnête des dépenses liées à K8s, à la rétention Kafka et au volume de journaux • Vous assumez votre part du triage, une semaine sur trois - en gérant les demandes d'ingestion et d'accès, les alertes de schéma, et en soutenant les analystes, tout en aidant à automatiser cette couche via une revue assistée par IA • Vous agissez en tant que partenaire senior aux côtés de deux ingénieurs de données seniors (sous la responsabilité du responsable des données et de l'analyse) - en pilotant les revues de conception et les initiatives sur plusieurs trimestres, avec une marge de progression vers l'architecture BigQuery au fil du temps : cadres d'accès, stratégie de partitionnement et de créneaux, pipelines et modèles associés • Optionnel : Vous participez à notre rotation d'astreinte 24/7 Profil Votre profil - voici ce que nous attendons de vous • Vous avez plusieurs années d'expérience dans l'exploitation d'infrastructures de production dont vous étiez personnellement responsable, y compris la rotation d'astreinte. Vous avez géré des systèmes qui sont tombés en panne, pouvez expliquer ce qui n'a pas fonctionné et comment vous l'avez corrigé de manière permanente, et pouvez détailler un compromis spécifique que vous avez géré, étayé par des chiffres concrets • Vous possédez une expertise pratique approfondie des opérations de courtier Apache Kafka, y compris le dimensionnement des clusters, le rééquilibrage des partitions, la réplication, le comportement ISR et les mises à niveau de version • Vous avez exploité la réplication de données inter-systèmes en production - idéalement Debezium sur Kafka Connect, ou la réplication de base de données via binlog, GTID, WAL ou des pipelines basés sur des agents • Vous démontrez une solide expérience de production avec Kubernetes, maîtrisez la gestion des ressources et la mise à l'échelle automatique, et possédez des réflexes de débogage aiguisés pour les modes de défaillance complexes • Vous gérez l'infrastructure et l'accès en tant que code sur plusieurs environnements (idéalement Terraform et Ansible ; Pulumi, Helm ou une gestion de configuration sérieuse comptent également) en suivant une approche IAM stricte du moindre privilège sur plusieurs environnements, idéalement avec une expérience GCP ou des connaissances transférables AWS/Azure • Vous utilisez Python et SQL de qualité production comme outils pratiques, en appliquant un état d'esprit soucieux des coûts à la performance des requêtes, au volume de balayage et à l'élagage des données • Vous vous épanouissez dans un environnement à faible processus, piloté par Kanban, où les seniors s'auto-organisent, alternent les tâches de triage hebdomadaires sans micro-gestion, et préfèrent automatiser les demandes récurrentes plutôt que de les répéter manuellement • Optionnel : Vous apportez des compétences ou un intérêt pour la conception orientée objet, la modélisation de données/dbt, l'architecture BigQuery, les cadres d'orchestration (Airflow, Dagster), le traitement de flux (Beam, Flink, Spark) ou l'automatisation interne (n8n, bots de triage IA). • Vous maîtrisez l'anglais (niveau C1) et aimez travailler dans un environnement d'équipe international Avantages Ce que nous offrons • Créez votre propre équilibre travail-vie personnelle : Vous avez la flexibilité de choisir entre travailler à distance (en Allemagne) ou depuis l'un de nos sites à Cologne, Darmstadt, Düsseldorf ou Berlin ! • Vous souhaitez déménager en Allemagne ? Pas de problème - nous vous offrons un package de relocalisation attractif pour vous assurer un démarrage en douceur. • Urban Sports Club et studios de fitness RSG Group : Obtenez les meilleures offres pour le fitness, la natation, le yoga et plus encore • Bien-être mental : Nous vous soutenons dans votre parcours de bien-être avec des offres spéciales telles qu'Instahelp, la plateforme numérique de conseil psychologique en ligne • Vacances & Sabbatical : Profitez de 30 jours de vacances par an et de la possibilité de prendre un congé sabbatique une fois que vous faites partie de l'équipe depuis un certain temps ! • Option pour les tickets restaurant Pluxee : Achetez des bons Pluxee par notre intermédiaire et bénéficiez d'allocations repas fiscalement avantageuses ! • « Deutschlandticket » : Nous subventionnons votre abonnement de train pour plus de mobilité • Réduction employé : Vous recevrez un coupon mensuel pour Kaufland.de • Libre choix du système d'exploitation : MacOS ou Ubuntu Linux, c'est à vous de décider • Boostez votre croissance : Bénéficiez de nos programmes d'apprentissage des langues en ligne, de formations internes diversifiées et de notre feedback à 360 degrés automatisé. Nous couvrons les frais des conférences pertinentes, des opportunités de formation et des ateliers d'équipe approuvés pour renforcer les interactions personnelles • Voici qui nous sommes : Notre culture dynamique combine hiérarchies plates, mentalité de start-up, une équipe internationale de plus de 65 nationalités et la force du groupe Schwarz pour vous offrir un environnement de travail agile et sécurisé. • Nous sommes des joueurs d'équipe : Dès le premier jour, vous vous connecterez non seulement avec votre équipe mais aussi avec les autres grâce à notre parcours d'intégration numérique, le programme de parrainage et re Rémunération : à négocier.