Description :
Bonjour,
Nous recherchons un Expert Hadoop (YARN, HDFS)
Environnement :
- 15 Datacenters à travers le monde dont 15000 servers sous Linux et Windows.
- Plusieurs dizaines de Peta de stockage, et plus de 20 000 cores
- 1M de requêtes/s
Vous travaillez en étroite collaboration avec les deux équipes de développement et de production au sein de la R & D , l’ingénieur NoSQL DevOps est responsable de fournir une infrastructure de stockage de données en temps réel pour les développeurs .
100 applications différentes avec multi-centre de données de redondance et haute disponibilité sur 12000 serveurs dans 7 pays en développement
Un des plus grand cluster Hadoop avec 60000 jobs/s, 1200 noeuds, et la volonté de passer à 5000.L’équipe gère l’automatisation et le déploiement.
Missions :
concevoir et mettre en œuvre la configuration et l’évolution des clusters Hadoop
Automatiser les tâches opérationnelles à l’aide de chef , Java et Python .
enjeux élevés , hauts récompenses : augmentation de 1 de la performance peut donner des millions pour l’entreprise.
Contribuer aux projets open source. Nous sommes de grands utilisateurs de l’open source , et nous donnons à la communauté .
Faites partie d’une rotation oncall soutenant Hadoop Clusters, avec des dizaines de To de données supplémentaires circulant dans tous les jours , à un taux de mise à 6M messages par seconde , dans 7 centres de données.
Prerequis:
Prendre des décisions modele axée sur les données: Vous pouvez faire la planification des capacités par l’utilisation des services de prévision.
Capacité à raisonner sur l’infrastructure à grande échelle (des milliers de serveurs, des centaines de milliers de QPS)
Avoir une expérience de Hadoop ,Expérience du déploiement de technologies de streaming de données telles que Storm, Kafka ou Spark très souhaitable.
Démontrer leur compréhension de l’exemple Linux: Vous avez des idées sur la façon dont malloc est mis en œuvre. Vous pouvez pointer les défauts de conception dans Posix.
La maîtrise d’une ou plusieurs des langues suivantes: Java, Ruby, Scala, Python, C ++
Anglais courant
Cordialement,