• Facebook
  • Linkedin
  • Twitter
  • Youtube
Nexworld
  • Accueil
  • Expertises
    • API Management
    • Architecture SI
    • Intelligence artificielle
    • Big Data
    • Machine Learning
    • Objets Connectés
    • DevOps
  • Corporate
    • Pourquoi nexworld ?
    • Références
    • Témoignages clients
    • Équipe dirigeante
  • Formations
  • Blog
  • Carrières
    • Nous rejoindre
    • Environnement de travail
    • Campagnes RH
    • Offres d’emploi
    • Déposer une candidature
  • Contact

Kafka, pierre angulaire des architectures Fast Data ?

Dans les projets Big Data, le data streaming s’impose de plus en plus comme un nouvel impératif. Bonne nouvelle, c’est aussi le terrain de jeu de prédilection de Kafka.

Big Data ou Big Mess ?

Comment éviter que le Big Data ne devienne un « Big Mess » ? C’est pour répondre à cette question qu’en 2009 les équipes de Linkedin, confrontées à des problématiques d’intégration de données auxquelles les outils disponibles ne répondaient pas, élaborent un nouveau bus de messages distribué : Kafka.

Placé en 2011 sous l’égide de la fondation Apache, ce broker de messages connaît depuis une adoption croissante. Pour une raison essentielle : Kafka est dans la pratique bien plus qu’un bus. Et sa nature profonde en fait une brique de choix pour outiller les projets Big Data et, plus précisément, les scénarios qui recourent au data streaming. Explications.

Kafka, bien plus qu’un bus

Quand les équipes de Linkedin se penchent sur le cahier des charges de leur bus idéal, c’est notamment par comparaison avec les limites des solutions existantes. Voilà pourquoi elles se fixent notamment comme objectif de concevoir un bus qui :

  • Garantit le découplage entre producteurs de données et consommateurs
  • Supporte des consommateurs multiples
  • Permet une forte scalabilité horizontale via une architecture distribuée
  • Met en œuvre la persistance des données

Et c’est bien ce que permet Kafka aujourd’hui. La solution se distingue par sa capacité à gérer des débits très élevés de messages, ce que les consultants Nexworld ont pu vérifier lors de différentes évaluations.

Caractéristique clé : la persistance

Autre spécificité, avec Kafka les messages ne disparaissent pas aussitôt qu’ils sont consommés mais persistent dans des « topics » auxquels sont abonnés des consommateurs.

Cette persistance est une caractéristique clé. Confluent, co-fondé par l’équipe à l’origine de Kafka et qui développe des solutions et services complémentaires, revendique ce positionnement haut et fort : « Kafka est basé sur une abstraction d’un commit log distribué (…) et a rapidement évolué du broker de messages vers une plate-forme de streaming à part entière ».

Data streaming, le terrain de prédilection de Kafka

Et, de fait, les usages actuels de Kafka confirment ce positionnement. Dans une étude menée l’an passé (350 organisations interrogées dans 47 pays), si 50% des interrogés mentionnent « le messaging » parmi les tâches confiées à Kafka, 66% évoquent le « streaming process ». Parmi les cas d’usages, se détachent les data pipelines (81% de mentions), les microservices (50%), ou encore la supervision temps réel (43%).

Cas d’usage les plus courants pour Kafka (350 organisations interrogées dans 47 pays)

Parce que le data streaming désigne des données issues de sources variées et (surtout) générées de manière continue il est souvent associé à l’internet des objets (IoT). Dans la pratique, les traitements de ces données diffusées en continu se rencontrent dans bien d’autres cas d’usage : détection de fraudes dans le secteur de la finance, achats temps réel dans celui de la publicité digitale, supervision de la sécurité informatique… En fait, le data streaming s’impose dès qu’il s’agit de penser non plus « Big Data » mais « Fast Data », autrement dit, dès que la question de la vélocité des données prend le dessus.

Le temps réel, la nouvelle quête

« Le traitement temps réel de la donnée, c’est la quête des nouvelles plateformes data, confirme Guillaume Drot, consultant Nexworld spécialiste des architectures Big/Fast Data. Et Kafka permet de mettre en œuvre ce streaming pour traiter des événements au fil de l’eau, donc pour bâtir une chaine de traitement en continu. L’architecture hautement scalable s’avère particulièrement bien adaptée à ces usages ».

Un « commit log » avant tout

Attention, Kafka n’est pas pour autant une baguette magique. « C’est un commit log, souligne Guillaume Drot, qui délègue plus de responsabilité aux applications qui consomment des messages. Il revient par exemple à ces applications de gérer des mécanismes d’accusé de réception là où d’autres brokers les intègrent plus nativement. »

Attention aux formats des messages

Résultat, selon les scénarios, des bonnes pratiques s’imposent pour garder la maîtrise des flux de messages gérés via Kafka. Pour exploiter par exemple le streaming de données dans le cadre d’architectures de microservices, une grande rigueur s’impose dans la définition des formats des messages. Objectif : sélectionner des IDs qui, injectés dans les messages, enrichissent les informations techniques ou métiers. « La bonne nouvelle, commente Guillaume Drot, c’est que la plateforme permet une gestion centralisée de ces formats ».

Une « Single Source of Truth »

Au-delà de ces bonnes pratiques, de nombreuses librairies existent pour compléter l’outillage de Kafka. « Attention d’opter pour des librairies régulièrement maintenues et qui suivent au plus près les différentes évolutions de la plateforme », recommande Guillaume Drot. Des précautions à prendre pour tirer le meilleur parti de ce qui ressemble désormais plus à un système de stockage qu’à un bus. Avec une vocation clairement assumée : faire office de « Single Source of Truth » à l’ère du Big (et Fast) Data.

Découvrez notre formation Apache Kafka :

S022 – Formation : Maîtriser les fondamentaux d’Apache Kafka

Interview de Guillaume DROT,
réalisée par Question Contenu
Illustrations :
Nexworld

Formation Apache Kafka

DÉCOUVREZ COMMENT NOTRE CABINET ACCOMPAGNERA LA TRANSFORMATION DE VOTRE ENTREPRISE

Les consultants Nexworld mettent leur expertise aux services des entreprises qui veulent accélérer leur transformation numérique. Nexworld propose des séminaires adaptée aux besoins et au SI existant de votre entreprise.

Inscriptions
  • Nexworld, champion de la croissance 2019
  • Comment développer son Chatbot avec RASA ? Seconde partie : de l’entraînement au déploiement
Nexworld élu champion de la croissance, avant tout champions de la transformation digitale grâce au savoir-faire de… https://t.co/gZzptsPtZC
h J R
NexworldFr

- 11 hours ago

Kata Containers et Google gVisor : deux approches de l'utilisation de machines virtuelles pour sécuriser des conte… https://t.co/5p4JLSj61I
h J R
NexworldFr

- 1 day ago

« Docker invente les packages CNAB et remet les informaticiens dans la boucle des DevOps. » #docker #cnab #devops… https://t.co/sIxTECX9zM
h J R
NexworldFr

- 2 days ago

Nexworld : Building the future

NEXWORLD est une SAS au capital de 300.000 € créé en Aout 2010, pour en savoir plus consultez : www.infogreffe.fr/societes/ ou www.societe.com.

facebook linkedin twitter

NEXWORLD

  • Accueil
  • Corporate
  • Nos références
  • Contact

RECRUTEMENT

  • Nous rejoindre
  • Nos campagnes et actualités
© Copyright - Nexworld | Mentions légales
  • Facebook
  • Linkedin
  • Twitter
  • Youtube
Sujet de stage 2019 : Outils de préparation et de visualisation des donné... Formation API management, et standards de sécurité : Concepts et bonnes p...

En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de traceurs (cookies) afin de réaliser des statistiques anonymes de visites et vous permettre de partager des informations sur les réseaux sociaux. Pour en savoir plus vous pouvez paramétrer les traceurs.

 

Share This
  • Facebook
  • Twitter
  • LinkedIn

Extrait de la politique de confidentialité

Nexworld

Ce site web utilise des traceurs (cookies) afin de vous fournir la meilleure expérience possible. Un cookie est une information enregistrée dans votre navigateur. Il contient plusieurs informations nous permettant de vous reconnaître si vous revenez sur notre site. Le but est de savoir quelles pages du site et quels contenus sont les plus pertinents pour vous.
Vous pouvez paramétrer tous les cookies ci-dessous.

Cookies strictement nécessaires

Nous vous conseillons d'activer les cookies strictement nécessaires. Ils nous permettrons de sauvegarder vos préférences de cookies.

Si vous désactivez ces cookies, nous ne seront pas dans la capacité de sauvegarder vos préférences. Cela veut dire qu'à votre prochaine visite sur notre site, vous devrez de nouveau valider ou non les cookies.

Cookies analytics

Ce site utilise Google Analytics afin de collecter de façon anonyme différentes informations tel que le nombre de visiteurs sur notre site ainsi que les pages les plus populaires.
Activer ces cookies nous permet d’améliorer notre site.

Merci de bien vouloir activer les cookies strictement nécessaires dans un premier temps, afin que nous puissions enregistrer vos préférences.

Cookies social media

Ce site utilise également les cookies social media suivants :

  • Facebook
  • Linkedin

Merci de bien vouloir activer les cookies strictement nécessaires dans un premier temps, afin que nous puissions enregistrer vos préférences.

Powered by GDPR plugin
Faire défiler vers le haut