</>
Construisons des lacs de données et surtout pas des marécages
Construisons des lacs de données et surtout pas des marécages
Chez EBIZNEXT, nous avons au travers de nos expériences, réussi à contribuer à la mise en place de Datalake opérationnels en appliquant notamment les recettes suivantes :
Depuis quelques années déjà, on observe une excitation croissante autour des opportunités offertes par la mise en place d’un Datalake. Pourtant, les entreprises aujourd’hui ont du mal à capitaliser sur leur potentiel.
Bien qu’ayant réussi à être des entrepôts de stockage à faible coût, les Datalake échouent parfois à délivrer une solution industrialisée de valorisation de la donnée. Cette promesse à demi tenue d’une part et la frustration engendrée d’autre part a conduit certaines entreprises à revoir leur stratégie de mise en place d’un Datalake.
(Lien vers La Data Factory qui illustre notre savoir faire avec le projet DevOps Comet Data Platform)
L’acharnement à récupérer la donnée à tout va dans le Datalake sans convenir au préalable de règles d’organisation et de structure, produit un entrepôt de données difficilement exploitable par les analystes et largement vulnérable aux problèmes de confidentialité relatifs à la RGPD notamment. La gouvernance et la sémantisation des données sont les prérequis d’un Datalake expressif.
(Lien vers La Data Factory qui illustre notre savoir faire avec le projet DataEng Comet UI)
La valeur actuelle de la connaissance extraite d’un Datalake est conditionnée par la pertinence de la donnée sous-jacente. Cela nécessite un mécanisme d’ingestion capable de garantir une fraîcheur régulière des données et un raccordement en un temps réduit aux multiples sources de données potentielles. Un mécanisme d’ingestion générique devient garant de la rapidité et de la fiabilité d’ingestion des données.
(Lien vers La Data Factory qui illustre notre savoir faire avec le projet DataEng Comet Data Pipeline)
On peut avoir tendance à penser qu’une fois que la donnée est là et bien structurée, il n’y a plus qu’à se servir. Les difficultées rencontrées auparavant par cette approche dans les Datawarehouse sont accentuées aujourd’hui par des traitements multiples qui peuvent se télescoper: Processus d’ingestion, de transformation, de visualisation, d’entraînement de modèles ou d’exploration, autant de pressions sur la puissance de traitement qui lorsqu’elles se télescopent entraînent des dégradations de performance et de disponibilité significatives.
Les systèmes BigData évoluent rapidement vers un modèle FastData, dans lequel la donnée est traitée au fur et à mesure de son acquisition. C’est l’essence du projet Open Source Comet Data Pipeline développé par nos équipes et adopté par plusieurs de nos clients.
Découvrez comment nous appliquons au quotidien cette devise.
À propos de EbiznextAligner les objectifs des Dev et des Ops pour renforcer la collaboration.
“DevOps n’est pas la responsabilité d’une seule personne ou d’une entité dédiée : c'est un travail collectif.”
— Christophe Capel, Responsable produit principal, Jira Service Desk
“Configuration as Code” et “Delivery Continu” doivent rester au centre des préoccupations des développeurs et des exploitants.
“Les équipes qui adoptent DevOps déploient 30 fois plus souvent, déplorent 60 fois moins de défaillances et constatent des délais de restauration du service 160 fois plus rapides.”
— Puppet Labs, rapport « State of DevOps », 2016
Se focaliser sur les actions utiles à l’atteinte de l’objectif, exclusivement.
“Toute tâche dans un projet qui n’est pas directement orientée vers la contribution à la livraison du service au client aussi rapidement que possible doit être soigneusement questionnée.”
— Stein Inge Morisbak, Chief Digital Officer, Haugaland Kraft
Se remettre en question continuellement
“Ce ne sont pas les espèces les plus fortes qui survivent, ni les plus intelligentes, mais les plus réactives au changement.”
— Charles Darwin, CTO, Evolutionary Software
Les échecs au même titre que les réussites doivent être partagées.
“Le manque de confiance dans une organisation coûte cher. Vous ne pouvez pas diaboliser quelqu’un si vous connaissez ses enfants”
— App Dynamics