</>

Construisons des lacs de données et surtout pas des marécages

Data Engineering

Chez EBIZNEXT, nous avons au travers de nos expériences, réussi à contribuer à la mise en place de Datalake opérationnels en appliquant notamment les recettes suivantes :

Vous accompagner dans votre stratégie Data

Depuis quelques années déjà, on observe une excitation croissante autour des opportunités offertes par la mise en place d’un Datalake. Pourtant, les entreprises aujourd’hui ont du mal à capitaliser sur leur potentiel.

Bien qu’ayant réussi à être des entrepôts de stockage à faible coût, les Datalake échouent parfois à délivrer une solution industrialisée de valorisation de la donnée. Cette promesse à demi tenue d’une part et la frustration engendrée d’autre part a conduit certaines entreprises à revoir leur stratégie de mise en place d’un Datalake.

(Lien vers La Data Factory qui illustre notre savoir faire avec le projet DevOps Comet Data Platform)

Ne pas laisser votre Datalake devenir un Dataswamp

L’acharnement à récupérer la donnée à tout va dans le Datalake sans convenir au préalable de règles d’organisation et de structure, produit un entrepôt de données difficilement exploitable par les analystes et largement vulnérable aux problèmes de confidentialité relatifs à la RGPD notamment. La gouvernance et la sémantisation des données sont les prérequis d’un Datalake expressif. 

(Lien vers La Data Factory qui illustre notre savoir faire avec le projet DataEng Comet UI)

Ne pas laisser votre mécanisme d’ingestion vous pénaliser

La valeur actuelle de la connaissance extraite d’un Datalake est conditionnée par la pertinence de la donnée sous-jacente. Cela nécessite un mécanisme d’ingestion capable de garantir une fraîcheur régulière des données et un raccordement en un temps réduit aux multiples sources de données potentielles. Un mécanisme d’ingestion générique devient garant de la rapidité et de la fiabilité d’ingestion des données. 

(Lien vers La Data Factory qui illustre notre savoir faire avec le projet DataEng Comet Data Pipeline)

Votre Datalake n’est pas qu’un entrepôt de données

On peut avoir tendance à penser qu’une fois que la donnée est là et bien structurée, il n’y a plus qu’à se servir. Les difficultées rencontrées auparavant par cette approche dans les Datawarehouse sont accentuées aujourd’hui par des traitements multiples qui peuvent se télescoper: Processus d’ingestion, de transformation, de visualisation, d’entraînement de modèles ou d’exploration, autant de pressions sur la puissance de traitement qui lorsqu’elles se télescopent entraînent des dégradations de performance et de disponibilité significatives. 

R&D Big & Fast Data

Les systèmes BigData évoluent rapidement vers un modèle FastData, dans lequel la donnée est traitée au fur et à mesure de son acquisition. C’est l’essence du projet Open Source Comet Data Pipeline développé par nos équipes et adopté par plusieurs de nos clients. 

Big & Fast Data chez nos clients

Découvrez au travers de quelques cas, comment nos clients tirent parti de notre expertise pour créer de la valeur.

#Agile #DevOps #FullStack

Transport : solutions digitales

</ voir le cas >
#Agile #Cloud #DataEng #DataScience #DevOps

Banque et Logistique : création d’un datalake

</ voir le cas >
#Agile #Cloud #DataEng #DevOps

Assurance : plateforme IoT

</ voir le cas >
#DevOps #FullStack

Transport : applications multi-devices pour les voitures autonomes

</ voir le cas >
#Agile #Cloud #DataEng #DataScience #DevOps

Media : Datalake Audience

</ voir le cas >

Design, Code, Deploy, and Keep CALMS !

Découvrez comment nous appliquons au quotidien cette devise.

À propos de Ebiznext

Culture

Aligner les objectifs des Dev et des Ops pour renforcer la collaboration.
“DevOps n’est pas la responsabilité d’une seule personne ou d’une entité dédiée : c'est un travail collectif.”

— Christophe Capel, Responsable produit principal, Jira Service Desk

Automatisation

“Configuration as Code” et “Delivery Continu” doivent rester au centre des préoccupations des développeurs et des exploitants.
“Les équipes qui adoptent DevOps déploient 30 fois plus souvent, déplorent 60 fois moins de défaillances et constatent des délais de restauration du service 160 fois plus rapides.”

— Puppet Labs, rapport « State of DevOps », 2016

Lean

Se focaliser sur les actions utiles à l’atteinte de l’objectif, exclusivement.
“Toute tâche dans un projet qui n’est pas directement orientée vers la contribution à la livraison du service au client aussi rapidement que possible doit être soigneusement questionnée.”

— Stein Inge Morisbak, Chief Digital Officer, Haugaland Kraft

Mesure

Se remettre en question continuellement
“Ce ne sont pas les espèces les plus fortes qui survivent, ni les plus intelligentes, mais les plus réactives au changement.”

— Charles Darwin, CTO, Evolutionary Software

Solidarité

Les échecs au même titre que les réussites doivent être partagées.
“Le manque de confiance dans une organisation coûte cher. Vous ne pouvez pas diaboliser quelqu’un si vous connaissez ses enfants”

— App Dynamics

Les formations Big & Fast Data

Toutes les formations DevOps

Formation Scala

  • 3 jours
  • Paris

Formation Spark

  • 2 jours
  • Paris

Formation DataScience

  • 2 jours
  • Paris

Formation Ansible

  • 2 jours
  • Paris

Formation Terraform

  • 2 jours
  • Paris

Envie d'en savoir plus ?

</ Contactez-nous >

Nos projets Github

</ Voir la page >

Les actualités Big & Fast Data

En voir plus
05 septembre

ScalaIO 2019

Evénement

16 septembre

Ansible : mode check

Blog technique

16 septembre

PSUG – La 100ème chez ebiznext !

Evénement

13 septembre

DevOps

Jobs

11 septembre

Ingénieur d’affaires

Jobs