Implémentation d'un ETL évolutif sur GCP en 5 semaines.

Contexte

Descartes & Mauss est une entreprise qui combine l'intelligence artificielle et l'expertise industrielle pour aider ses clients à prendre des décisions plus éclairées et créer une convergence organisationnelle autour d'une stratégie qui donnera vie à leur ambition.
Ils proposent la transformation de grandes quantités de données brutes en données intelligentes pour améliorer l'impact et la pertinence des décisions de leurs clients.

Challenge

L'entreprise dispose d'algorithmes de traitement du langage naturel (NLP) de pointes et exclusifs et souhaitait développer sa plateforme de données pour ingérer davantage d'informations tout en augmentant le flux de traitement automatisé et en fournissant une qualité de données reproductible.
Il était nécessaire de leur mettre à disposition un pipeline de prétraitement de texte ETL prenant en charge des calculs Spark distribués pour gérer la grande quantité de données à traiter. La solution devait être évolutive et rentable.
Les équipes de Data Engineering et d'infrastructure de Descartes & Mauss devaient intégrer rapidement cette solution dans leur plateforme globale, avec la capacité de l'adapter à de nouvelles tâches de traitement de texte.

La solution

Nous avons implémenté une plateforme data sécurisée et évolutive sur GCP avec des pipelines Dataproc Workflow. Ces pipelines sont spécifiques à chaque client et réalisent du prétraitement de texte NLP.

Stack Technique

Les résultats

En seulement 5 semaines, nous avons pu remettre à leur équipe technique interne un pipeline de données modulaire, leur permettant d'effectuer toute une gamme de transformations de types d'informations et d'accéder en toute sécurité aux données obtenues.
Notre approche comprenait une documentation claire et une formation pour garantir un transfert fluide, de sorte qu'ils puissent adopter la solution à la vitesse dont ils ont besoin.

Descartes & Mauss possède désormais une data plateforme et un savoir-faire qui lui permet d’adapter les pipelines existantes pour tous ses futurs clients et le traitement de texte souhaité.