Benchmark de datalake, Ansible Automates et Web scrapping JS : le mix Big Data / DevOps dans tout son art

Par Hadrien Puissant - Publié le Modifié le

Le Big Data évolue très vite. Les technologies DevOps aussi. Ansible, Datalake et WebScrapper, voici une sélection de ce qui nous a marqué en février :

Ansible Automates

Nous utilisons cet outil pour déployer les infrastructures Big Data de nos clients. C’est pourquoi nous sommes allés à l’Ansible Automates Paris, à l’hôtel Pullman à Montparnasse. Et quoi de mieux que les développeurs du produit pour en parler ? Plusieurs sujets abordés : Roadmap, best practices, démo et Ansible Tower 3.

Retrouvez nos live tweets de la journée sur : https://twitter.com/Ingensi

Comparaison des formats / outils de stockage dans un datalake

Le CERN a décidé de faire concourir 4 outils :

Ces tests nous apprennent que Parquet et Kudu avec Snappy sont en tête pour l’efficacité de stockage. HBase et Kudu s’imposent pour du random access, Parquet et Kudu permettent de meilleurs analyses de données tandis que HBase et Kudu offrent la possibilité de modifier les données.

Plus de détails sur les performances des ces 4 outils de Datalake 

Extraire les données d’un site en 3 minutes avec Javascript

Le BigData est de plus en plus gourmand en « data ». Pour faciliter l’extraction des pages web, voici un article qui explique en quelques minutes comment coder en Javascript un webscrapper.

Source

On peut facilement imaginer pousser ces données dans un datalake, afin de les traiter a posteriori ou pour enrichir des traitements de données.

Intéressé ?

Si ces problématiques vous intéressent, contactez nous pour en discuter !

Soit sur Twitter via @cyresgroupe ou directement sur notre site

 

Crédit photo : Created by Freepik

 

___

Explore, enrich, make data yours !

___

Taggué avec

KEEP CALM & DataOps now

Page Linkedin Cyrès

Facebook

Twitter

08/27/2018 @ 5:55
5 outils collaboratifs complémentaires dédiés à la productivité https://t.co/rRFMf5ZOBK https://t.co/tjsbzu7zaL cyresgroupe photo
08/24/2018 @ 6:15
Temps réel ou streaming de données : préparation et optimisation https://t.co/RLL9IOAbx9 #bigdata #data https://t.co/lSd8cmCxX8 cyresgroupe photo

Calendrier

septembre 2018
LMMJVSD
« Juil  
 12
3456789
10111213141516
17181920212223
24252627282930