Hadrien

Hadrien

KEEP CALM & DataOps now

Cas d’usage Nifi : pagination REST, Jolt et monitoring

Cas d’usage Nifi : pagination REST, Jolt et monitoring

Publié le Modifié le

Contexte Chez Cyrès, nous gérons la saisie des temps via un outil pratique et puissant : Toggl. Dans le cadre de l’amélioration du reporting, m’est venu l’idée d’intégrer les rapports CSV de cet outil, au sein de notre plateforme interne Cloudera. L’objectif de ce cas d’usage Nifi étant de pouvoir faire gagner du temps aux …

Lire la suite

Monitoring Nifi via streaming de bulletin dans Hive 3

Monitoring Nifi via streaming de bulletin dans Hive 3

Publié le Modifié le

Contexte Dans le cadre du suivi de production et le monitoring Nifi, je vais vous présenter un moyen que nous utilisons pour sauvegarder l’ensemble des évènements « bulletin » au sein d’un cluster Nifi. Après avoir évoqué les enjeux, je vous présenterai l’implémentation technique ainsi qu’une alternative avec Impala. Composants utilisés CDP Private Cloud 7.1.2 …

Lire la suite

La Cloudera Data Platform va plaire, mais à quel prix ?

La Cloudera Data Platform va plaire, mais à quel prix ?

Publié le Modifié le

Cloudera a depuis quelques mois sorti sa nouvelle plateforme Cloud native : Cloudera Data Platform. Elle se décline en plusieurs parties : de la gouvernance via SDX, une partie Cloud, piloté par Cloudera et déployable sur AWS et Azure (bientôt GCP) et enfin une partie hébergeable sur des serveurs chez soi avec une possibilité d’hybridation, possédant des capacités de déport de calcul dans un environnement conteneurisé Openshift.
Attention ! Les conteneurs sont à l’honneur pour ces offres attractives mais attention aux coûts cachés. Passons en revue ces différentes offres pour y voir plus clair

Lire la suite

Python 3.9, tour d’horizon et nouveautés

Python 3.9, tour d’horizon et nouveautés

Publié le Modifié le

Python 3.9, tour d’horizon Python 3.9 vient d’être annoncé le 6 Octobre 2020. Cette version amène plusieurs fonctionnalités très prometteuses. Corrige des bugs et se positionne par rapport à l’avenir du langage. A Cyrès, nous constatons une augmentation des développements Python, que ce soit dans le domaine du Big Data, des containeurs ou DevOps, Des …

Lire la suite

Comment migrer vers le Cloud AWS des clusters Hadoop en 5 étapes

Comment migrer vers le Cloud AWS des clusters Hadoop en 5 étapes

Publié le Modifié le

Migrer une infrastructure composée de plusieurs dizaines de serveurs vers des environnements cloud comme ceux proposés par AWS implique de se fixer des objectifs clairs, de recenser précisément l’infrastructure existante et de concevoir une méthodologie pour mettre en place un processus de migration efficace.

Lire la suite

Hadoop et Ansible – épisode 3 : Hive/Impala

Hadoop et Ansible – épisode 3 : Hive/Impala

Publié le Modifié le

A l’ère du tout automatique, penchons-nous sur une méthode qui fait ses preuves chez nos clients : incorporer Ansible dans les déploiements Big Data. Pour clore cette série d’articles, nous allons voir comment gérer automatiquement les structures des tables Impala et Hive avec Ansible. Episode 3 – Impala / Hive Dans certains projets clients on …

Lire la suite

Temps réel ou streaming de données : préparation et optimisation

Temps réel ou streaming de données : préparation et optimisation

Publié le Modifié le

Derrière le buzz word “IOT” (Internet Of Things) se trouve la notion de temps réel. Celle-ci permet par exemple de récupérer des données de téléphones, de géolocalisation (etc.) en continu et de les stocker dans un Datalake à des fins d’analyse. Ces systèmes sont de plus en plus utilisés pour gérer les événements des différents systèmes …

Lire la suite

Conteneurs et automatisation, rassembler pour mieux régner

Conteneurs et automatisation, rassembler pour mieux régner

Publié le Modifié le

Les conteneurs sont devenus en quelques années, un enjeu de taille ! A droite, à gauche, il y en a partout. Mais comment s’y retrouver ? Continuons de creuser l’automatisation (des conteneurs) avec différents articles qui ont retenu notre attention en Mai. “One product to rule them all” Distelli est un ensemble de 4 produits …

Lire la suite

Hadoop et Ansible – épisode 1 : HDFS

Hadoop et Ansible – épisode 1 : HDFS

Publié le Modifié le

A l’air du tout automatique, penchons-nous sur une méthode qui fait ses preuves chez nos clients : incorporer Ansible dans les déploiements Big Data. Pour cette série d’articles nous allons voir comment nous automatisons nos déploiements Big Data avec Ansible. Episode 1 : HDFS Contexte Nous intervenons la majeure partie du temps sur des environnements sécurisés …

Lire la suite

Page Linkedin Cyrès

Facebook

Twitter

10/25/2021 @ 9:36
Face à l’épuisement du protocole #IPv4 Cyrès a décidé d’associer le protocole #IPv6 à l’ensemble des services, que nous distribuons à nos clients.
Associé à cela l’évolution prochaine du cœur de réseau (BGP) de notre #Datacenter à 100 Gbps … 🚀🚀🚀... !
#Tours https://t.co/SD9LUKuUma
cyresgroupe photo
10/20/2021 @ 12:09
La version 7.1.7 de l'offre Private Cloud de #Cloudera est maintenant disponible !
Vous trépignez d’impatience ? Consultez notre article dédié pour en savoir plus sur les nouvelles fonctionnalités : https://t.co/irrV6JTbMa https://t.co/6Y3Oq8L8eU
cyresgroupe photo