Université Mohamed V Faculté des sciences Rabat Master Sciences et ingénierie d

Université Mohamed V Faculté des sciences Rabat Master Sciences et ingénierie de données 2022-2023 Big Data Travaux pratique Apache Flume RHARRHOUR ABDERRAHMANE Pour le TP de flume on doit installer Le package « flume—pkg » mais dans la machine virtuelle Cloudera ce package est déjà installé. On doit partir au répertoire « /etc/hadoop/conf » avec la fonction cd et copier les fichiers python flume-agent1.properties et flume-agent2.properties dans « /etc/hadoop/conf ». Puis on a créé le HDFS directory qui va stocker les données de Flume. Ensuite on a exécuté le fichier log-generator.py dans le même répertoire etc/hadoop/conf Puis on éxecuter la commande suivante : Apres on a commencé le downstream avec ‘tail’ en utilisant la commande : Ensuite l’exécution de deuxième agent : En fin on a essayé a voir les données en HDFS : uploads/Industriel/ apache-flume-abderrahmane-rharrhour.pdf

Tags
Industrieldonnées sciences flume package répertoire
Documents similaires
  • 35
  • 0
  • 0
Afficher les détails des licences
Licence et utilisation
Gratuit pour un usage personnel Attribution requise
Partager