1. R et RStudio Installation Fonctionnement général Installation et mise à jour des packages Gestion des options de R Studio Architecture de travail (Projet R, dossiers data, images, doc etc. . . ) 2. R markdown Recherche reproductible et programmation lettrée Principe : rmd, md, knitr, pandoc Structure d’un document rmd : entête, texte, chunk […]
Présentation de Spark Spark : un besoin de distribuer vos traitements Architecture de Spark runtime : driver, executor, master Positionner Spark vs Hadoop Les langages du framework : Java | Scala | Python | R RDD : Resilient Distributed Dataset RDD : Le composant fondateur du fonctionnement de Spark Les partitions : la base de […]
Introduction Présentation Mahout. Origine du projet, licence, positionnement dans l’offre BigData et Machine Learning : Hadoop, Spark,.. Fonctionnalités. Définitions : apprentissage supervisé, apprentissage automatique Arbres de décision, de régression, régression automatique Classifieurs. Scoring Architecture Principe de fonctionnement. Sources de données, format de stockage des données, Génération de recommandations, traitement, filtrage Mode local ou distribué. Mise […]
Présentation R Le projet R Programming Calculs statistiques et génération de graphiques Points forts de R Programming Besoins du BigData Positionnement R programming par rapport à Hadoop Mise en oeuvre de R Travaux pratiques : installation et tests sur une plate-forme CentOS Utilisation de R en mode commande Commandes de base Syntaxe Manipulations de nombres, […]
Introduction Zoom sur les données : format, volumes, structures, … et les requêtes, attentes, des utilisateurs. Etapes de la préparation des données. Définitions, présentation du data munging Le rôle du data scientist. Etude de cas Mise en oeuvre pratique des différentes phases : nettoyage,enrichissement,organisation des données. Machine Learning Définition, les attentes par rapport au Machine Learning […]