Пример использования Hadoop Ошнуров Н.А. ВМИ-115. - презентация

1 Пример использования Hadoop Ошнуров Н.А. ВМИ-115

2 Необходимые компоненты Ubuntu Hadoop Java 1.7

3 Этап 1. Подготовка Установка JDK Создание пользователя Отключение IPv6

4 Этап 2. Установка Загрузка Hadoop Распаковка архива Установка переменной окружения $HADOOP_HOME

5 Этап 3. Настройка HDFS Создание папки в файловой системе Редактирование конфигурационных файлов: - conf/core-site.xml - conf/mapred-site.xml - conf/hdfs-site.xml Форматирование HDFS

6 Примеры конфигурационных файлов conf/core-site.xml hadoop.tmp.dir /app/hadoop/tmp Some description. fs.default.name hdfs://localhost:54310 Some description

7 Примеры конфигурационных файлов conf/mapred-site.xml mapred.job.tracker localhost:54311 Some description

8 Примеры конфигурационных файлов conf/hdfs-site.xml dfs.replication 1 Some description

9 Форматирование HDFS Выполняется с помощью команды namenode /usr/local/hadoop/bin/hadoop namenode -format

10 Запуск и остановка Hadoop Запуск - start-all.sh Остановка - stop-all.sh

11 Работа с HDFS Копирование данных на HDFS - bin/hadoop dfs -copyFromLocal /tmp/fanatic /user/hduser/fanatic Вывод списка файлов - bin/hadoop dfs -ls /user/hduser Получение данных с HDFS - bin/hadoop dfs -getmerge /user/hduser/fan-output /tmp/out

12 Запуск Java-задания Команда запуска задания - hadoop jar your-job-file-goes-here.jar

13 Структура задания Ядро задания - реализация интерфейсов Mapper и Reducer Mapper - формирует пары ключ/значение Reducer - уменьшает набор пар, которые имеют один и тот же ключ в меньший набор значений

14 Демонстрация

15 Веб интфейсы Hadoop - UI для MapReduce заданий - UI для заданий - UI для просмотра статистики HDFS

16 Ссылки