Основы Hadoop и обработка больших данных
JS_Hadoop

Курс дает представление об основах Apache™ Hadoop® и методах разработки приложений, обрабатывающих данные, на его основе. Участники познакомятся с HDFS – стандартом де факто для долговременного надежного хранения больших объемов данных, фреймворком MapReduce, автоматически управляющим параллельным выполнением приложений на кластере, новым фреймворком YARN, а также сопутствующими проектами, составляющими экосистему Hadoop®.
 

Аудитория

Курс предназначен для специалистов в области распределённой обработки больших данных

Предварительный уровень подготовки

Обязательное знание диалекта 1.8 языка Java на уровне JavaSE8Core. Желательно понимание обобщённых типов Java и фреймворка коллекций Java.
 

Программа курса

1. Введение. 

  • Hadoop и РСУБД
  • Распределенные вычисления
  • Краткая история Hadoop
  • ApacheHadoop и экосистема Hadoop
  • ВыпускиHadoop
  • Версии MapReduceAPI
  • Совместимость версий

2. MapReduce. 

  • Набор метеорологических данных
  • Формат данных
  • Анализ данных средствами Unix
  • Анализ данных в Hadoop
  • Отображение и свертка
  • Программа MapReduce на языке Java
  • MapReduce в перспективе
  • Поток данных
  • Комбинирующие функции
  • Выполнение распределенного задания MapReduce
  • Hadoop Streaming
  • Hadoop Pipes
  • Компиляция и запуск

3. HDFS.

  • Строение HDFS
  • Основные концепции HDFS
  • Блоки
  • Узлы имен и узлы данных
  • HDFS Federation
  • Высокая доступность HDFS
  • Преодоление сбоев и изоляция
  • Интерфейс командной строки
  • Основные операции файловой системы
  • Файловые системы Hadoop
  • Интерфейсы
  • Интерфейс Java
  • Чтение данных Hadoop по URL-адресу
  • Чтение данных с использованием Filesystem API
  • Запись данных
  • Получение информации от файловой системы
  • Удаление данных
  • Поток данных
  • Чтение файла, запись в файлы
  • Модель целостности
  • Перемещение данных: Flume и Sqoop
  • Параллельное копирование с использованием distcp
  • Сбалансированность кластеров HDFS
  • HAR
  • Использование HAR
  • Ограничения

4. Ввод/вывод в Hadoop. 

  • Целостность данных
  • Целостность данных в HDFS
  • Local File System
  • Checksum File System
  • Сжатие
  • Кодеки
  • Сжатие и разбиение входных данных
  • Использование сжатия в MapReduce
  • Сериализация
  • Интерфейс Writable
  • Классы Writable
  • Пользовательские реализации Writable
  • Программные среды сериализации

5. Avro. 

  • Типы данных и схемы Avro
  • Сериализация и десериализация в памяти
  • Файлы данных Avro
  • Файловые структуры данных
  • SequenceFile
  • MapFile

6. Разработка приложений MapReduce. 

  • API конфигурации
  • Объединение ресурсов
  • Расширение переменных
  • Настройка среды разработки
  • Управление конфигурацией
  • Написание модульных тестов с MRUnit
  • Функция отображения
  • Функция свертки
  • Локальное выполнение с тестовыми данными
  • Локальный запуск задания
  • Тестирование управляющей программы
  • Запуск в кластере
  • Упаковка задания, запуск задания
  • Веб-интерфейсMapReduce
  • Получение результатов
  • Отладка задания
  • Журналы Hadoop
  • Удаленная отладка
  • Оптимизация задания
  • Профилирование
  • Модель Map Reduce
  • Разложение задачи на задания MapReduce

7. Создание кластера Hadoop. 

  • Оборудование кластера
  • Сетевая топология
  • Настройка и установка кластера
  • Создание пользователя Hadoop
  • Установка Hadoop
  • Тестирование установки
  • КонфигурацияSSH
  • Конфигурация Hadoop
  • Управление конфигурацией
  • Настройки окружения
  • Важные свойства демонов Hadoop
  • Адреса и порты демонов Hadoop
  • Другие свойства Hadoop
  • Создание учетных записей пользователей
  • Конфигурация YARN
  • Важные свойства демонов YARN
  • Адреса и порты демонов YARN

8. Администрирование Hadoop. 

  • HDFS
  • Дисковые структуры данных
  • Безопасный режим
  • Журналы аудита
  • Инструменты
  • Мониторинг
  • Ведение журналов
  • Метрики
  • Сопровождение
  • Стандартные административные процедуры
  • Включение и исключение узлов
  • Обновления

9. Hive. 

  • Оболочка Hive
  • Пример
  • Администрирование Hive
  • Настройка конфигурации Hive
  • Сервисные функции Hive
  • Метахранилище
  • Сравнение с традиционными базами данных
  • Проверка схемы при чтении и записи
  • Обновления, транзакции и индексы
  • HiveQL
  • Типы данных
  • Операторы и функции
  • Таблицы
  • Управляемые и внешние таблицы
  • Разделы и гнезда
  • Форматы хранения данных
  • Импортирование данных
  • Модификация таблиц
  • Удаление таблиц
  • Запросы к данным
  • Сортировка и агрегирование
  • Сценарии MapReduce
  • Подзапросы
  • Пользовательские функции

10. HBase. 

  • Знакомство с Hbase
  • История
  • Концепции
  • Краткий обзор модели данных
  • Реализация
  • Пробный запуск
  • Клиенты
  • Java
  • Avro,RESTиThrift
  • Схемы
  • Загрузка данных
  • Веб-запросы
  • HBase и РСУБД
  • Масштабирование успешного сервиса

11. ZooKeeper. 

  • Установка и запуск ZooKeeper
  • Реализация списка принадлежности в ZooKeeper
  • Создание группы
  • Присоединение к группе
  • Вывод списка участников группы
  • Удаление группы
  • Сервис ZooKeeper
  • Модель данных
  • Операции
  • Реализация
  • Согласованность данных
  • Сеансы
  • Состояния
  • Построение приложений с использованием ZooKeeper
  • Отказоустойчивое приложение ZooKeeper
  • Блокировка
  • Другие распределенные структуры данных и протоколы
  • Практическое использование ZooKeeper
  • Надежность и производительностьHadoop и РСУБД
  • Распределенные вычисления
  • Краткая история Hadoop
  • ApacheHadoop и экосистема Hadoop
  • ВыпускиHadoop
  • Версии MapReduceAPI
  • Совместимость версий

Ближайшие курсы

Or12с_DPU 23.09 - 25.09.2024

Oracle 12c: Разработка программных модулей PL/SQL

Стоимость обучения в группе

32 010 ₽

Стоимость индивидуального обучения

53 500 ₽

Длительность

3 дня (24 ак. ч.)

Or11g_DPU 23.09 - 25.09.2024

Oracle 11g: Разработка программных модулей PL/SQL

Стоимость обучения в группе

32 010 ₽

Стоимость индивидуального обучения

53 500 ₽

Длительность

3 дня (24 ак. ч.)

1С_40 23.09 - 25.09.2024

Азы программирования в системе "1С:Предприятие 8.3", Сертифицированный базовый курс

Стоимость обучения в группе

19 824 ₽

Длительность

3 дня (24 ак. ч.)

JS 23.09 - 25.09.2024

JavaScript. Основы веб - программирования

Стоимость обучения в группе

36 735 ₽

Стоимость индивидуального обучения

46 000 ₽

Длительность

3 дня (24 ак. ч.)

20410 23.09 - 27.09.2024

Установка и настройка Windows Server 2012 R2

Стоимость обучения в группе

34 480 ₽

Стоимость индивидуального обучения

60 000 ₽

Длительность

5 дней (40 ак. ч.)

АС2 23.09 - 27.09.2024

AutoCAD: уровень II. Адаптация системы под стандарты предприятия

Стоимость обучения в группе

25 435 ₽

Стоимость индивидуального обучения

43 300 ₽

Длительность

5 дней (40 ак. ч.)

БТ02 23.09 - 27.09.2024

Защита конфиденциальной информации от утечки по техническим каналам

Стоимость обучения в группе

47 340 ₽

Стоимость индивидуального обучения

89 500 ₽

Длительность

5 дней (40 ак. ч.)

LPI-201 23.09 - 27.09.2024

Углубленное администрирование GNU/Linux

Стоимость обучения в группе

34 600 ₽

Стоимость индивидуального обучения

51 350 ₽

Длительность

5 дней (40 ак. ч.)

SUSE-201 23.09 - 27.09.2024

Углубленное администрирование SUSE

Стоимость обучения в группе

33 600 ₽

Стоимость индивидуального обучения

51 350 ₽

Длительность

5 дней (40 ак. ч.)

UCP-201 23.09 - 27.09.2024

Углубленное администрирование Ubuntu

Стоимость обучения в группе

33 600 ₽

Стоимость индивидуального обучения

51 350 ₽

Длительность

5 дней (40 ак. ч.)

MPLS 23.09 - 27.09.2024

Implementing Cisco MPLS

Стоимость обучения в группе

62 250 ₽

Стоимость индивидуального обучения

80 925 ₽

Длительность

5 дней (40 ак. ч.)

FBD-201 23.09 - 27.09.2024

Углубленное администрирование FreeBSD

Стоимость обучения в группе

33 600 ₽

Стоимость индивидуального обучения

51 350 ₽

Длительность

5 дней (40 ак. ч.)

20761 23.09 - 27.09.2024

Запрос данных с использованием Transact SQL

Стоимость обучения в группе

36 685 ₽

Стоимость индивидуального обучения

61 300 ₽

Длительность

5 дней (40 ак. ч.)

20461 23.09 - 27.09.2024

Создание запросов к Microsoft SQL Server

Стоимость обучения в группе

35 685 ₽

Стоимость индивидуального обучения

59 500 ₽

Длительность

5 дней (40 ак. ч.)

ICND 2 v3.0 23.09 - 27.09.2024

Использование сетевого оборудования Cisco (часть II) v3.0

Стоимость обучения в группе

46 395 ₽

Стоимость индивидуального обучения

80 500 ₽

Длительность

5 дней (40 ак. ч.)

Or12c_APLS0 25.09 - 27.09.2024

Передовые методы PL/SQL

Стоимость обучения в группе

43 560 ₽

Стоимость индивидуального обучения

53 000 ₽

Длительность

3 дня (24 ак. ч.)

Or11g_APLS 25.09 - 27.09.2024

Передовые методы PL/SQL

Стоимость обучения в группе

43 560 ₽

Стоимость индивидуального обучения

53 000 ₽

Длительность

3 дня (24 ак. ч.)

JS_Ext 26.09 - 27.09.2024

JavaScript. Уровень 2. Расширенные возможности

Стоимость обучения в группе

31 590 ₽

Стоимость индивидуального обучения

36 850 ₽

Длительность

2 дня (16 ак. ч.)

ViPNet 4 30.09 - 02.10.2024

Администрирование системы защиты информации ViPNet 4 (Программно-аппаратные комплексы VipNet)

Стоимость обучения в группе

30 960 ₽

Стоимость индивидуального обучения

53 100 ₽

Длительность

3 дня (72 ак. ч.)

IT-02 30.09 - 02.10.2024

Основы ITIL

Стоимость обучения в группе

28 860 ₽

Стоимость индивидуального обучения

55 500 ₽

Длительность

3 дня (24 ак. ч.)

20741 30.09 - 03.10.2024

Настройка сети в Windows Server 2016

Стоимость обучения в группе

35 530 ₽

Стоимость индивидуального обучения

61 500 ₽

Длительность

5 дней (40 ак. ч.)

20411 30.09 - 04.10.2024

Администрирование Windows Server 2012 R2

Стоимость обучения в группе

34 480 ₽

Стоимость индивидуального обучения

60 000 ₽

Длительность

5 дней (40 ак. ч.)

Or11g_WEB 30.09 - 04.10.2024

Разработка приложений для Web сервера средствами PL/SQL

Стоимость обучения в группе

78 735 ₽

Стоимость индивидуального обучения

99 080 ₽

Длительность

5 дней (40 ак. ч.)

Or12c_PMT 30.09 - 04.10.2024

Oracle Database 12c: Управление и настройка производительности

Стоимость обучения в группе

74 400 ₽

Стоимость индивидуального обучения

124 500 ₽

Длительность

5 дней (40 ак. ч.)

LPI-202 30.09 - 04.10.2024

Углубленное сетевое администрирование GNU/Linux

Стоимость обучения в группе

34 600 ₽

Стоимость индивидуального обучения

51 350 ₽

Длительность

5 дней (40 ак. ч.)

SUSE-202 30.09 - 04.10.2024

Углубленное сетевое администрирование SUSE

Стоимость обучения в группе

33 600 ₽

Стоимость индивидуального обучения

51 350 ₽

Длительность

5 дней (40 ак. ч.)

VBA_Excel 30.09 - 04.10.2024

Разработка VBA-приложений в Excel

Стоимость обучения в группе

46 345 ₽

Стоимость индивидуального обучения

63 000 ₽

Длительность

5 дней (40 ак. ч.)

FBD-202 30.09 - 04.10.2024

Сетевое администрирование и безопасность FreeBSD

Стоимость обучения в группе

33 600 ₽

Стоимость индивидуального обучения

51 350 ₽

Длительность

5 дней (40 ак. ч.)

PGSQL_basics 30.09 - 04.10.2024

PostgreSQL уровень 1. Основы SQL

Стоимость обучения в группе

38 260 ₽

Стоимость индивидуального обучения

53 500 ₽

Длительность

5 дней (40 ак. ч.)

20762 30.09 - 04.10.2024

Разработка баз данных SQL

Стоимость обучения в группе

36 685 ₽

Стоимость индивидуального обучения

61 300 ₽

Длительность

5 дней (40 ак. ч.)

1С_41 30.09 - 11.10.2024

Программирование в системе 1С:Предприятие 8.3» (самый полный курс для программистов 1С)

Стоимость обучения в группе

54 408 ₽

Длительность

10 дней (80 ак. ч.)

UCP-202 30.09 - 03.11.2024

Углубленное сетевое администрирование Ubuntu

Стоимость обучения в группе

33 600 ₽

Стоимость индивидуального обучения

51 350 ₽

Длительность

5 дней (40 ак. ч.)

PG_DBA1 07.10 - 09.10.2024

Администрирование PostgreSQL 16. Базовый курс

Стоимость обучения в группе

27 165 ₽

Стоимость индивидуального обучения

43 000 ₽

Длительность

3 дня (24 ак. ч.)

20742 07.10 - 11.10.2024

Проверка подлинности в Windows Server 2016

Стоимость обучения в группе

35 530 ₽

Стоимость индивидуального обучения

61 500 ₽

Длительность

5 дней (40 ак. ч.)

20412 07.10 - 11.10.2024

Настройка дополнительных сервисов Windows Server 2012 R2

Стоимость обучения в группе

34 480 ₽

Стоимость индивидуального обучения

60 000 ₽

Длительность

5 дней (40 ак. ч.)

10969 07.10 - 11.10.2024

Cлужбы Active Directory в Windows Server 2012 R2

Стоимость обучения в группе

35 160 ₽

Стоимость индивидуального обучения

59 500 ₽

Длительность

5 дней (40 ак. ч.)

Or12c_DBA 07.10 - 11.10.2024

Administration Workshop

Стоимость обучения в группе

74 010 ₽

Стоимость индивидуального обучения

128 600 ₽

Длительность

5 дней (40 ак. ч.)

Eltex_ESR 07.10 - 11.10.2024

Использование маршрутизаторов Eltex ESR

Стоимость обучения в группе

77 950 ₽

Стоимость индивидуального обучения

90 820 ₽

Длительность

5 дней (40 ак. часов)

20687 07.10 - 11.10.2024

Настройка Windows 8.1

Стоимость обучения в группе

35 160 ₽

Стоимость индивидуального обучения

59 300 ₽

Длительность

5 дней (40 ак. ч.)

20480 07.10 - 11.10.2024

Программирование в HTML5 с JavaScript и CSS3

Стоимость обучения в группе

35 160 ₽

Стоимость индивидуального обучения

63 000 ₽

Длительность

5 дней (40 ак. ч.)

20761 07.10 - 11.10.2024

Запрос данных с использованием Transact SQL

Стоимость обучения в группе

36 685 ₽

Стоимость индивидуального обучения

61 300 ₽

Длительность

5 дней (40 ак. ч.)

SWITCH 07.10 - 11.10.2024

Развертывание коммутируемых IP-сетей Cisco v2.0

Стоимость обучения в группе

62 250 ₽

Стоимость индивидуального обучения

80 925 ₽

Длительность

5 дней (40 ак. ч.)

Python-1 07.10 - 11.10.2024

Основы программирования Python. Уровень 1.

Стоимость обучения в группе

30 960 ₽

Стоимость индивидуального обучения

52 420 ₽

Длительность

5 дней (40 ак. ч.)

WebU 07.10 - 11.10.2024

Юзабилити сайтов. Проектирование веб – интерфейсов

Стоимость обучения в группе

29 875 ₽

Стоимость индивидуального обучения

53 500 ₽

Длительность

4 дня (32 ак. ч.)

20764 07.10 - 11.10.2024

Администрирование инфраструктуры базы данных SQL

Стоимость обучения в группе

36 685 ₽

Стоимость индивидуального обучения

61 300 ₽

Длительность

5 дней (40 ак. ч.)

20462 07.10 - 11.10.2024

Администрирование баз данных Microsoft SQL Server

Стоимость обучения в группе

35 685 ₽

Стоимость индивидуального обучения

59 500 ₽

Длительность

5 дней (40 ак. ч.)

JV_Core 07.10 - 11.10.2024

Основы языка Java

Стоимость обучения в группе

42 565 ₽

Стоимость индивидуального обучения

75 000 ₽

Длительность

5 дней (40 ак. ч.)

Primavera 09.10 - 11.10.2024

Управление проектами с использованием Oracle Primavera

Стоимость обучения в группе

29 000 ₽

Стоимость индивидуального обучения

31 900 ₽

Длительность

3 дня (24 ак. ч.)

Java SE 09.10 - 13.10.2024

Java SE Базовый

Стоимость обучения в группе

46 765 ₽

Стоимость индивидуального обучения

59 000 ₽

Длительность

5 дней (40 ак. ч.)

10961 14.10 - 18.10.2024

Автоматизация администрирования с Windows PowerShell

Стоимость обучения в группе

37 260 ₽

Стоимость индивидуального обучения

63 500 ₽

Длительность

5 дней (40 ак. ч.)

20703-1 14.10 - 18.10.2024

Администрирование System Center Configuration Manager

Стоимость обучения в группе

35 160 ₽

Стоимость индивидуального обучения

63 200 ₽

Длительность

5 дней (40 ак. ч.)

VSFT6.5 14.10 - 18.10.2024

VMWare vSphere: Fast Track

Стоимость обучения в группе

81 885 ₽

Стоимость индивидуального обучения

159 500 ₽

Длительность

5 дней (40 ак. ч.)

БТ17 14.10 - 18.10.2024

Расследование компьютерных инцидентов. Компьютерная криминалистика

Стоимость обучения в группе

47 500 ₽

Стоимость индивидуального обучения

72 900 ₽

Длительность

5 дней (40 ак. ч.)

LPI-Zabbix 14.10 - 18.10.2024

Zabbix. Мониторинг IT инфраструктуры предприятия

Стоимость обучения в группе

41 635 ₽

Стоимость индивидуального обучения

48 500 ₽

Длительность

5 дней (40 ак. ч.)

CA 14.10 - 18.10.2024

Концепции атак на компьютерные системы и тестирование на проникновение

Стоимость обучения в группе

55 375 ₽

Стоимость индивидуального обучения

90 500 ₽

Длительность

5 дней (72 ак. ч.)

20688 14.10 - 18.10.2024

Техническая поддержка Windows 8.1

Стоимость обучения в группе

35 160 ₽

Стоимость индивидуального обучения

59 300 ₽

Длительность

5 дней (40 ак. ч.)

TSHOOT 14.10 - 18.10.2024

Диагностика и поддержка IP-сетей Cisco

Стоимость обучения в группе

62 985 ₽

Стоимость индивидуального обучения

81 880 ₽

Длительность

5 дней (40 ак. ч.)

20483 14.10 - 18.10.2024

Программирование на C#

Стоимость обучения в группе

36 735 ₽

Стоимость индивидуального обучения

63 500 ₽

Длительность

5 дней (40 ак. ч.)

Python-2 14.10 - 18.10.2024

Продвинутое программирование Python. Уровень 2.

Стоимость обучения в группе

30 960 ₽

Стоимость индивидуального обучения

50 850 ₽

Длительность

5 дней (40 ак. ч.)

Twr 16.10 - 20.10.2024

Тестирование WEB-приложений

Стоимость обучения в группе

36 170 ₽

Стоимость индивидуального обучения

55 500 ₽

Длительность

5 дней (40 ак. ч.)

МО 16.10 - 20.10.2024

DATA SCIENCE. Применение машинного обучения

Стоимость обучения в группе

33 535 ₽

Стоимость индивидуального обучения

55 350 ₽

Длительность

5 дней (40 ак. ч.)

Java SE-2 16.10 - 20.10.2024

Java SE: Дополнительные главы

Стоимость обучения в группе

46 765 ₽

Стоимость индивидуального обучения

59 000 ₽

Длительность

5 дней (40 ак. ч.)