Разработка и эксплуатация хранилищ данных на SQL Server 2016
20767
Цель курса:
Предоставить слушателям знания и навыки, необходимые для реализации хранилища данных для поддержки BI-решений. Курс рассказывает как создать хранилище данных в Microsoft SQL Server 2016, как использовать ETL со службами интеграции SQL Server, как проверить и очистить данные с SQL Server Data Quality Services и SQL Server Master Data Services.
Аудитория
Этот курс предназначен для профессионалов, создающих и поддерживающих различные хранилища данных, настраивающих загрузку и преобразование данных, проверяющих целостность данных и обеспечивающих очистку устаревшей информации.
Результат обучения
По окончании курса слушатели смогут:
- Представлять концепцию и архитектуру хранилища данных
- Выбирать подходящую аппаратную платформу для хранилищ данных
- Планировать и создавать хранилища данных
- Реализовывать потоки данных в SSIS пакетах
- Производить отладку и устранение неполадок SSIS пакетов
- Реализовывать ETL решение, которое поддерживает инкрементную загрузку хранилища и изменение данных
- Осуществлять интеграцию данных из облака в хранилище данных.
- Реализовывать очистку данных с помощью службы Microsoft Data Quality.
- Реализовывать Master Data Services для обеспечения целостности данных.
- Расширять пакеты SSIS пользовательскими скриптами и компонентами.
- Разворачивать и настраивать пакеты SSIS.
- Описать роль хранилища данных в работе BI-решений
Предварительный уровень подготовки
Для эффективного обучения на курсе слушатели должны обладать следующими знаниями и навыками:
- Минимум 2 года опыта работы с реляционными базами данных
- Опыт проектирования нормализованных баз данных
- Опыт создания таблиц и связей
- Опыт написания запросов на Transact-SQL
- Знание базовых структур программирования (как ветвление и циклы)
- Понимание ключевых приоритетов бизнеса – доход, прибыль, финансовые исчисления
Программа курса
Модуль 1: Введение в хранилища данных (2 ак.часа)
• Описание концепции и архитектуры хранилища данных
• Решение для хранилища данных
Лабораторная работа: Изучение решения для хранилища данных
Модуль 2: Планирование инфраструктуры хранилищ данных (3 ак.часа)
• Рекомендации по созданию инфраструктуры хранилищ данных
• Планирование аппаратного обеспечения для хранилища данных
Лабораторная работа: Планирование инфраструктуры хранилищ данных
Модуль 3: Проектирование и реализация хранилищ данных (3 ак.часа)
• Проектирование логической инфраструктуры хранилища данных
• Проектирование физической инфраструктуры хранилища данных
Лабораторная работа: Реализация схемы хранилища данных
Модуль 4: Индексы колоночного хранения (columnstore) (3 ак.часа)
• Введение в индексы columnstore
• Создание columnstore индексов
• Работа с columnstore индексами
Лабораторная работа: Использование columnstore индексов
Модуль 5: Реализация хранилища данных в Azure (2 ак.часа)
• Преимущество хранилища данных в Azure
• Реализация хранилища данных в Azure
• Разработка хранилища данных в Azure
• Миграция данных в хранилище Azure
Лабораторная работа: Реализация хранилища данных в Azure
Модуль 6: Создание ETL решения (2 ак.часа)
• Введение в ETL с SSIS
• Изучение источников данных
• Реализация потока данных
Лабораторная работа: Реализация потока данных в пакете служб SSIS
Модуль 7: Реализация потока управления в пакете SSIS (3 ак.часа)
• Введение в поток управления
• Создание динамических пакетов
• Использование контейнеров
Лабораторная работа: Реализация потока управления в пакете SSIS
Лабораторная работа: Использование транзакций и контрольных точек
Модуль 8: Отладка и устранение неполадок служб SSIS (2 ак.часа)
• Отладка пакетов служб SSIS
• Ведение журнала событий пакетов служб SSIS
• Обработка ошибок в пакете служб SSIS
Лабораторная работа: Отладка и устранение неполадок пакетов служб SSIS
Модуль 9: Реализация инкрементального ETL-процесса загрузки данных (2 ак.часа)
• Основы инкрементальной загрузки данных
• Извлечение измененных данных
• Использование временных таблиц
Лабораторная работа: Извлечение измененных данных
Лабораторная работа: Загрузка данных в хранилище данных
Модуль 10: Обеспечение качества данных (2 ак.часа)
• Введение в качество данных
• Использование Data Quality Services для очистки данных
• Использование Data Quality Services для сведения данных
Лабораторная работа: Очистка данных
Лабораторная работа: Исключение дублирования данных
Модуль 11: Использование Master Data Services (2 ак.часа)
• Основные понятия Master Data Services
• Реализация модели Master Data Services
• Управление основными данными
• Создание концентратор основных данных
Лабораторная работа: Реализация Master Data Services
Модуль 12: Расширение SSIS (2 ак.часа)
• Использование пользовательских компонентов в SSIS
• Использование сценариев в SSIS
Лабораторная работа: Использование скриптов и пользовательских компонентов
Модуль 13: Развертывание и настройка пакетов служб SSIS (2 ак.часа)
• Обзор развертывания
• Развертывание проектов служб SSIS
• Планирование выполнения пакетов служб SSIS
Лабораторная работа: Развертывание и настройка пакетов служб SSIS
Модуль 14: Использование данных в хранилище (2 ак.часа)
• Введение в бизнес аналитику (BI)
• Введение в системы отчетности
• Введение в анализ данных
• Анализ данных с использованием хранилища Azure
Лабораторная работа: Использование средств бизнес аналитики