Реализация хранилищ данных в Microsoft SQL Server
20463
Этот курс предназначен для профессионалов, создающих и поддерживающих различные хранилища данных, настраивающих загрузку и преобразование данных, проверяющих целостность данных и обеспечивающих очистку устаревшей информации. Цель курса: предоставить слушателям знания и навыки, необходимые для реализации хранилища данных для поддержки BI-решений. Курс рассказывает как создать хранилище данных в Microsoft SQL Server 2014, как использовать ETL со службами интеграции SQL Server, как проверить и очистить данные с SQL Server Data Quality Services и SQL Server Master Data Services.
Результат обучения
По окончании курса слушатели смогут:
- Представлять концепцию и архитектуру хранилища данных
- Выбирать подходящую аппаратную платформу для хранилищ данных
- Планировать и создавать хранилища данных
- Реализовывать потоки данных в SSIS пакетах
- Производить отладку и устранение неполадок SSIS пакетов
- Реализовывать ETL решение, которое поддерживает инкрементную загрузку хранилища и изменение данных
- Осуществлять интеграцию данных из облака в хранилище данных.
- Реализовывать очистку данных с помощью службы Microsoft Data Quality.
- Реализовывать Master Data Services для обеспечения целостности данных.
- Расширять пакеты SSIS пользовательскими скриптами и компонентами.
- Разворачивать и настраивать пакеты SSIS.
- Описать роль хранилища данных в работе BI-решений.
Предварительный уровень подготовки
Для эффективного обучения на курсе слушатели должны обладать следующими знаниями и навыками:
- Минимум 2 года опыта работы с реляционными базами данных
- Опыт проектирования нормализованных баз данных
- Опыт создания таблиц и связей • Опыт написания запросов на Transact-SQL
- Знание базовых структур программирования (как ветвление и циклы)
- Понимание ключевых приоритетов бизнеса – доход, прибыль, финансовые исчисления.
Программа курса
Модуль 1: (4 ак. часа) Введение в хранилища данных
- Описание концепции и архитектуры хранилища данных
- Решение для хранилища данных
- Лабораторная работа: Изучение решения для хранилища данных
- Изучение источников данных
- Изучение процессов ETL
- Изучение хранилищ данных
Модуль 2: (3 ак. часа) Планирование инфраструктуры хранилищ данных
- Рекомендации по созданию инфраструктуры хранилищ данных
- Планирование аппаратного обеспечения для хранилища данных
Лабораторная работа:
- Планирование инфраструктуры хранилищ данных
- Планирование аппаратного обеспечения для хранилища данных
Модуль 3: (3 ак. часа) Проектирование и реализация хранилищ данных Темы
- Проектирование хранилища данных
- Проектирование таблицы времени
- Проектирование таблицы фактов
- Физическая реализация хранилища данных
Лабораторная работа:
- Реализация схемы хранилища данных
- Реализация схемы Звезда
- Реализация схемы Снежинка
- Реализация таблицы измерений
Модуль 4: (3 ак. часа) Разработка и внедрение схемы для хранилища данных Темы
- Введение в ETL с SSIS
- Изучение источников данных
- Реализация потока данных Лабораторная работа: Реализация потока данных в пакете служб SSIS
- Изучение источников данных
- Передача данных с помощью задачи потока данных
- Использование преобразования в потоке данных
Модуль 5: (3 ак. часа) Реализация потока управления в пакете SSIS Темы
- Введение в поток управления
- Создание динамических пакетов
- Использование контейнеров
- Управление согласованностью
Лабораторная работа: Реализация потока управления в пакете SSIS
- Использование задач и очередность в потоке управления
- Использование переменных и параметров
- Использование контейнеров Лабораторная работа:
- Использование транзакций и контрольных точек
- Использование транзакций
- Использование контрольных точек
Модуль 6: (3 ак. часа) Отладка и устранение неполадок служб SSIS Темы
- Отладка пакетов служб SSIS
- Ведение журнала событий пакетов служб SSIS
- Обработка ошибок в пакете служб SSIS Лабораторная работа:
- Отладка и устранение неполадок пакетов служб SSIS
- Отладка пакетов служб SSIS
- Ведение журнала выполнения пакетов служб SSIS
- Реализация обработчиков событий
- Обработка ошибок в потоке данных
Модуль 7: (3 ак. часа) Реализация решений извлечения данных Темы
- Планирование извлечения данных
- Извлечение измененных данных
Лабораторная работа: Извлечение измененных данных
- Использование столбца даты и времени
- Использование записи изменения данных
- Использование задач управления CDC
- Использование отслеживания изменений
Модуль 8: (3 ак. часа) Загрузка данных в хранилище данных Темы
- Планирование загрузки данных
- Использование SSIS для инкрементальной загрузки
- Использование инструментов загрузки Transact-SQL Лабораторная работа:
- Загрузка данных в хранилище данных
- Загрузка данных из таблиц вывода CDC
- Использование циклов для ввода и обновления измерений данных
- Реализация медленно меняющихся измерений
- Использование выражения MERGE
Модуль 9: (3 ак. часа) Обеспечение качества данных Темы
- Введение в очистку данных
- Использование Data Quality Services для очистки данных
- Использование Data Quality Services для соответствия данных Лабораторная работа: Очистка данных
- Создание базы знаний DQS
- Очистка данных с помощью проекта DQS
- Использование DQS в SSIS пакете
Модуль 10: (3 ак. часа) Использование Master Data Services Темы
- Основные понятия Master Data Services
- Реализация модели Master Data Services
- Управление основными данными
- Создание концентратор основных данных Лабораторная работа: Реализация Master Data Services
- Создание базовой модели MDS
- Редактирование моделей MDS с помощью Excel
- Применение бизнес-правил
- Загрузка данных в MDS
- Получение Master Data Services данных
Модуль 11: (3 ак. часа) Расширение SSIS Темы • Использование сценариев в SSIS
- Использование пользовательских компонентов в SSIS Лабораторная работа:
- Использование скриптов и пользовательских компонентов
- Использование Задачи сценарий (Script Task)
Модуль 12: (3 ак. часа) Развертывание и настройка пакетов служб SSIS Темы
- Обзор развертывания
- Развертывание проектов служб SSIS
- Планирование выполнения пакетов служб SSIS Лабораторная работа:
- Развертывание и настройка пакетов служб SSIS
- Создание каталога SSIS
- Развертывание SSIS проекта
- Запуск пакетов служб SSIS в SQL Server Management Studio
- Запуск пакетов SSIS по расписанию агентом SQL Server
Модуль 13: (3 ак. часа) Использование данных в хранилище Темы
- Введение в бизнес аналитику (BI)
- Корпоративная бизнес аналитика
- Самообслуживание BI и большие данные
Лабораторная работа: Использование хранилища данных
- Изучение решений корпоративной бизнес аналитики BI