info@centrattek.ru
Современная архитектура хранилища данных
Обучение организации архитектуры хранилища данных
По всей России
Лицензированный учебный центр
| 86 400 руб. | |
| Цена: | 64 000 руб. |
Хранилище данных представляет собой структуру, обеспечивающую эффективное сохранение информации и ее организацию для дальнейшей обработки. Хорошо организованное хранилище должно обеспечивать возможность доступа к разным типам файлов из разных источников, включая RDBMS, Data Lakes, внутренние и внешние источники компании, облачные сервисы, файлы и так далее.
Исторически сложилось, что большая часть хранилищ данных относится к структурам реляционного типа, которые имеют табличный вид, состоящий из строк и столбцов. Кроме этого, существуют и нереляционные хранилища, которые организованы в виде колонок или граф. Сегодня для обозначения хранилища данных чаще всего применяется термин Data Warehouse (DWH). Он используется для обозначения обобщенной библиотеки, в которой упорядоченным образом сохраняются все данные компании, накопленные за период ее работы. Эффективная структура хранилища данных характеризуется следующими признаками:
- аналитики имеют доступ ко всем нужным разделам и временным периодам без запроса дополнительной авторизации;
- данные в хранилище имеют динамический характер, то есть своевременно добавляются, выгружаются и очищаются;
- хранилище доступно для выполнения запросов;
- все уполномоченные сотрудники имеют общий доступ к хранилищу.
Уровни хранилища данных
Типовая архитектура хранилища данных предполагает наличие трех уровней:
• средний – инструменты и сервисы, ответственные за преобразование данных в структуру, подходящую для анализа;
• верхний – функционал анализа и визуализации данных, а также составления отчетности.
Наличие всех трех уровней – это признак грамотно организованного хранилища, которое обеспечивает возможности эффективного анализа данных для принятия бизнес-решений.
Разработка архитектуры хранилища данных
Процедура разработки архитектуры хранилища данных должна включать следующие этапы:
2. Создание высокоуровневой модели данных, в которой присутствуют основные объекты и определены их взаимосвязи;
3. Создание логической модели данных на базе ранее созданной концептуальной модели, включая определение атрибутов и внешних ограничений;
4. Создание физической модели данных с указанием свойств таблиц, столбцов, граф, переменных;
5. Разработка документации по модели;
6. Обслуживание, модернизация и техническая поддержка модели.
Преимущества эффективной архитектуры хранилища данных
Хранилище, которое оптимально спроектировано в соответствии с потребностями компании, имеет следующие преимущества:
- сокращение времени выполнения операций. Основной признак правильной организации хранения здесь предполагает возможность многократного быстрого доступа к однажды внесенным в систему данным;
- обеспечение преемственности данных, обеспечивающей построение динамических рядов по интересующим показателям;
- единые правила наименования таблиц, полей, столбцов и строк;
- корректное ведение базы данных, предполагающее своевременное обновление информации и устранение дублирующихся сведений;
- наличие устойчивой связи с источниками данных, включая своевременное информирование о проблемах с этими источниками;
- максимальная автоматизация потоков данных с качественным результатом.
Рынок организации хранилищ данных
Зачастую важные данные в компаниях хранятся изолированно: финансовая информация находится в ведении бухгалтерии, логистические данные доступны только сотрудникам транспортного отдела, маркетинговая информация – аналитикам и продажникам. При этом объединение таких хранилищ и организация эффективного доступа для последующего анализа данных позволила бы руководителям увидеть совершенно новую картину, которая легла бы в основу разработки долгосрочной стратегии развития.
Понимание этого у крупнейших игроков рынка появилось уже более 10 лет назад, когда и возник термин «большие данные» - Big Data. Тогда же появились первые технологии для их обработки, и их число постоянно увеличивалось. А в середине 2010-х годов стали появляться и разные модели организации хранилища данных, которые позволяли оптимизировать работу с ними в зависимости от характера и структуры информации, собираемой компанией. Мощный толчок этому сектору дало развитие облачных серверов, которое позволило сохранять большие объемы данных без серьезных инвестиций в оборудование.
Сейчас работа с большими данными – это объемный рынок, на котором присутствуют как компании общего профиля, обрабатывающие собственные данные, так и профессиональные игроки, специализирующиеся на работе с Big Data. К 2020 году объем этого рынка достиг примерно $200 миллиардов. Наиболее успешно этот сегмент рынка развивается в США, однако китайские компании также набирают обороты в этом секторе. В России основной интерес к работе с большими данными сегодня предъявляют IT-компании и банковский сектор, а также исследовательские организации.
Эти игроки заинтересованы в грамотных специалистах, которые владеют навыками эффективной организации хранилищ данных и способны управлять и поддерживать такие хранилища. Чтобы получить такие навыки, нужно пройти специальное обучение. Вы можете пройти такую подготовку в центре АТТЭК.
Организация обучения
В нашем обучающем центре слушателям предлагается выбор из нескольких форматов:
• очно в учебном центре АТТЭК в Москве или Санкт-Петербурге;
• дистанционно на онлайн-платформе.
Вне зависимости от выбранного формата подготовки вы получите качественные знания и навыки, обеспечивающие возможность эффективной организации архитектуры хранилища данных в соответствии с задачей. Высокое качество обучения в нашем центре достигается благодаря полному набору информации, служащей для освоения всех аспектов работы:
- наглядные обучающие материалы, знакомящие с понятием и моделями архитектуры данных;
- курс лекций, затрагивающий все основные этапы работы с архитектурой данных;
- учебные массивы данных для понимания принципов организации хранилищ;
- обучающие задачи, необходимые для освоения ключевых навыков построения эффективной архитектуры;
- видеоматериалы, обучающие нюансам работы;
- примеры реальных бизнес-кейсов с разными типами архитектуры хранилищ;
- консультации преподавателей, готовых ответить на любой вопрос слушателей.
Программа обучения
• Корпоративные данные
• Терминология – база данных, хранилище данных, архитектура хранилища
• Понятие Data Warehouse (DWH)
• Признаки и особенности DWH
• DWH, EDW и MDW
• Три уровня архитектуры хранилища данных
• Компоненты DWH
• Скорость
• Разнообразие
• Достоверность
• Изменчивость
• Ценность
• Сбор и хранение данных
• Интеграция данных
• Создание потоков данных
• Постановка задач
• Написание скриптов
• Облачные вычисления
• Базы данных
• Инструменты работы с данными (ETL)
• Метаданные
• Инструменты доступа к хранилищу
• Шина хранилища данных
• Уровень отчетности
• Основные подходы к проектированию
• Основные характеристики проектирования – тематическая ориентация, унификация, энергонезависимость, разница во времени
• Инструменты реализации DWH (ELT, ETL)
• Модель Инмона
• Модель Кимбалла
• Top-down подход
• Реляционное моделирование
• Размерное моделирование
• Data Vault
• Архитектура облачного хранилища данных
• Data Lake, Data Mesh и Data Mart
• Отличия DWH от других моделей хранения
• Функции хранилища
• Возможности анализа данных
• Витрины данных
• Визуализация данных
• Дашборды и отчеты
• Примеры организации архитектуры хранилища данных
• Автоматизация проектирования
• Обнаружение и устранение ошибок
• Дополнительные информационные ресурсы
Документ по окончании обучения
После изучения курса вам предстоит пройти финальный тест, по результатам которого оформляется удостоверение о повышении квалификации
Документ по окончании обучения
После изучения курса вам предстоит пройти финальный тест, по результатам которого оформляется удостоверение о повышении квалификации
