5 Корпоративні сховища даних
Сховище даних (англ. data warehouse) — предметно орієнтований, інтегрований, незмінний набір даних, що підтримує хронологію і здатний бути комплексним джерелом достовірної інформації для оперативного аналізу та прийняття рішень. В основі концепції сховища даних (СД) лежить розподіл інформації, що використовують в системах оперативної обробки даних (OLTP) і в системах підтримки прийняття рішень (СППР). Такий розподіл дозволяє оптимізувати як структури даних оперативного зберігання для виконання операцій введення, модифікації, знищення та пошуку, так і структури даних, що використовуються для аналізу. В СППР ці два типи даних називаються відповідно оперативними джерелами даних (ОДД) та сховищем даних. Що таке корпоративне сховище даних? Є багато визначень! Подумайте про сховище даних як центральне сховище, яке збирає інформацію з багатьох джерел, управляє нею для ефективного зберігання та пошуку. Пам'ятаєте дні, поки не було комп'ютерів? Інформація зберігалася в папках, а іноді й в забутих ящиках столу.Вона ніколи не була доступна у правій руці і в потрібний Корпоративне сховище даних призначене для підтримки прийняття управлінських рішень. Вони містять широкий спектр даних, які представляють цілісну картину даних в одному місці і в той же час. Розвиток сховища даних включає в себе розробку систем для отримання даних з операційних систем, а також установка системи сховища даних, яка надає менеджерам гнучкий доступ до даних. Корпоративне сховище даних - це спеціальним чином організований масив даних підприємства (організації), що обробляється і зберігається в єдиному апаратно-програмному комплексі, який забезпечує швидкий доступ до оперативної та історичної інформації, багатовимірний аналіз даних (KPI по різних вимірах), отримання прогнозів і статистики в розрізах узгодженої нормативно-довідкової інформації (НДІ). Сховище даних - місце, де зберігається інформація компанії у вигляді, найбільш зручному для подальшої обробки й одержання звітів. Побудова корпоративного сховища даних дозволить:
- знизити залежність від людського фактора; - підвищити якість отримуваної інформації;
- значно знизити витрати на зберігання інформації; -значно знизити витрати на підготовку необхідної звітності, підвищити якість звітів - скоротити строки обробки даних; Основними компонентами корпоративного сховища даних є: Модель даних; База даних; ETL-додаток; BI-додаток. Архітектура області зберігання даних бази даних корпоративного сховища, як правило, складається з наступних областей: - область тимчасового зберігання даних (Staging Area) - призначена для тимчасового зберігання даних, витягнутих з систем-джерел; є проміжним шаром між операційними системами компанії та сховищем даних;
- область постійного зберігання даних, яка включає:
1)детальні дані (System of records) - область зберігання детальних даних, наведених до структури моделі даних корпоративного сховища, що пройшли очищення і збагачення; 2)агрегати (Summary area) - згруповані за часом (частіше підсумовані) детальні дані; 3)вітрини даних (Data Marts) - тематичні набори даних, що зберігаються у вигляді придатному для їх аналізу (наприклад, схема «зірка»); орієнтовані на підтримку конкретних бізнес-процесів, додатків, підрозділів компанії, бізнес-цілей;
- інтерфейси обміну даними з іншими системами (Data Exchange Interface або Feedback Area) - таблиці БД, в яких зберігаються підготовлені для передачі в інші інформаційні системи компанії дані з області постійного зберігання даних; - метадані (Metadata) - є важливою частиною архітектури сховища даних. Метадані - це дані, що описують правила, за якими «живе» сховище. Наприклад, з точки зору бази даних сховища, метаданими є опис структур таблиць, взаємозв'язків між ними, правил секціонування, опис вітрин даних тощо З точки зору ETL, метаданими є описи правил вилучення та перетворення даних, періодичність виконання ETL-процесів і т.д.
Зазвичай наведені вище області зберігання даних реалізуються у вигляді окремих схем однієї або декількох баз даних.