0x00 Предисловие
Чем глубже вы изучаете, тем больше вы можете осознать свое невежество, и чем глубже вы понимаете, тем меньше вы смеете говорить, что вы в этом деле.
Блоги серии хранилищ данных, написанные ранее, были обобщены и организованы в более систематизированную книгу «Хранилище данных в действии».
0x01 Большие данные и хранилища данных
Я начал работать с хранилищами данных в 2016 году, и уже полтора года как я поменял работу в середине, можно считать, что я практиковал хранилища данных в двух компаниях. Здесь вы можете написать немного о больших данных и хранилищах данных.
На самом деле, во многих случаях большие данные и хранилища данных вызваны некоторыми концепциями.Лично я не думаю, что одна концепция намного мощнее другой концепции.У всех есть отношения между вами и мной.
Возьмем в качестве примера большие данные.В 2013 году мы будем говорить о больших данных, включая ряд концепций, таких как очистка данных, хранение данных, хранилище данных, интеллектуальный анализ данных, анализ данных и визуализация данных. Глядя на концепцию хранилища данных, вы можете найти классическую книгу более чем десятилетней давности.Хранилище данных включает в себя такие концепции, как ETL, метаданные, управление наследственностью данных, система планирования и визуализация данных.
Так кто больше? Кто сильнее? На самом деле, это не наш фокус, эти вещи в конечном итоге лягут на конкретные работы и технологии.
Например, я занимаюсь сбором данных и очисткой данных при разработке больших данных, если я изменю свое имя, то могу сказать, что занимаюсь ETL-разработкой, тогда я больше узнаю о моделировании хранилища данных и очищу свои собственные данные. По дизайну модели и послойности данных в хранилище данных могу сказать, что занимаюсь хранилищем данных.
Например, я занимался системой метаданных, анализом родословных, системой планирования, а потом ту же теоретическую модель, используя сцены из Oracle, MySQL, я превращу в HDFS, Hive, Spark, я стану Система, разработанная в большом разработка данных.
На самом деле содержание и характер работы очень похожи, просто будьте гибкими.
0x02 Хранилище данных
В хранилище данных много контента, вот краткое описание системы хранилища данных, которое представляет собой обзор этой серии блогов.
Давайте поговорим о нескольких темах, примерно взятых из хранилища данных: ETL, модели данных, управление метаданными.
Среди них содержимое ETL наиболее тесно связано с текущей системой больших данных. Вычислительные механизмы, такие как MapReduce и Spark, можно рассматривать как важную часть ETL.
Что касается модели данных, мы включаем в нее моделирование измерений, слои данных и различные конструкции структуры таблиц. Эта часть является самой важной частью хранилища данных.
Метаданные можно понимать как управление данными.
В ответ на три вышеупомянутые темы эта серия статей имеет следующее содержание:
- Дизайн модели в хранилище данных
- Подробное объяснение уникального моделирования
- Что такое часы на молнии
- медленно меняющееся измерение
- Как элегантно спроектировать слои данных
- Как устроена система метаданных чужих домов?
- Мониторинг качества данных
- Поговорим о дизайне ETL
- важные суррогатные ключи
- Практика таблицы измерения времени
0xFF Сводка
С точки зрения содержания работы мы разделим данные на разработку данных, анализ данных, хранение данных и интеллектуальный анализ данных. Многие думают, что самое важное — это интеллектуальный анализ данных, а самое мощное в инженерии — разработка данных.
С другой точки зрения, с точки зрения данных, мы разделим данные на:Вычисление данных, ценность данных и управление данными. Многие из нас производят расчет данных, исходя из ценности данных, но мы часто игнорируем управление данными, а концепция хранилища данных — это именно управление данными. Таким образом, управление данными может быть сосредоточено на соответствующем бизнес-этапе.
На самом деле вести блог нет никакой выгоды, поэтому я написал его сам в виде резюме, так что это не строго и бессмысленно. Взаимная выгода – лучший результат.
WeChat Pay
- Автор этой статьи:Мастер Мудонг
- Ссылка на эту статью: Город Муданьцзян.info/2017/11/27/…
- Уведомление об авторских правах:Все статьи в этом блоге, если не указано иное, используютCC BY-NC-SA 3.0соглашение. Пожалуйста, укажите источник!