Промежуточная платформа данных была первой концепцией, изобретенной Alibaba. Сначала цель создания промежуточной платформы данных была очень ясной. Она заключалась в том, чтобы решить проблемы с хранилищами данных между различными отделами. Стандарты и калибры данных не могли быть унифицированы, что привело к большой объем данных пустая трата ресурсов.
После более чем десяти лет развития популярность дата-центра постепенно остыла от пожара до корыта.Как будет развиваться дата-центр в будущем?Фань Жуаньцзюнь сегодня поделится с вами статьей, содержание взято из паблика Аккаунт "Говорим о данных"":
Что такое дата-центр?
По задачам, которые должен решить ЦОД, можно определить конечную цель строительства ЦОД. Центр обработки данных - это прежде всего ИТ-система, а конечной целью построения ИТ-системы является обслуживание предприятий, поэтому строительство центра обработки данных идет по пути, ориентированному на бизнес, о котором мы часто говорим.
Хотя компании имеют различные цели развития, такие как цель Alibaba «сделать мир легким для ведения бизнеса» и цель Tencent «обогащать жизнь пользователей Интернета с помощью технологий», эти основные цели имеют общую подцель, то есть наиболее эффективное осуществление рационального распределения и использования ресурсов и создание максимальной корпоративной прибыли.
От самой ранней системы бухгалтерского учета до построения информации в эпоху популяризации компьютеров, современных больших данных, цифровой трансформации и интеллекта — все служит этой цели. Особенно в эпоху Интернета во многих отраслях сложилась ситуация, когда победитель получает все: предприятия должны быть на шаг впереди своих конкурентов, чтобы занять лидирующие позиции в жесткой рыночной конкуренции и получать более высокую прибыль.
Таким образом, конечной целью создания центра обработки данных является достижение «быстрой реакции рынка, усовершенствованной работы, открытого исходного кода и сокращения расходов» за счет эффективных цифровых операций. **Цифровая работа является необходимым средством для предприятий, чтобы получить сравнительное преимущество в рыночной конкуренции.
Отношения между центром обработки данных и традиционной платформой больших данных
Итак, в чем разница и связь между центром обработки данных и платформой больших данных, о которой мы часто говорим? Пожалуйста, посмотрите на изображение ниже:
На рисунке выше показана взаимосвязь между информационной системой, хранилищем данных, традиционной платформой больших данных и центром обработки данных, где стрелками указан основной поток данных. Мы можем понять, что традиционная платформа больших данных и хранилище данных являются источниками данных для центра обработки данных, и построение центра обработки данных должно лучше обслуживать бизнес-отдел.
Что такое традиционная платформа больших данных?
Основные функции традиционных платформ больших данных включают в себя:
- Базовый уровень возможностей больших данных: Hadoop, Spark, Hive, HBase, Flume, Sqoop, Kafka, Elasticsearch и т. д.
- Конвейеры ETL, построенные на компонентах больших данных, включая программы анализа данных и машинного обучения.
- Система управления данными.
- Система хранилища данных.
- Система визуализации данных.
Но центр обработки данных должен быть надстройкой над платформой больших данных. Мы считаем, что на основе платформы больших данных дата-центр должен также обеспечивать следующие системные функции.
1. Глобальное управление активами приложений данных
Упомянутое здесь управление активами приложений данных включает в себя данные и приложения во всей экосистеме.
2. Глобальный механизм управления данными
Механизм управления данными, предоставляемый центром обработки данных, должен позволять каждому бизнес-подразделению выполнять итерации независимо друг от друга, но только при наличии глобально согласованных стандартов.
3. Самостоятельная разработка и выпуск мультитенантных приложений для работы с данными.
Основное внимание в центре обработки данных уделяется расширению возможностей бизнес-подразделений, а бизнес-персоналу нужна платформа самообслуживания для разработки, которая может адаптироваться к различным уровням и возможностям.
4. Эксплуатация и обслуживание приложений данных
Пользователи должны иметь возможность легко самостоятельно публиковать приложения данных, разработанные ими самими, в производственных системах, не обращаясь к специальной группе данных.
5. Интеграция приложений данных
Должна быть предусмотрена возможность интеграции новых приложений данных в любое время.
6. Данные как услуга, модель как услуга
Результаты анализа данных, будь то статистический анализ или модели, созданные с помощью машинного обучения, должны быть быстро опубликованы без использования кода и доступны по всей организации.
7. Управление совместным использованием емкости данных
Большинство возможностей данных должны иметь надежный механизм управления совместным использованием, удобный и безопасный механизм совместного использования и гибкий механизм обратной связи. В конце концов, именно независимые люди решают, как использовать данные. Им нужен механизм для получения информации. Следовательно, такой механизм обмена должен быть внутри организации, прежде чем данные можно будет использовать по-настоящему.
8. Идеальные рабочие показатели
Центр обработки данных делает упор на измеримую ценность данных, поэтому для способа использования данных в системе, частоты использования и конечного эффекта необходимо установить определенные операционные показатели для проверки ценности данных и центра обработки данных. эффективность.
Является ли дата-центр «серебряной пулей»?
В последние годы концепция промежуточной платформы данных очень популярна, многие производители продвигают свои продукты или решения, связанные с промежуточной платформой данных, и отрасль также очень оптимистично смотрит на перспективы промежуточной платформы данных. Значит ли это, что дата-центр — это «серебряная пуля», способная решить все проблемы?
Примечание: ни одна серебряная пуля в тексте не указывает на «панацею», которая не излечивает все недуги.
Ответ, конечно, нет.
Успех дата-центра основан на информатизации, без прочной информатизационной базы компании не могут полностью понять свой бизнес, а получить от них полезную информацию еще труднее. Кроме того, центр обработки данных позволяет быстро получить представление о существующих продуктах и рынках и является усовершенствованием существующих продуктов и операций, т. е.Центр обработки данных может помочь в развитии рынка, разработке новых бизнес-моделей и ускорении итераций, но окончательная реализация по-прежнему зависит от творчества команды центра обработки данных.
Вообще говоря, предприятия с несколькими бизнес-подразделениями и несколькими линиями продуктов, которым необходимо организовать совместное использование и повторное использование данных между многими линиями продуктов, могут максимизировать входные и выходные данные центра обработки данных. После того, как несколько линеек продуктов и несколько бизнес-подразделений образуют синергию данных, роль данных будет максимальной.
Следует отметить, что строительство центра обработки данных не является конечной целью предприятия, и предприятие не должно строить центр обработки данных с целью построения центра обработки данных, не говоря уже о том, чтобы слепо следовать тенденции. ** Конечная цель центра обработки данных — помочь предприятиям реализовать цифровые операции и стать предприятием, управляемым данными.
Каковы основные возможности центра обработки данных?
Основная идея построения промежуточной платформы данных состоит в том, чтобы расширить возможности бизнес-подразделений и предоставить лучшие инструменты для работы с данными, чтобы бизнес-подразделения могли быстро получать информацию о бизнесе с помощью функций, предоставляемых промежуточной платформой, чтобы быстро предоставлять бизнес, управляемый данными. продукты. Поэтому, помимо бизнес-приложений, строительство дата-центра — это воздушный замок.
Когда мы планируем строительство центра обработки данных, у нас должны быть сценарии бизнес-приложений, а последующие итерации должны определяться реальными потребностями бизнеса. Стоит отметить, что, хотя мы подчеркиваем бизнес-ориентацию, общее планирование и глобальные спецификации данных, предоставляемые центром обработки данных, необходимы.В противном случае, если вы будете действовать быстро, очень вероятно, что вы вернетесь к исходному острову данных и острову приложений. .
Так как же по-настоящему реализовать построение бизнес-центра обработки данных?
1. Глобальная бизнес-аналитика
Откройте для себя новые возможности для бизнеса и продуктов, анализируя поведение рынка;
2. Индивидуальное обслуживание
Персонализированное обслуживание относится к предоставлению целевых продуктов и услуг посредством точного анализа потребностей клиентов.
3. Отчет о данных в режиме реального времени
Для бизнес-подразделений самое важное, что они хотят знать после запуска любого продукта, — это отзывы рынка о продукте.
4. Общие возможности для развития нового бизнеса
Целью центра обработки данных является абстрагирование, совместное использование и повторное использование возможностей данных.Совместное использование и повторное использование не только предлагается для экономии денег, но и часто является движущей силой для разработки новых услуг.