Нажмите, чтобы посмотреть большой обмен кофе
Согласно исследованию и анализу «Белой книги по экологии талантов в области ИКТ Китая», к концу 2018 года нехватка талантов в области искусственного интеллекта в моей стране превысила 1 миллион, а к 2020 году это число вырастет до 2,26 миллиона. Однако ежегодно только около 20 000 студентов заканчивают 367 университетов мира по направлениям исследований ИИ, что далеко не соответствует рыночному спросу.
Существует большой дефицит талантов, и Tencent Cloud выпустила сверхновый план обучения талантов искусственного интеллекта, чтобы углубить экологию образования в колледжах и университетах. Будучи единственной платформой машинного обучения в программе, Tencent Cloud Intelligent Titanium TI-ONE вошла в аудиторию колледжа и полюбилась преподавателям и студентам.
Независимо от того, являетесь ли вы новичком в области искусственного интеллекта или экспертом в области искусственного интеллекта, вы можете найти подходящий для вас метод моделирования на интеллектуальной платформе машинного обучения титана.
в этот разБольшой обмен кофе в Tencent Cloud UniversityКурс приглашает Ю Зукуна, старшего менеджера по продуктам Tencent Cloud, поделиться содержанием курса «Tencent Cloud Machine Learning Platform TI-ONE». Начните путешествие по моделированию машинного обучения в облаке и проведите романтическую встречу с интеллектуальным титаном TI-ONE!
Этот обмен в основном включает три части:Архитектура продукта TI-ONE; функции продукта TI-ONE; использование TI-ONE для построения моделей.
1. Архитектура продукта TI-ONE
1.1 Обзор машинного обучения
Машинное обучение строит модели, изучая поступающие данные, чтобы делать прогнозы или распознавать новую поступающую информацию в будущем.
Машинное обучение похоже на приготовление риса, засыпание риса (данные) в рисоварку (машинное обучение), выбор разных режимов приготовления (разные алгоритмы) и, наконец, получение риса или каши (разные модели).
В настоящее время машинное обучение имеет широкий спектр сценариев применения, таких как распознавание изображений, контроль финансовых рисков, интеллектуальные инвестиции и исследования, точные рекомендации, диагностика заболеваний, инженерный контроль и т. д.
1.2 Традиционное машинное обучение и глубокое обучение
Традиционное машинное обучение представлено в виде полного пайплайна, включающего следующие ссылки:
**1. Сбор данных: **Доступ к данным из источника данных для последующего обучения алгоритму.
2. Предварительная обработка данных: Например, обработка пропущенных значений, обработка формата данных.
3. Извлечение признаков: процесс извлечения значений, полезных для результатов обучения, на основе исходных данных.Этот процесс во многом зависит от опыта моделиста, особенно от понимания бизнеса.
4. Выбор функции: выберите хорошие функции и добавьте их в процесс обучения модели.
5. Выберите алгоритм: для построения модели могут быть выбраны различные методы, такие как алгоритм случайного леса, алгоритм дерева решений, алгоритм метода опорных векторов и т. д.
Характерной чертой традиционного машинного обучения является то, что выбор функций требует ручного участия. После получения глубокого обучения процесс выбора признаков может быть завершен нейронными сетями.
Машинное обучение в нашем сегодняшнем курсе относится к машинному обучению в широком смысле, включая традиционное машинное обучение и глубокое обучение.
1.3 Процесс моделирования машинного обучения
Процесс: пользовательские данные — предварительная обработка данных — проектирование функций — алгоритм машинного обучения — оценка модели — создание автономных или онлайн-сервисов.
Должен быть способ оценить, хороша ли сгенерированная модель.Чтобы создать автономные или онлайн-сервисы для хорошей модели и внедрить ее в практические приложения, весь процесс требует много вычислительных ресурсов.
Интеллектуальный титан TI-ONE обеспечивает полную разработку алгоритмов и поддержку развертывания для вышеуказанных ссылок.
1.4 Ценностное предложение платформы машинного обучения
Мы уже поняли концепцию машинного обучения и весь процесс построения модели с помощью машинного обучения. Теперь, когда дело доходит до моделирования машинного обучения, у инженеров-алгоритмов есть два варианта:
Один из них создается самостоятельно с использованием моделирования фреймворков, таких как Caffee, PyTorch, TensorFlow и т. д.
Другой — напрямую использовать платформу машинного обучения, такую как интеллектуальный титан TI-ONE.
Мы видим разницу между ними:
угол кадра
Для самостоятельной сборки каждый фреймворк необходимо установить, развернуть на машине и соответствующим образом обслуживать. В то же время каждый фреймворк имеет разные версии, и поддержка среды зависимостей каждой версии фреймворка требует временных затрат.
Для интеллектуального титана TI-ONE мы интегрировали фреймворк в платформу и отладили его, предоставив услуги моделирования алгоритмов на уровне платформы «из коробки».
Алгоритмическая точка зрения
Пользователям самодельных фреймворков необходимо постоянно находить какие-то алгоритмы из сообщества с открытым исходным кодом для использования, и это также потребует некоторой модификации ошибок алгоритмов.
Для интеллектуального титана TI-ONE мы отладили наиболее часто используемые алгоритмы и развернули их на платформе.Пользователи могут напрямую перетаскивать их, записные книжки или использовать через SDK. Некоторые службы поддержки инженерного моделирования, платформа была подготовлена для инженеров-алгоритмов, инженеры могут полностью сосредоточиться на построении моделей.
угол модели
Для самостоятельной сборки разные фреймворки имеют разные характеристики, включая построение модели и развертывание.После того, как инженеры ознакомятся с одним фреймворком, будет другой фреймворк, и будет порог для начала работы.
Для интеллектуального титана TI-ONE платформа инкапсулирована и превращена в операцию визуализации страницы, что может упростить процесс использования всего жизненного цикла модели.
Угол оценки
Для самостоятельной сборки с использованием фреймворка вам необходимо закодировать и распечатать данные, чтобы увидеть эффект модели.
Для платформ машинного обучения эффекты модели можно динамически и визуально оценивать в режиме реального времени.
Совместная перспектива
Для самостоятельно созданных сценариев мониторинга используются для добавления мониторинга к задачам, которые выполняются независимо, а также для самостоятельного обнаружения и обработки исключений. Делитесь алгоритмами, копируя код или используя git.
Для интеллектуального титана TI-ONE предусмотрены различные конфигурации мониторинга и полноценная система сигнализации. Поддержка алгоритмов и моделей публикации, контролируемая степень детализации и уровень обмена.
1.5 Позиционирование пользователя
ИИ является основной тенденцией, и все сферы жизни нуждаются в применении ИИ.В настоящее время все больше и больше пользователей нуждаются в продуктах для алгоритмического моделирования. Мы считаем:
Как начинающим алгоритмистам быстро приступить к работе, использовать алгоритмы для построения моделей ИИ и обрести уверенность в начале работы?
Алгоритм новичок, хотя есть некоторый опыт, как снизить порог использования и повысить эффективность моделирования?
У экспертов по алгоритмам могут быть более высокие требования к производительности и распределенной вычислительной мощности?
Интеллектуальный титан TI-ONE предлагает подходящие решения для трех вышеуказанных типов пользователей.
1.6 Архитектура продукта TI-ONE
ресурсный слой
Что касается хранения данных, он поддерживает различные методы хранения, такие как распределенная файловая система HDFS, CEPH, объектное хранилище COS и файловое хранилище CFS. Что касается вычислительных ресурсов, он имеет большое количество ресурсов облачных вычислений и поддерживает локальные вычислительные мощности.
уровень планирования
Существует большое количество пользователей и большое количество вычислительных кластеров для моделирования в облаке, а для различных задач обучения требуются инструменты распределенного планирования. Пакет распределенного планирования ресурсов использует платформу планирования ресурсов собственной разработки Tencent, которая может поддерживать крупномасштабные задачи кластеризации.
слой кадра
Поддержка основных платформ машинного обучения, таких как Spark, TensorFlow, Angel, PyCaffee, Pyspark и Pytorch.
Уровень алгоритма
Поддерживаются сотни алгоритмов машинного обучения, включая традиционные алгоритмы машинного обучения, графовые алгоритмы и алгоритмы глубокого обучения, и они постоянно пополняются.
интерактивный слой
Три разных метода взаимодействия для разных групп пользователей.
Визуальное моделирование
Метод перетаскивания создает рабочий процесс, который прост и удобен в использовании и подходит для новичков в области ИИ.
Notebook
Интерактивный процесс исследования и моделирования данных подходит для людей с определенным алгоритмическим фундаментом и обеспечивает большую гибкость.
SDK
Больше подходит для использования экспертами по моделированию, обеспечивая большую адгезию.
1.7 Логическая архитектура платформы машинного обучения TI-ONE
TI-ONE использует классическую модель многоуровневой архитектуры, сверху вниз расположены уровень взаимодействия, уровень ядра ядра TI, уровень вычислительной мощности и уровень хранения.
Уровень взаимодействия предоставляет различные формы продуктов, в том числе возможности моделирования DAG с помощью перетаскивания, автоматическое моделирование AutoML и интерактивное программирование Notebook.
Механизм ядра в основном включает в себя основной механизм планирования обучения и механизм обслуживания модели.Это основная возможность TI-ONE.Он обладает характеристиками высокой доступности и высокой масштабируемости, а также поддерживает определяемых пользователем операторов в виде подключаемого модуля, подключая различная алгоритмическая структура, поддерживающая различные методы планирования (параллельный, последовательный, периодический привод и т. д.).
Уровень вычислительной мощности является абстракцией базового вычислительного кластера, поддерживает общие ресурсы кластера вычислительной мощности (GaiaStack/K8S/Yarn) и легко расширяется для поддержки других ресурсов вычислительной мощности. Встроенные алгоритмы оптимизированы для вычислительной мощности и поддерживают одномашинное и распределенное обучение.
Уровень хранения абстрагируется от различных источников данных.В настоящее время TI-ONE поддерживает COS, HDFS, Cephfs, локальные файлы и различные источники данных JDBC (GP\Hive\Kudu\Impala\Mysql и т. д.)
2. Особенности продукта TI-ONE
2.1 Обзор функций
2.2 Дизайн потока задач с перетаскиванием
Визуальное перетаскивание
Данные, алгоритмы и компоненты можно напрямую перетаскивать, и вы получаете то, что видите.
Автоматическое подключение узла
Автоматическое подключение, автоматическая генерация ввода и вывода данных, просто и эффективно.
Бесплатный рабочий процесс рисования
Индивидуальный рабочий процесс, несколько моделей можно обучать параллельно, делая больше с меньшими затратами.
2.3 Гибкий режим работы
Поддержка настройки политик планирования в соответствии с запущенными ресурсами, включая параллельные и последовательные.
Поддержка настройки параметров, предоставление числовых и пронумерованных настроек работы параметров.
Поддерживается периодическое планирование.
Поддерживает подробный просмотр исторических экземпляров, сравнение моделей и продолжение работы.
2.4 Поддерживает несколько сред машинного обучения
Охватывает Spark, TensorFlow, PyCaffe, Pytorch и самостоятельно разработанную платформу Angel от Tencent, обеспечивая поддержку диверсифицированной платформы.
Существует множество сценариев моделирования ИИ, и если встроенные алгоритмы платформы не соответствуют вашим потребностям, вы можете использовать собственный фреймворк для загрузки собственных скриптов для создания моделей.
2.5 Визуальный анализ
Поддержите предварительный просмотр промежуточных результатов, вы можете проверить, соответствуют ли выходные данные промежуточных узлов рабочего процесса вашим ожиданиям, чтобы вы могли знать это при моделировании.
Разнообразие форм представления диаграммы, разнообразие методов оценки модели, возможность отображения диаграммы в подвешенном состоянии.
2.6 Блокнот интерактивного моделирования
Как гибкий интерактивный инструмент разработки, Notebook отлично подходит для подготовки и обработки данных, отладки алгоритмов и обучения моделей. Платформа инкапсулирует Jupyter Lab, сохраняя исходные интерактивные функции, но добавляя функции мониторинга ресурсов для отслеживания потребления ресурсов задачами.
2.7Автоматическая настройка параметров AutoML
Он поддерживает автоматическую настройку параметров и моделирование институциональных данных.Если параметры не устанавливаются вручную, с помощью некоторых механизмов обучения система может разумно настраивать эти гиперпараметры, чтобы можно было автоматизировать весь процесс обучения машинному обучению. Он также поддерживает мониторинг в реальном времени хода обучения и анализ деталей автоматической настройки параметров.
2.8 Управление моделями
Страница Model Warehouse используется для управления всеми сохраненными моделями. Поддерживаются следующие функции:
ž Версионирование и переключение каждой модели.
ž Экранируйте модель по автоматически сгенерированному TAG.
ž Создавайте автономные задания пакетного прогнозирования на основе модели.
В будущем TI-ONE также интегрирует сервисы логических выводов в облако и запустит такие функции, как развертывание моделей одним щелчком мыши в TI-EMS.
2.9 Поддержка задач моделирования полного жизненного цикла
Для обзора: чтобы построить модель, вам сначала нужно получить доступ к данным, выполнить некоторую обработку данных, выбрать соответствующий алгоритм для построения модели, начать обучение модели, оценить эффект модели после завершения обучения модели, и сохранить хорошую модель в хранилище моделей.Одну и ту же модель можно сохранить в разных версиях в хранилище моделей, выбрать соответствующую модель и соответствующую версию и опубликовать ее как онлайн-сервис.
Следующим шагом является вызов модели на стороне приложения.После вызова в течение определенного периода времени вы можете увидеть эффект модели.Если эффект не очень хороший, вы можете настроить данные обучения, алгоритмы, параметры и т. д. чтобы оптимизировать модель, а затем повторно опубликовать новую модель Войдите в следующий цикл. Видно, что все ссылки, включенные в полное моделирование, поддерживаются на платформе TI-ONE.
3. Используйте TI-ONE для построения модели
Далее вы можете попробовать использовать метод визуального перетаскивания для построения модели на платформе TI-ONE.
Прежде чем начать пользоваться умным титаном TI-ONE, необходимо пройти [услугу регистрации и активации].Подробности можно найти в официальной документации продукта:cloud.Tencent.com/document/cheat….
3.1 Модель прогнозирования выживания Титаника
Практика визуального моделирования рабочего процесса
задний план:
15 апреля 1912 года роскошный корабль «Титаник» с 1316 пассажирами и 861 членом экипажа столкнулся с айсбергом и затонул. Это кораблекрушение считается одной из десяти крупнейших человеческих катастроф 20-го века. В 1985 году обломки «Титаника» были обнаружены на глубине двух с половиной миль ниже дна океана в Северной Атлантике.
В 1998 году мне понравился голливудский блокбастер «Титаник» Шокирующие эффекты, красивые картинки и пронзительная любовь героя и героини когда-то вызвали юношеский переполох. По прошествии многих лет, как начинающий изучать анализ данных, появятся ли новые чувства при взгляде на эту катастрофу с точки зрения анализа данных? В случае катастрофы есть определенный элемент удачи для тех, кто выживает, потому что не хватает спасательных шлюпок для пассажиров и экипажа, но все же возможно, что у некоторых людей больше шансов выжить, чем у других. Так у кого больше шансов выжить в этой катастрофе? Каковы характеристики тех, кто выжил? Помогают ли эти характеристики также выживанию в других местах стихийных бедствий? Взяв за основу обломки «Титаника», многомерные данные о пассажирах будут использованы для построения модели, позволяющей определить, можно ли спасти пассажиров на месте крушения «Титаника». По мере прохождения каждого последующего шага вы можете испытать весь процесс построения и успешного запуска рабочего процесса на консоли TI-ONE.
Цель:
У кого, по прогнозам, больше шансов выжить после столкновения Титаника с айсбергом?
Чтобы узнать об этапах сборки этой модели, ознакомьтесь с официальной документацией:cloud.Tencent.com/document/cheat…
3.2 Классификация тональности текста
Практика визуального моделирования рабочего процесса
задний план:
Классификация текста является основной и важной задачей обработки естественного языка, и сценарии ее применения очень широки, охватывая финансы, бизнес, военные, политические и другие области, такие как: мониторинг общественного мнения, классификация новостей, анализ полярности новостей, идентификация спама, Анализ настроений пользователей. Модель классификации текста имеет важное прикладное и коммерческое значение.Например, продавцы могут корректировать стратегии покупок для увеличения продаж, оценивая эмоциональное отношение пользователей к продуктам.
Существующие алгоритмы классификации текста в основном включают две категории, а именно методы, основанные на традиционном машинном обучении, и методы, основанные на глубоком обучении. Традиционные методы, основанные на машинном обучении, классифицируют тексты с помощью предварительной обработки, выделения признаков, векторизации и общих алгоритмов классификации машинного обучения.Обычно используемые алгоритмы включают LR, SVM и т. д. Эффект модели зависит от качества выделения признаков. Метод, основанный на глубоком обучении, заключается в обучении данных с помощью модели глубокого обучения.Обычно используемые алгоритмы включают FastText, LSTM и т. д. Эффект модели в основном зависит от объема данных и количества итераций.
Цель:
Используйте алгоритм FastText для создания модели классификации текста с глубоким обучением для решения практических задач в сценариях классификации текста.
Чтобы узнать об этапах сборки этой модели, ознакомьтесь с официальной документацией:cloud.Tencent.com/document/cheat…
3.3 Использование TensorFlow для реализации классификации радужной оболочки
Запуск пользовательского моделирования кода на основе фреймворка
задний план:
Платформа Tensorflow платформы машинного обучения Intelligent Titanium предоставляет пользователям операционную среду Tensorflow на основе API Python.Пользователи могут загружать написанные скрипты и зависимые файлы в платформу для обучения алгоритмам. Мы возьмем задачу классификации радужной оболочки в качестве примера, чтобы продемонстрировать пользователям, как использовать структуру глубокого обучения TensorFlow интеллектуальной платформы машинного обучения титана для запуска пользовательского кода, как передавать параметры в пользовательский код через страницу рабочего процесса и как просмотреть журнал кодов/сообщение об ошибке Подождите. Весь рабочий процесс выполняется всего за несколько десятков секунд.После завершения обучения вы можете развернуть сервис модели и протестировать его онлайн.
Цель:
Реализация задачи классификации цветов ириса с использованием пользовательской среды
Чтобы узнать об этапах сборки этой модели, ознакомьтесь с официальной документацией:cloud.Tencent.com/document/cheat…
Опросник
Чтобы предоставить наиболее практичные, передовые и сухие видеоуроки для большинства разработчиков, пожалуйста, сообщите нам о ваших потребностях, спасибо за ваше время! Нажмите, чтобы заполнить Опросник
Tencent Cloud University — это универсальная платформа для обучения и развития пользователей облачной экосистемы в рамках Tencent Cloud. Tencent Cloud University Big Coffee Sharing каждую неделю приглашает внутренних технических экспертов, чтобы предоставить вам бесплатные, профессиональные и новейшие отраслевые технологические обновления.