предыдущий постМашинное обучение Познакомьте вас с основами обучения машинному обучениюКраткое введение в концепции машинного обучения. В этой статье мы продолжим знакомство с основами машинного обучения. Наше машинное обучение опирается на большое количестводанные, можно сказать, что данные являются основой машинного обучения. Давайте сначала разберемся с понятиями, связанными с данными
Понимание данных в машинном обучении
Давайте возьмем данные радужной оболочки в качестве примера, чтобы понять основные концепции данных.
На рисунке длина лепестков, ширина лепестков, длина и ширина чашелистиков и т. д. все данныеособенность
Каждая выборка на самом деле представляет собой точку в пространстве, состоящую из различных характеристик выборки, называемыхОсобое пространствоСуть классификации заключается вСрез пространства объектаНапример, красная часть — это красная радужка, а синяя — синяя радужка. Пример на рисунке отображает данные в двумерном пространстве, вмногомерное пространствоТо же самое: если нам неудобно думать о задачах в высокоширотном пространстве, мы будем вообще анализировать его сейчас в позиционном пространстве, а затем обобщать выводы в низкоширотном пространстве на высокоширотное пространство.
В приведенном выше примере функции радужной оболочки имеют очень четкую семантику, но в машинном обучении функции могут быть оченьАннотацияНапример, каждый пиксель при распознавании изображений используется как признак.Например, изображение 28*28 имеет 784 признака.Конечно, если это цветное изображение, признаков будет больше.
машинное обучениеОн состоит в том, чтобы объединить как можно больше информации, чтобы позволить машине найти взаимосвязь между этой информацией и конечным результатом, который нам нужен.Характеристики, которые мы придаем машине, во многом будут определять точность и достоверность итоговых результатов расчета алгоритма.Существует также особое поле для исследований в этой области, а именноразработка функций,какглубокое обучениеМожно понять, что алгоритм автоматически помогает нам с разработкой функций.
задачи машинного обучения
машинное обучениеконтролируемое обучениеОсновные задачи концерна можно разделить на две категорииЗадачи классификации, задачи регрессии.
задача классификации
двухклассный
Общие дихотомии
- Определение того, является ли электронное письмо спамом или нет
- Определение того, является ли опухоль пациента доброкачественной или злокачественной
- Определить взлеты и падения акций и т. д.
- Определение риска и отсутствия риска для пользователей кредитных карт
Мультикласс
Общие мульти-классификации
- цифровая идентификация
- Идентификация изображения
- Определение рейтинга риска кредитных карт, выданных клиентам
Многие сложные проблемы также могут быть преобразованы в проблемы с несколькими классификацией, такие как игра 2048, игра Го, беспилотная машина, но внимание к решению не означает, что это лучший способ.
Некоторые алгоритмы поддерживают выполнение только задач с двумя классами, но задачи с несколькими классами можно преобразовать в задачи с двумя классами; некоторые алгоритмы естественным образом могут выполнять задачи с несколькими классами.
задачи с несколькими ярлыками
Разделите изображения на несколько категорий
вернуть задачу
Окончательный вывод задачи классификации - получить класс, ивернуть задачуПолучает значение непрерывного числа, а не категории, например цены на жилье.
как:
- Цены на жилье
- Анализ рынка прогноз продаж
- результат студента
- курс акций
Некоторые алгоритмы разумно решают задачи регрессии; некоторые алгоритмы могут решать только задачи классификации; некоторые алгоритмы могут решать как задачи регрессии, так и задачи классификации.
В некоторых случаях задачи регрессии можно свести к задачам классификации, например значение дерева углов рулевого колеса при беспилотном вождении.
упомянутый вышеЗадачи классификации и задачи регрессии классифицируются с точки зрения проблем, которые можно решить с помощью машинного обучения.Вместо того, чтобы классифицировать по самому алгоритму машинного обучения, мы упомянули обучение с учителем выше, так что же такое обучение с учителем? И если мы посмотрим на само машинное обучение, на какие категории мы можем классифицировать алгоритмы машинного обучения?
Классификация машинного обучения
Машинное обучение можно разделить наконтролируемое обучение,неконтролируемое обучение,полуконтролируемое обучение,обучение с подкреплением.
контролируемое обучение
означает, что обучающие данные, которые мы даем машине, имеют метку или ответ, например, набор данных радужной оболочки и данные о недвижимости, упомянутые выше, оба имеютотметкаиз
В реальной жизни есть много примеров, когда обучение с учителем выполняется, например:
- Изображение уже содержит теги
- Банки накопили определенную информацию о клиентах и кредитном статусе их кредитных карт.
- Банки накопили определенный объем информации о пациентах и о том, диагностируют ли у них в итоге заболевание
- На рынке накопилась основная информация о доме и конечной сумме сделки
Многие алгоритмы машинного обучения являются алгоритмами обучения с учителем, например
- k-ближайшие соседи
- Линейная и полиномиальная регрессия
- логистическая регрессия
- SVM
- Деревья решений и случайные леса
неконтролируемое обучение
Данные обучения, указанные на машине, не имеют никаких меток или ответов.
Значение неконтролируемого обучения заключается в следующем:Классифицировать данные без «меток» — кластерный анализ
полуконтролируемое обучение
Обучающие данные, указывающие на машину, имеют одни метки или ответы, а другие — нет.
Наиболее распространенными являются:Отсутствие маркеров по разным причинам.
Обычно обучение без учителя используется сначала для обработки данных, а затем обучение с учителем используется для обучения модели и прогнозирования.
обучение с подкреплением
Действуйте в зависимости от ситуации вокруг вас и научитесь действовать в зависимости от результата действия., как показано на следующем рисунке, окончательное поведение определяется в зависимости от среды, и распространенными являются Go, беспилотное вождение и роботы.
Обучение с учителем и полуучителем является основой обучения с подкреплением.
Другие категории машинного обучения
- Онлайн-обучение и пакетное обучение (офлайн-обучение)
- Параметрическое обучение и непараметрическое обучение
пакетное обучение
Процесс пакетного обучения показан на следующем рисунке.
преимущество:Простой
проблема: Как адаптироваться к изменениям окружающей среды? Решение: своевременный упрек
недостаток: Повторное пакетное обучение каждый раз, объем вычислений огромен, в некоторых случаях, когда среда меняется очень блочно, это даже невозможно.
электронное обучение
Процесс онлайн-обучения показан на рисунке ниже
преимущество: Своевременное реагирование на новые изменения окружающей среды
проблема: Новые данные приносят плохие изменения? Решение: необходимо усилить мониторинг данных
разное: он также подходит для сред, где объем данных огромен, а пакетное обучение совершенно невозможно.
изучение параметров
После того, как параметры изучены, исходные данные больше не нужны.
непараметрическое обучение
- Не делайте слишком много допущений в модели
- Непараметры не равны отсутствию параметров
Думая о машинном обучении
Машинное обучение в основном решает неопределенные задачи.В отличие от классических алгоритмов, классические алгоритмы обычно имеют стандартный и верный ответ, и то, что дает нам машинное обучение, такжеНеопределенный вероятностный статистически значимый ответ. Столкнувшись с этим ответом, мы обычно думаем о его надежности, о том, насколько мы можем верить этому ответу, и о характере того, чему научилось машинное обучение.
На самом деле, пока у нашего алгоритма достаточно данных и качество данных достаточно хорошее, есть дажеДанные — это алгоритмКонцепция чего-либо
- Сами данные имеют значение
- Управление данными, очистка данных, обработка, разработка функций и т. д.
Конечно, есть и другие теории, такие какАлгоритмы — король
Как выбрать алгоритм машины?
Как упоминалось ранее, машинное обучение в основном решает два типа задач.проблема классификации,проблема регрессии, на самом деле, это может быть примененоБритва Оккамав общем:просто хорошо.
Теоремы бесплатного обеда не существует
- Отсюда можно сделать строгий вывод: для любых двух алгоритмов их ожидаемая (средняя) производительность одинакова.
- Применительно к конкретной проблеме алгоритм может быть лучше.
- Ни один алгоритм не может быть абсолютно лучше другого.
- Бессмысленно говорить об алгоритме без конкретной проблемы.
- Столкнувшись с конкретной проблемой, необходимо попробовать использовать несколько алгоритмов для сравнительных экспериментов.
Выше мы дали общее введение в машинное обучение. Я считаю, что у нас есть более близкое понимание машинного обучения. Мы продолжим изучать алгоритмы, связанные с машинным обучением, позже.