Математические знания, которыми должны овладеть программисты
По сравнению с разработкой приложений, внутренних серверов и внешних интерфейсов искусственный интеллект требует больших математических знаний. Что вам обычно нужно использовать? Публичный аккаунт: Альянс Java Architect, ежедневные обновления хороших технических статей
Исчисление, линейная алгебра, оптимизация теории вероятностей Что касается книг, я хотел бы сделать особое замечание.Если вы не забыли свои математические знания, или вы не получили соответствующие математические знания, когда были студентом, или у вас есть большой интерес к математике , это не рекомендуется.Каждый, кто держит книгу для изучения, потратит много времени и энергии. Математические знания, необходимые нашему искусственному интеллекту, — это только часть учебника. Все внимательно слушают класс и осваивают математические знания, которые мы объясняем. Этого достаточно! Мы занимаемся прикладной математикой, а не исследовательской математикой, и мы изучаем математику не для того, чтобы решать проблемы.
Исчисление Производные и формулы производных Производные первого порядка и монотонность функций Унарная функция Экстремальные правила оценки Производные высшего порядка Производные второго порядка и выпуклость функций Унарная функция Разложение Тейлора Давайте поговорим об исчислении в высшей математике. В машинном обучении исчисление в основном использует дифференциальную часть, и его функция состоит в том, чтобы найти экстремальное значение функции, которая реализуется решателями во многих библиотеках машинного обучения. Следующие точки знаний в исчислении используются в машинном обучении:
Метод определения и расчета производного и частичного производного определения теоремы предельного значения градиента, производное или градиент производной функции на крайней точке должен быть 0 якобийской матрицы, которая представляет собой матрицу, состоящую из частичных производных вектор до-вектора Функции сопоставления в гессианской матрице будут использоваться при выводе, что является обобщением второго производного к многомерной функции и тесно связано с экстремальным значением определения функций и методом суждения выпуклой функции формулы расширения Тейлора Метод мультипликатора Лагранжа используется для решения проблем с чрезвычайными ценностями с ограничениями равенства. Согласно помнить формулу расширения Тейлора многомерных функций. По его словам, мы можем вывести серию методов оптимизации, таких как метод градиента, метод Newton, и Метод квази-Ньютона, обычно используемый в машинном обучении., Формула Тейлора:
\
Исчисление и линейная алгебра. Много знаний по линейной алгебре используется в исчислении, а знание исчисления также используется в линейной алгебре. Они дополняют друг друга.
Библиография:
Векторы линейной алгебры и их операции
Матрицы и их операции
Тензор
определитель
квадратичный
Собственные значения и собственные векторы
Напротив, линейная алгебра использует больше. Он используется почти везде в машинном обучении, и используются следующие конкретные точки знаний:
Векторы и различные операции с ними, в том числе сложение, вычитание, умножение, транспонирование, скалярное произведение Норма векторов и матриц, матрицы норм L1 и L2 и их различные операции, включая сложение, вычитание, умножение, Определение и свойства обратной матрицы умножение чисел определение и метод вычисления определителя определение квадратичной формы собственное значение положительно определенной матрицы и матрицы собственных векторов сингулярное разложение матрицы численное решение линейных уравнений, особенно широко используется метод сопряженных градиентов формула вывода матрицы и вектора Данные, обрабатываемые алгоритмами машинного обучения, обычно представляют собой векторы, матрицы или тензоры. Все данные, вводимые классическим алгоритмом машинного обучения, представляют собой векторы признаков, а алгоритм глубокого обучения вводит двумерную матрицу или трехмерный тензор при обработке изображений. Овладение этим знанием облегчит вам жизнь.
Библиография:
Теория вероятностей Случайные события и вероятности Условная вероятность и байесовские формулы Случайные величины Ожидание и дисперсия случайных величин Обычно используемые распределения вероятностей (нормальное распределение, равномерное распределение, биномиальное распределение Бернулли) Ковариационная матрица Оценка максимального правдоподобия Если мы рассматриваем выборочные данные, обработанные машинным обучением, как случайные величины/векторы, мы можем моделировать проблему с точки зрения теории вероятностей, которая представляет большой класс методов машинного обучения. Точки знаний теории вероятностей, используемые в машинном обучении:
Понятие о случайных событиях, определение и метод расчета вероятности, случайные величины и распределение вероятностей, особенности функции плотности вероятности и функции распределения непрерывных случайных величин Условная вероятность и формула Байеса Обычно используемые распределения вероятностей, в том числе нормальное распределение, биномиальное распределение Бернулли, Среднее значение и дисперсия равномерно распределенных случайных величин, оценка максимального правдоподобия независимости случайных величин ковариации Библиография:
Оптимизация Последнее, о чем я хочу говорить, это оптимизация, потому что почти все алгоритмы машинного обучения в конечном итоге решают задачи оптимизации. Основная идея решения задач оптимизации заключается в том, что производная/градиент функции должны быть равны 0 в крайних точках. Поэтому вы должны понимать метод градиентного спуска, метод Ньютона, два часто используемых алгоритма, и их итерационные формулы можно получить из формулы разложения Тейлора. Было бы лучше, если бы вы знали метод координатного спуска и метод квазиньютона.
Выпуклая оптимизация — это понятие, часто упоминаемое в машинном обучении.Это особый вид задачи оптимизации.Допустимая область ее переменных оптимизации представляет собой выпуклое множество, а целевая функция — выпуклая функция. Лучшее свойство выпуклой оптимизации состоит в том, что все ее локальные оптимальные решения являются глобальными оптимальными решениями, поэтому решение не попадает в локальные оптимальные решения. Если проблема оказывается задачей выпуклой оптимизации, то проблема в основном объявляется решенной. В машинном обучении линейная регрессия, гребневая регрессия, метод опорных векторов, логистическая регрессия и многие другие алгоритмы решают задачи выпуклой оптимизации.
Метод множителей Лагранжа строит задачи оптимизации с ограничениями (уравнениями и неравенствами) как функции Лагранжа. Благодаря этому преобразованию задача с ограничениями превращается в задачу без ограничений. Путем преобразования порядка оптимизации исходных переменных оптимизации и множителей Лагранжа она далее преобразуется в двойственную задачу, при соблюдении определенных условий исходная задача и двойственная задача эквивалентны. Значение этого метода в том, что он может превратить проблему, которую нелегко решить, в проблему, которую решить легче. Есть приложения лагранжевой двойственности в машинах опорных векторов.
Условие ККТ является обобщением метода множителей Лагранжа для задач с ограничениями-неравенствами, которое дает условия, которые должны выполняться в крайних точках для задач оптимизации с ограничениями-равенствами и неравенствами. Он также находит применение в машинах опорных векторов. Не волнуйтесь, если вы не прошли этот курс по методам оптимизации, который можно легко вывести из основ исчисления и линейной алгебры. Если вам нужно систематически осваивать эти знания, вы можете прочитать классический учебник «Выпуклая оптимизация».
Библиография:
Наиболее часто встречаются методы оптимизации, метод множителей Лагранжа, метод градиентного спуска, метод Ньютона, выпуклая оптимизация. Затем следует знание теории вероятностей, случайных величин, формулы Байеса, независимости случайных величин, нормального распределения, оценки максимального правдоподобия. Опять же, знание линейной алгебры, почти все из которых связаны с вычислением векторов, матриц и тензоров, включая собственные значения и собственные векторы, и многие алгоритмы со временем превратятся в решение задач на собственные значения и собственные векторы.
Знание исчисления, например цепного правила. В дополнение к математическим знаниям основной части будут использоваться понятия многообразия, геодезической линии и геодезического расстояния в дифференциальной геометрии. Возможности опорных векторов используют условия Мерсера, функции ядра и включают категории функционального анализа и функции идентификации. Другим примером является доказательство искусственной нейронной сети.Универсальная теорема аппроксимации будет использовать функциональный анализ и определять содержание функции, чтобы доказать, что такая функция может аппроксимировать любую форму функции. Знания дискретной математики, такие как теория графов и деревья, также используются в машинном обучении, но они относительно просты.
Таким образом, мы можем понять все алгоритмы машинного обучения только в том случае, если освоим исчисление, линейную алгебру, теорию вероятностей и некоторые алгоритмы оптимизации. Как и некоторые относительно продвинутые функции дифференциальной геометрии, функционального анализа и идентификации, упомянутые только что, они в основном используются в некоторых базовых теоретических доказательствах, грубо говоря, для доказательства рациональности некоторых алгоритмов, даже если вы не понимаете этих доказательств, это не повлияет на то, что вы понимаете вывод, мысль и использование этих алгоритмов.