76 Nave Bayes — это специальный байесовский классификатор, характерная переменная — X, метка класса — C, одно из его предположений — () модель машинного обучения ML в
A. Априорная вероятность P(C) каждой категории равна
B. Нормальное распределение с 0 в качестве среднего и sqr(2)/2 в качестве стандартного отклонения.
C. Каждое измерение характеристической переменной X является условной независимой случайной величиной категории.
D.P(X|C) — распределение Гаусса.
Правильный ответ: С
@BlackEyes_SGC: основное предположение Наивного Байеса состоит в том, что каждая переменная независима друг от друга.

77 Что касается метода опорных векторов SVM, следующее утверждение неверно () в модели машинного обучения ML
Регулярный термин A.L2, функция состоит в том, чтобы максимизировать интервал классификации, чтобы классификатор имел более сильную способность к обобщению.
B. Функция потерь шарнира, роль которой заключается в минимизации эмпирической ошибки классификации.
C. Интервал классификации равен 1/||w||, а ||w|| представляет собой модуль вектора
D. Когда параметр C меньше, интервал классификации больше, ошибка классификации больше, и она имеет тенденцию к недоучению.
Правильный ответ: С
@BlackEyes_SGC:
А правильно. Рассмотрим причину добавления члена регуляризации: представьте идеальный набор данных, y>1 — положительный класс, yБ правильно. 
ошибка С. Интервал должен быть равен 2/||w||, а вторая половина предложения должна быть правильной.Модуль вектора обычно относится к его второй норме. 
Д правильно. При рассмотрении мягких полей влияние C на задачу оптимизации заключается в ограничении диапазона a от [0, +inf] до [0, C]. Чем меньше C, тем меньше будет a. Если производная функции Лагранжа от целевой функции равна 0, можно получить w = sum ai∗yi∗xi. Чем меньше a, тем меньше w, поэтому интервал равен 2/||w| | становится больше

78 В HMM, если известна последовательность наблюдений и последовательность состояний, которая произвела последовательность наблюдений, какой из следующих методов можно использовать для непосредственной оценки параметров () Модель машинного обучения ML
Алгоритм А.ЭМ
Б. Алгоритм Витерби
C. Прямой обратный алгоритм
D. Оценка максимального правдоподобия
Правильный ответ: Д
@BlackEyes_SGC:
Алгоритм EM: для изучения параметров модели используется только последовательность наблюдений, когда нет последовательности состояний, то есть алгоритм Баума-Уэлча.
Алгоритм Витерби: решение задач прогнозирования HMM с помощью динамического программирования, а не оценки параметров
Алгоритм «вперед-назад»: используется для расчета вероятностей.
Оценка максимального правдоподобия: то есть алгоритм обучения с учителем, когда для оценки параметров существуют как последовательность наблюдений, так и соответствующая последовательность состояний.
Обратите внимание, что оценка параметров модели для данной последовательности наблюдений и соответствующей последовательности состояний может быть оценена с использованием максимального правдоподобия. Если нет соответствующей последовательности состояний для данной последовательности наблюдений, EM используется для просмотра последовательности состояний как неизмеримых скрытых данных.

79 Если предположить, что учащийся случайно повторил два измерения обучающих данных при использовании модели классификации наивного байесовского (НБ), каково правильное утверждение о НБ? модель машинного обучения машинного обучения
А. Решающая роль этого повторяющегося признака в модели будет усилена
B. Точность модельного эффекта будет снижена по сравнению со случаем без повторяющихся признаков.
C. Если все функции повторяются, результирующий прогноз модели будет таким же, как и прогноз модели без повторения.
D. Когда два столбца признаков сильно коррелированы, невозможно использовать выводы, полученные при совпадении двух столбцов признаков, для анализа проблемы.
E.NB можно использовать для регрессии методом наименьших квадратов.
F. Приведенное выше утверждение неверно.
Правильный ответ: БД
@BlackEyes_SGC: Суть NB заключается в том, что он предполагает независимость всех компонентов вектора. В системе байесовской теории существует важное предположение об условной независимости: предполагается, что все признаки независимы друг от друга, так что совместная вероятность может быть разделена

80 Какой из следующих методов нельзя использовать для непосредственной классификации текста? Модели машинного обучения ML Easy
А. Кминс
Б. Дерево решений
C. Машина опорных векторов
D. Правильный ответ KNN: классификация отличается от кластеризации.
@BlackEyes_SGC: A: Kmeans — это метод кластеризации, типичный метод обучения без учителя. Классификация — это контролируемый метод обучения, а BCD — распространенный метод классификации.

81 Зная ковариационную матрицу P набора данных, следующее утверждение о главном компоненте неверно () Machine Learning ML Foundation Easy
A. Наилучшим критерием для анализа основных компонентов является разложение набора данных в соответствии с набором ортонормированных базисов, и при условии, что берется только одинаковое количество компонентов, для вычисления минимальной ошибки обрезки используется среднеквадратическая ошибка. .
B. После разложения главных компонент ковариационная матрица становится диагональной матрицей
C, анализ главных компонентов представляет собой KL-преобразование
D. Главная компонента получается путем вычисления собственных значений ковариационной матрицы
Правильный ответ: С
@BlackEyes_SGC: KL-преобразование и PCA-преобразование - это разные концепции Матрица преобразования PCA - это ковариационная матрица, а матрица преобразования KL-преобразования может быть многих видов (матрица второго порядка, ковариационная матрица, матрица полной внутриклассовой дисперсии, и т.д.). Когда матрица преобразования K-L является ковариационной матрицей, она эквивалентна PCA.

Сложность kmeans? Модели машинного обучения ML Easy

Временная сложность: O(tKmn), где t — количество итераций, K — количество кластеров, m — количество записей, n — размерность Пространственная сложность: O((m+K)n), где K — кластер Число , m - количество записей, n - размерность

82 Что неверно в логит-регрессии и SVM (A) в моделях машинного обучения ML
A. Логит-регрессия — это, по сути, метод оценки весов методом максимального правдоподобия на основе выборок, а апостериорная вероятность пропорциональна произведению априорной вероятности и функции правдоподобия. Логит просто максимизирует функцию правдоподобия, а не максимизирует апостериорную вероятность, не говоря уже о минимизации апостериорной вероятности. Ошибка
B. Результатом логит-регрессии является вероятность того, что образец относится к положительной категории, и эту вероятность можно рассчитать, исправить
C. Цель SVM состоит в том, чтобы найти гиперплоскость, которая максимально разделяет обучающие данные и максимизирует интервал классификации, который должен минимизировать структурный риск.
D. SVM может контролировать сложность модели с помощью коэффициента регуляризации и избегать переобучения.
@BlackEyes_SGC: Целевой функцией логит-регрессии является минимизация апостериорной вероятности.Логит-регрессия может использоваться для прогнозирования вероятности возникновения событий.Цель SVM - минимизировать структурный риск, а SVM может эффективно избежать переобучения модели.

83 Размер входного изображения 200×200, и оно проходит через один слой свертки (размер ядра 5×5, заполнение 1, шаг 2), объединение (размер ядра 3×3, заполнение 0, шаг 1) и еще один уровень свертки (после размера ядра 3 × 3, отступ 1, шаг 1), размер карты выходных объектов равен () Основы глубокого обучения DL
A 95
B 96
C 97
D 98
E 99
F 100
Правильный ответ: С
@BlackEyes_SGC: некратный вычислительный размер встречается только в GoogLeNet. Свертка округляет в меньшую сторону, а объединение округляет в большую сторону.
Этот вопрос (200-5+2*1)/2+1 равен 99,5, возьмите 99
(99-3)/1+1 равно 97
(97-3+2*1)/1+1 равно 97
Если вы изучали сеть, вы можете видеть, что когда шаг равен 1, когда ядро ​​равно 3 и заполнение равно 1 или ядро ​​равно 5 и заполнение равно 2, видно, что размер до и после свертки не меняется.
То же самое справедливо и для расчета размера всего процесса GoogLeNet.

84 Основными факторами, влияющими на результаты алгоритмов кластеризации, являются (B, C, D) Модель машинного обучения ML Easy
A. Качество образцов известных классов;
Б. Критерии классификации;
C. Выбор функции;
D. Мера подобия шаблона

85 В распознавании образов преимущество лошадиного расстояния над евклидовым расстоянием (C, D) Machine Learning ML Model Easy
А. Трансляционная инвариантность;
B. Инвариантность вращения;
инвариантность масштаба C;
D. Рассмотрено распределение паттернов

86 Основными факторами, влияющими на базовый алгоритм K-средних, являются (BD) Machine Learning ML Model Easy
A. Образец порядка ввода;
B. Мера сходства с образцом;
C. Критерии кластеризации;
D. Выбор центра начального класса

87 В задачах классификации статистических закономерностей, когда априорные вероятности неизвестны, можно использовать (BD) модели машинного обучения ML.
А. Критерий минимальных потерь;
B. Минимальные и максимальные критерии потерь;
C. Критерий минимальной вероятности ошибочного суждения;
D. Решение N-P

88 Если коэффициент корреляции вектора признаков используется в качестве меры сходства шаблонов, основными факторами, влияющими на результаты алгоритма кластеризации, являются (BC) Machine Learning ML Model Easy
A. Качество образцов известной категории;
Б. Критерии классификации;
C. Выбор функции;
D. Размерное евклидово расстояние имеет (AB);

89 Расстояние, похожее на лошадь, с (A B C D ) Машинное обучение Основы машинного обучения Легко
А. Трансляционная инвариантность;
B. Вращательная инвариантность;
C. Масштабная инвариантность;
D. Свойства, на которые не влияет измерение

90 Какой у вас опыт настройки параметров глубокого обучения (rnn, cnn)? Основы глубокого обучения DL
@bleak, источник:Ууху. Call.com/question/41…

инициализация параметра

Выберите один из следующих методов, и результаты в основном будут такими же. Но это должно быть сделано. В противном случае это может замедлить скорость сходимости, повлиять на результаты сходимости и даже вызвать ряд проблем, таких как Nan.

Следующее n_in — входной размер сети, n_out — выходной размер сети, n — n_in или (n_in+n_out)*0,5.

Первоначальный юридический документ Ксавьера:две сестры.org/proceedings…

Бумага инициализации:АР Вест V.org/ABS/1502.01…

• Инициализация равномерного равномерного распределения: w = np.random.uniform(low=-scale, high=scale, size=[n_in,n_out])

  • Начальный метод Ксавьера, подходящий для обычной функции активации (tanh, сигмоид): масштаб = np.sqrt(3/n)
  • Инициализация, подходящая для ReLU: scale = np.sqrt(6/n)

• Инициализация нормального распределения Гаусса: w = np.random.randn(n_in,n_out) * stdev # stdev — это стандартное отклонение распределения Гаусса, а среднее значение равно 0

  • Начальный метод Ксавьера, подходящий для обычной функции активации (tanh, сигмовидная): stdev = np.sqrt(n)
  • Инициализация, подходящая для ReLU: stdev = np.sqrt(2/n)

• Инициализация svd: лучше влияет на RNN. Справочные документы:АР Вест V.org/ABS/1312.61…

предварительная обработка данных

• zero-center , это довольно распространено. X -= np.mean(X, axis = 0) # zero-centerX /= np.std(X, axis = 0) # нормализовать
• Отбеливание PCA используется реже.

тренировочные навыки

• Чтобы нормализовать градиент, то есть разделить рассчитанный градиент на размер минипакета
• clip c (отсечение градиента): ограничение максимального градиента, которое на самом деле является значением = sqrt(w1^2+w2^2....), если значение превышает пороговое значение, оно считается коэффициентом затухания, а значение значение равно порогу: 5,10 ,15
• Dropout хорошо влияет на предотвращение переобучения малых данных.Значение обычно установлено на 0,5.В большинстве моих экспериментов dropout+sgd на малых данных имеет очень очевидный эффект.Поэтому, если возможно, рекомендуется попробовать его. Положение отсева является более конкретным.Для RNN рекомендуется поместить его в положение input->RNN и RNN->output.Чтобы узнать, как использовать отсев в RNN, вы можете обратиться к этой статье:АР Вест V.org/ABS/1409.23…
• Adam, adadelta и т. д. На малых данных эффект от моего эксперимента здесь не так хорош, как у sgd, и скорость сходимости sgd будет медленнее, но окончательные результаты сходимости в целом лучше. Если вы используете sgd, вы можете начать с скорости обучения 1,0 или 0,1. Через некоторое время проверьте набор проверки. Если стоимость не падает, уменьшите вдвое скорость обучения. Я видел много статей, делающих это , сам Результаты эксперимента тоже очень хорошие.Конечно, вы также можете использовать серию ada для запуска сначала, а когда он быстро сходится, заменить его на sgd, чтобы продолжить обучение.Это также улучшится.Говорят, что adadelta как правило, лучше влияет на проблемы классификации, и Адам создает проблему лучше.
• Помимо таких мест, как гейт, вам нужно ограничить вывод до 0-1, старайтесь не использовать сигмоид, вы можете использовать функции активации, такие как tanh или relu 1. Сигмоидальная функция находится в диапазоне от -4 до 4. большой градиент. Вне интервала градиент близок к 0, что легко может вызвать проблему исчезновения градиента. 2. Ввод 0 означает, что выход сигмовидной функции не равен 0.
• Размер затемнения и встраивания rnn обычно регулируется от 128 до 128. Размер пакета обычно регулируется от 128. Самое главное, чтобы размер пакета был подходящим, а не чем больше, тем лучше.
• Инициализация word2vec на небольших данных может не только эффективно повысить скорость сходимости, но и улучшить результаты.
• Перетасуйте данные как можно больше
• Смещение вентиля забывания LSTM, инициализированное значением 1,0 или выше, может дать лучшие результаты из этой статьи:две сестры.org/proceedings…, я установил его на 1,0 в эксперименте здесь, что может улучшить скорость сходимости.В реальных условиях для разных задач могут потребоваться разные значения.
• Говорят, что пакетная нормализация улучшает эффект, но я не пробовал ее. Она рекомендуется как последнее средство для улучшения модели.
• Если ваша модель содержит полносвязный слой (MLP), а размеры входных и выходных данных совпадают, вы можете рассмотреть возможность замены MLP на Highway Network. Я пытаюсь немного улучшить результаты. Рекомендуется в качестве окончательного средства улучшение модели.Принцип очень прост.К выходу добавляется вентиль для управления потоком информации.Подробности см. в статье:АР Вест V.org/ABS/1505.00…
• Советы от @张新宇: Один раунд с регулярностью, один раунд без регулярности, повторите.

Ensemble

Ансамбль является абсолютным ядерным оружием для результатов статьи.Как правило, в глубоком обучении используются следующие методы:

• Те же параметры, разные методы инициализации
• Различные параметры, путем перекрестной проверки, выбирают лучшие группы
• Одни и те же параметры, разные этапы обучения модели, т.е. модели с разными итерациями.
• Различные модели выполняют линейное слияние, например, RNN и традиционные модели.

Дополнительные методы глубокого обучения см. в столбце:Алхимическая лаборатория - Знай колонку

91 Кратко рассказать о принципе RNN? модель глубокого обучения DL
Когда мы поступаем на третий год старшей школы, чтобы подготовиться к вступительным экзаменам в колледж, знания, полученные в это время, синтезируются из знаний, полученных до второго года старшей школы и второго года старшей школы, плюс знания, полученные на третьем году. Когда в подзаголовке фильма появляется «Я есть», вы, естественно, думаете: «Я китаец».

Что касается RNN, вот курсы, в которых подробно рассказывается о RNN, включая подробное объяснение условной генерации RNN, внимания, LSTM и т. д.:Глубокое обучение [лучшие в той же категории, обучайте инженеров ГО].

92 Что такое РНН? модель глубокого обучения DL

@ Птичье небо, источник анализа этого вопроса:blog.CSDN.net/Как использовать Roja…
Целью RNN является обработка данных последовательности. В традиционной модели нейронной сети от входного слоя к скрытому слою и выходному слою слои полностью связаны, а узлы между каждым слоем не связаны. Но эта обычная нейросеть бессильна перед многими задачами. Например, если вы хотите предсказать следующее слово предложения, вам обычно нужно использовать предыдущие слова, потому что передние и задние слова в предложении не являются независимыми. Причина, по которой RNN называют рекуррентными нейронными сетями, заключается в том, что текущий вывод последовательности также связан с предыдущим выводом. Конкретная форма заключается в том, что сеть запоминает предыдущую информацию и применяет ее для расчета текущего выхода, то естьУзлы между скрытыми слоями уже не несвязаны, а связаны, и вход скрытого слоя включает в себя не только выход входного слоя, но и выход скрытого слоя в предыдущий момент.. Теоретически RNN могут обрабатывать данные последовательности любой длины. Но на практике, чтобы уменьшить сложность, часто предполагается, что текущее состояние связано только с предыдущими состояниями.На следующем рисунке показан типичный RNN:

 
From Nature 
RNN содержат входные единицы, входные наборы помечены как {x0,x1,...,xt,xt+1,...}, а выходные единицы (выходные единицы) помечены как {y0, y1,...,yt ,yt+1.,..}. RNN также содержат скрытые единицы, выходной набор которых мы помечаем как {s0,s1,...,st,st+1,...}, эти скрытые единицы выполняют большую часть работы. На рисунке вы обнаружите: есть односторонний поток информации от входной единицы к скрытой единице, а другой односторонний поток информации течет от скрытой единицы к выходной единице.В некоторых случаях RNN нарушают последнее ограничение, направляя информацию от выходной единицы обратно к скрытой единице, они называются «обратными проекциями», и вход скрытого слоя также включает состояние предыдущего скрытого слоя, т.е. уровень Узлы могут быть самоподключенными или взаимосвязанными. 
На приведенном выше рисунке рекуррентная нейронная сеть расширяется до полной нейронной сети. Например, для предложения, содержащего 5 слов, развернутая сеть представляет собой нейронную сеть с пятью слоями, каждый слой представляет слово. Процесс расчета для этой сети выглядит следующим образом:

• xt представляет собой ввод t, t=1, 2, 3... шага (шага). Например, x1 — вектор второго слова (согласно приведенному выше рисунку, x0 — первое слово);
• st — состояние t-го шага скрытого слоя, являющегося единицей памяти сети. st вычисляется на основе выходных данных текущего входного слоя и состояния предыдущего скрытого слоя. st=f(Uxt+Wst−1), где f обычно представляет собой нелинейную функцию активации, такую ​​какtanhилиReLU, при вычислении s0, то есть состояния скрытого слоя первого слова, необходимо использовать s-1, но оно не существует, и в реализации обычно устанавливается равным 0 вектору;
• ot — результат t-го шага, представленный вектором следующего слова, ot=softmax(Vst). 
  Подробнее см. в этой статье:Введение в рекуррентные нейронные сети (RNN, рекуррентные нейронные сети).

93 Как шаг за шагом строится RNN из однослойной сети? Модель глубокого обучения DL Сложно
@He Zhiyuan, источник анализа этого вопроса:zhuanlan.zhihu.com/p/28054589

1. Начиная с однослойной сети

Прежде чем изучать RNN, мы должны сначала понять самую простую однослойную сеть, ее структура показана на рисунке:

Вход — это x, а выход y получается путем преобразования Wx+b и функции активации f. Я полагаю, что вы уже хорошо знакомы с этим.

Во-вторых, классическая структура RNN (N vs N)

В практических приложениях мы также столкнемся с большим количеством последовательных данных:

как:

• Проблемы обработки естественного языка. x1 можно рассматривать как первое слово, x2 можно рассматривать как второе слово и так далее.
• обработка речи. В это время x1, x2, x3... являются звуковыми сигналами каждого кадра.
• проблема временных рядов. такие как ежедневные курсы акций и т. д.

Данные в форме последовательности не так просто обрабатывать с помощью необработанных нейронных сетей. Чтобы моделировать проблемы с последовательностями, RNN вводит понятие скрытого состояния h (скрытого состояния), которое может извлекать признаки из данных в форме последовательности, а затем преобразовывать их в выходные данные. Начнем с расчета h1:

Значения символов на иллюстрации следующие:

• Круги или квадраты представляют векторы.
• Стрелка представляет преобразование вектора. Как показано на рисунке выше, h0 и x1 соответственно соединены стрелкой, что означает, что каждый из h0 и x1 преобразуется один раз.

Подобные обозначения также появляются во многих статьях.Когда вы новичок, легко запутаться, но пока вы понимаете два вышеуказанных момента, вы можете легко понять смысл диаграмм.

Вычисление h2 аналогично вычислению h1. Следует отметить, что при расчетеПараметры U, W и b, используемые на каждом шаге, одинаковы, то есть параметры каждого шага являются общими., что является важной особенностью RNN и должно быть принято во внимание.

Остальное рассчитайте по очереди (используя те же параметры U, W, b):

Для удобства мы нарисуем только случай, когда длина последовательности равна 4. На самом деле этот процесс вычисления может продолжаться бесконечно.

Наша текущая RNN не имеет выходных данных, и способ получить выходное значение — вычислить напрямую через h:

Как было сказано ранее,Стрелка означает выполнение преобразования, аналогичного f(Wx+b), для соответствующего вектора, а здесь стрелка означает выполнение преобразования h1 для получения результата y1.

Остальная часть вывода выполняется аналогично (с использованием тех же параметров V и c, что и y1):

В ПОРЯДКЕ! Готово! Это самая классическая структура RNN, и мы устанавливаем ее как строительные блоки. Его входы x1, x2, .....xn, а выходы y1, y2, ...yn, то естьВходные и выходные последовательности должны быть одинаковой длины.

Из-за этого ограничения область применения классической RNN относительно невелика, но есть также некоторые проблемы, которые подходят для моделирования с помощью классической структуры RNN, такие как:

• Вычислите классификационную метку для каждого кадра в видео. Входная и выходная последовательности имеют одинаковую длину, поскольку вычисления выполняются для каждого кадра.
• Вход — это символ, а выход — вероятность появления следующего символа. Это знаменитый Char RNN (подробнее см.:The Unreasonable Effectiveness of Recurrent Neural Networks, Char RNN можно использовать для создания статей, стихов и даже кода. В этом блоге есть экспериментальное руководство по автоматическому созданию текстов песен.На основе факельного обучения Ван Фэна написанию текстов, чат-роботу, раскрашиванию/генерации изображений, просмотру картинок и разговору, созданию субтитров.").

3. НВС 1

Иногда вход проблемы, с которой мы имеем дело, представляет собой последовательность, а выход — одно значение, а не последовательность Как мы должны ее моделировать? На самом деле, мы просто делаем выходное преобразование для последнего h и все:

Эта структура часто используется для решения проблем классификации последовательностей. Например, введите текст, чтобы определить категорию, к которой он принадлежит, введите предложение, чтобы определить его эмоциональную направленность, введите видео и определите его категорию и т. д.

4. 1 ВС Н

Как поступить в случае, когда ввод не является последовательностью, а вывод является последовательностью? Мы можем просто выполнить входные вычисления в начале последовательности:

Существует также структура, которая принимает входную информацию X в качестве входных данных каждого этапа:

На следующем рисунке пропущено несколько кружков X, и это эквивалентное представление:

Проблемы, с которыми может справиться эта структура 1 VS N:

• Сгенерируйте текст из изображения (подпись к изображению), где вход X — это характеристика изображения, а выходная последовательность y — предложение.
• Создание речи или музыки и т. д. из категорий

5. Н против М

Давайте представим один из самых важных вариантов RNN: N vs M. Эта структура также называется моделью кодировщика-декодера, которую также можно назвать моделью Seq2Seq.

Исходный N vs N RNN требует последовательностей одинаковой длины. Однако большинство проблемных последовательностей, с которыми мы сталкиваемся, имеют разную длину. Например, в машинном переводе предложения на исходном и целевом языках часто не имеют одинаковой длины.

С этой целью структура Encoder-Decoder сначала кодирует входные данные в вектор контекста c:

Есть много способов получить с. Самый простой способ — присвоить последнему скрытому состоянию кодировщика значение с. Вы также можете выполнить преобразование последнего скрытого состояния, чтобы получить с, и вы также можете преобразовать все скрытые состояния.

Получив c, используйте другую сеть RNN для его декодирования., эта часть сети RNN называется Декодером. Конкретный метод заключается в том, чтобы ввести c как предыдущее начальное состояние h0 в декодер:

Другой способ - использовать c в качестве входных данных для каждого шага:

Поскольку эта структура кодировщик-декодер не ограничивает длину последовательности ввода и вывода, она имеет широкий спектр приложений, таких как:

• машинный перевод. Самое классическое применение Encoder-Decoder, фактически эта структура была впервые предложена в области машинного перевода.
• Текстовое резюме. Входные данные представляют собой последовательность текста, а выходные данные представляют собой последовательность сводок последовательности текста.
• Понимание прочитанного. Кодируйте входной артикль и вопрос отдельно, а затем декодируйте его, чтобы получить ответ на вопрос.
• Распознавание речи. Вход представляет собой последовательность речевых сигналов, а выход — последовательность слов.

94 Можно ли использовать в качестве функции активации в RNN только tanh вместо ReLu? модель глубокого обучения DL
Подробнее см.:Ууху. Call.com/question/61…

95 Deep Learning (CNN RNN Attention) для крупномасштабных задач классификации текста. Применение глубокого обучения DL сложно
zhuanlan.zhihu.com/p/25928551

96 Как решить проблему взрыва и рассеивания градиента RNN? Модель глубокого обучения DL Сложно
Источник этого анализа:Глубокое обучение и обработка естественного языка (7)_Стэнфордская языковая модель cs224d, RNN, LSTM и GRU

Чтобы решить проблему взрыва градиента, Томас Миколов сначала предложил простое эвристическое решение, заключающееся в усечении градиента до меньшего числа, когда оно превышает определенный порог. В частности, как описано в Алгоритме 1:

Алгоритм: обрезать градиенты, когда они взрываются (псевдокод)

г ^ ←∂E∂W

если ∥g^∥≥порог, то

г ^ ← порог ∥ ∥ г ^ ∥ ∥ г ^

Изображение ниже визуализирует эффект усечения градиента. Он показывает поверхность решения небольшого rnn (где W — матрица весов, а b — член смещения). Модель составлена ​​из rnn единиц за короткий промежуток времени, сплошными стрелками показан процесс обучения градиентного спуска на каждом шаге. Когда целевая функция модели достигает высокой ошибки во время градиентного спуска, градиент будет отправлен за пределы поверхности принятия решения. Усеченная модель создает пунктирную линию, которая возвращает градиент ошибки ближе к исходному градиенту.

 
Взрыв градиента, визуализация усечения градиента

Для решения проблемы градиентной дисперсии введем два метода. Первый метод состоит в том, чтобы изменить случайную инициализацию W(hh) на ассоциативную матричную инициализацию. Второй метод заключается в использовании ReLU (выпрямленных линейных единиц) вместо сигмовидной функции. Производная ReLU равна либо 0, либо 1. Следовательно, градиент нейрона всегда будет равен 1, а не будет уменьшаться после того, как градиент распространится в течение определенного времени.

97 Как понимать сети LSTM. Модель глубокого обучения DL Сложно
@Not_GOD, источник анализа этого вопроса:woo woo. Краткое описание.com/afraid/9 9 41 0 на этом…  

Recurrent Neural Networks

Люди не всегда начинают думать с пустым мозгом. Когда вы читаете это, вы делаете вывод об истинном значении текущего слова, основываясь на уже имеющемся у вас понимании слова, которое вы видели раньше. Мы не бросаем все и не думаем пустым мозгом. Наши мысли имеют постоянство.
Традиционные нейронные сети не могут этого сделать, и это кажется огромным недостатком. Например, предположим, что вы хотите классифицировать тип времени каждой временной точки в фильме. Традиционным нейронным сетям должно быть трудно справиться с этим — использовать предыдущие события в фильме для вывода последующих событий.
РНН решает эту проблему. RNN — это сети, содержащие петли, обеспечивающие сохранение информации.

RNN содержит петли

На приведенной выше примерной диаграмме модуль нейронной сети A считывает некоторые входные данные x_i и выводит значение h_i. Циклы позволяют передавать информацию от текущего шага к следующему.
Эти петли делают RNN очень загадочными. Однако, если подумать, понять это не сложнее, чем обычную нейронную сеть. RNN можно рассматривать как несколько копий одной и той же нейронной сети, где каждый модуль нейронной сети передает сообщение следующему. Итак, если мы развернем этот цикл:

Расширенный РНН

Сцепленные функции показывают, что RNN по своей сути связаны с последовательностями и списками. Это наиболее естественная архитектура нейронной сети для такого рода данных.
И RNN также использовался людьми! За последние несколько лет RNN с умеренным успехом использовались в распознавании речи, языковом моделировании, переводе, подписях к изображениям и многом другом, и этот список растет. Я рекомендую всем обратиться к сообщению в блоге Андрея Карпаты -The Unreasonable Effectiveness of Recurrent Neural NetworksДавайте посмотрим на более интересные и успешные применения RNN.
Ключом к этим успешным приложениям является использование LSTM, специальной RNN, которая превосходит стандартные RNN во многих задачах. Почти все захватывающие результаты о RNN достигаются с помощью LSTM. Этот пост в блоге также будет посвящен LSTM.

Долгосрочные зависимости

Одним из ключевых моментов RNN является то, что их можно использовать для соединения предыдущей информации с текущими задачами, например, с использованием прошлых сегментов видео, чтобы сделать вывод о понимании текущего сегмента. Если RNN могут это сделать, они становятся очень полезными. Но действительно ли это возможно? Ответ заключается в том, что существует гораздо больше зависимостей.
Иногда нам просто нужно знать предыдущую информацию, чтобы выполнить текущую задачу. Например, у нас есть языковая модель, которая предсказывает следующее слово на основе предыдущих слов. Если мы попытаемся предсказать последнее слово «облака в небе», нам не нужен никакой другой контекст, поэтому следующим словом, очевидно, должно быть небо. В таком сценарии разрыв между релевантной информацией и предсказанной позицией слова очень мал, и RNN может научиться использовать предыдущую информацию.

Не слишком длинные интервалы релевантной информации и местоположений

Но будут и более сложные сценарии. Предположим, мы пытаемся предсказать последнее слово фразы «Я вырос во Франции… Я бегло говорю по-французски». Текущая информация предполагает, что следующее слово может быть названием языка, но если нам нужно выяснить, что это за язык, нам нужен ранее упомянутый контекст Франции, который находится далеко от текущего местоположения. Это означает, что разрыв между релевантной информацией и текущим прогнозируемым положением должен стать достаточно большим.
К несчастью,По мере увеличения этого интервала RNN теряет способность учиться связывать информацию так далеко..

Относительно длинные интервалы релевантной информации и местоположений

Теоретически RNN определенно могут справиться с такими долгосрочными зависимостями. Можно тщательно подобрать параметры для решения самых элементарных форм такого рода задач, но на практике RNN определенно не могут успешно изучить эти вещи.Bengio, et al. (1994)и др. глубоко исследуют эту проблему, и они находят некоторые довольно фундаментальные причины, которые делают обучение RNN очень трудным.
Однако, к счастью, у LSTM нет этой проблемы!

LSTM-сеть

Долгосрочные сети — широко известные какLSTM — это особый тип RNN, который изучает долгосрочные зависимости.. Как сказал @HAN Xiaoyang: LSTM и базовая RNN не сильно отличаются по структуре, но они используют разные функции для вычисления скрытого состояния. "Память" LSTM называется ячейками / ячейками. Вы можете напрямую думать о них как о черных ящиках. Вход этого черного ящика - это предыдущее состояние ht-1 и текущий вход xt. Эти «клетки» решают, какую предыдущую информацию и состояния сохранить/запомнить, а какую стереть. В практических приложениях установлено, что этот метод позволяет эффективно сохранять связанную информацию давно.
LSTM отHochreiter & Schmidhuber (1997)предложено и было недавноAlex GravesУлучшается и продвигается. Во многих задачах LSTM добились значительных успехов и широко используются.
LSTM избегают долгосрочных зависимостей благодаря преднамеренному дизайну. Помните, что долгосрочная информация — это поведение LSTM по умолчанию на практике, а не очень дорогая возможность!
Все RNN представляют собой цепочку повторяющихся модулей нейронной сети. В стандартной RNN этот повторяющийся модуль имеет очень простую структуру, например слой tanh.

Повторяющиеся модули в стандартных RNN содержат один слой

LSTM имеют одинаковую структуру, но повторяющиеся модули имеют другую структуру. Вместо одного слоя нейронной сети здесь четыре, взаимодействующих очень специфическим образом.

Повторяющийся модуль в LSTM состоит из четырех взаимодействующих слоев.

Не беспокойтесь о деталях здесь. Мы шаг за шагом разберем граф разбора LSTM. А пока давайте познакомимся с иконками различных элементов, используемых на схеме.

Иконки в LSTM

На приведенном выше рисунке каждая черная линия передает весь вектор от выхода одного узла к входу других узлов. Розовые кружки представляют точечные операции, такие как сумма векторов, а желтые матрицы — изученные слои нейронной сети. Линии, которые собираются вместе, представляют собой конкатенацию векторов, линии, которые разделяются, представляют контент, который копируется, а затем распределяется по разным местам.

Основная идея LSTM

Ключом к LSTM является состояние ячейки с горизонтальной линией, проходящей через верхнюю часть графика.
Состояния ячеек подобны конвейерным лентам. Работает непосредственно по всей цепочке, всего с несколькими небольшими линейными взаимодействиями. Было бы легко распространять информацию о нем, чтобы она оставалась неизменной.

LSTM имеют возможность удалять или добавлять информацию о состоянии ячейки с помощью тщательно разработанных структур, называемых «воротами». Ворота — это способ выборочного пропуска информации. Они содержат слой сигмовидной нейронной сети и операцию поточечного умножения.

Сигмовидный слой выводит число от 0 до 1, описывающее, сколько каждой части может пройти. 0 означает «не пропускать любую сумму», а 1 означает «пропускать любую сумму»!

LSTM имеет три ворот для защиты и управления состоянием ячейки.

Понимание LSTM шаг за шагом

Первый шаг в нашем LSTM — решить, какую информацию мы будем отбрасывать из состояния ячейки. Это решение принимается череззабыть воротаЗаканчивать. Ворота будут читатьh_{t-1}иx_t, выводит значение от 0 до 1 для каждого состояния ячейкиC_{t-1}числа в . 1 означает «полностью зарезервировано», 0 означает «полностью отброшено».
Вернемся к примеру с языковой моделью для предсказания следующего слова на основе того, что мы видели. В этой задаче состояние ячейки может содержать текущийпредметпол и, следовательно, правильныйместоимениеможно выбрать. когда мы увидим новыепредмет, мы хотим забыть староепредмет.

решение об отказе от информации

Следующим шагом является определение того, какая новая информация хранится в состоянии ячейки. Здесь две части. Во-первых, сигмовидный слой, называемый «слоем входных ворот», решает, какие значения мы будем обновлять. Затем слой tanh создает новый вектор значений-кандидатов,\tilde{C}_t, будут добавлены к состоянию. Далее мы будем использовать эти две части информации для создания обновления состояния.
В нашем примере с языковой моделью мы хотим добавить пол нового субъекта к состоянию ячейки, чтобы заменить старый подлежащий забвению.

Подтвердить обновленную информацию

Настало время обновить старое состояние ячейки,C_{t-1}обновить доC_t. Предыдущие шаги уже определили, что будет сделано, теперь мы собираемся это сделать.
Ставим старое состояние сf_tУмножение, отбрасывание информации, которую мы уверены, нужно отбросить. Затем добавьтеi_t * \tilde{C}_t. Это новое значение-кандидат, которое изменяется в зависимости от того, насколько сильно мы решили обновить каждое состояние.
В случае с языковыми моделями именно здесь мы фактически удаляем информацию о роде старых местоимений и добавляем новые, исходя из целей, которые мы определили ранее.

обновить состояние ячейки

В конечном итоге нам нужно определить, какое значение выводить. Этот вывод будет основан на состоянии нашей ячейки, а также на отфильтрованной версии. Во-первых, мы запускаем сигмовидный слой, чтобы определить, какая часть состояния ячейки будет выведена. Затем мы обрабатываем состояние ячейки с помощью tanh (чтобы получить значение от -1 до 1) и умножаем его на выход сигмовидного вентиля, и в итоге мы выводим только часть вывода, которую мы определили.
В примере с языковой моделью, потому что он видитместоимение, может потребоваться вывод сглаголрелевантная информация. Например, можно было бы вывести, является ли местоимение единственным или отрицательным, так что, если это глагол, мы также знаем, какое склонение нужно сделать глаголу.

выходная информация

Варианты LSTM

До сих пор мы вводили обычные LSTM. Но не все LSTM выглядят одинаково. Фактически, почти во всех статьях, включающих LSTM, используются крошечные варианты. Разница очень небольшая, но о ней стоит упомянуть.
Один из вариантов LSTM многообразия задается выражениемGers & Schmidhuber (2000)Предложено, добавлено «глазковое подключение». То есть мы делаем так, чтобы слой ворот также принимал входные данные о состоянии ячейки.

глазок соединение

В приведенном выше примере мы добавили глазки на каждые ворота, но многие газеты добавляют некоторые глазки, а не все сразу.

Другой вариант — использование спаренных вентилей «забыть-и-ввести». Вместо того, чтобы решать, что забыть и какую новую информацию нужно добавить отдельно, решение принимается вместе. Мы просто забываем, когда собираемся вводить текущую позицию. Мы вводим новые значения только в те состояния, где забыли старую информацию.

спаренные ворота забывания и входные ворота

Другой вариант с большими изменениями — Gated Recurrent Unit (GRU), созданныйCho, et al. (2014)предложить. Он объединяет шлюзы забывания и входные ворота в один шлюз обновления. Также смешано состояние ячейки и скрытое состояние, а также некоторые другие изменения. Окончательная модель проще стандартной модели LSTM и является очень популярным вариантом.

GRU

Вот лишь некоторые из популярных вариантов LSTM. Конечно, есть много других, таких какYao, et al. (2015)Предлагаемый RNN с ограничением по глубине. Есть также несколько совершенно разных точек зрения на долгосрочные зависимости, такие какKoutnik, et al. (2014)Предлагаемый Заводной РНН.
Спросить, какой вариант лучше? Разница действительно имеет значение?Greff, et al. (2015)Дается сравнение популярных вариантов и делается вывод, что они в основном одинаковы.Jozefowicz, et al. (2015)Мы протестировали более 10 000 архитектур RNN и обнаружили, что некоторые архитектуры также достигли лучших результатов, чем LSTM, в определенных задачах.

Скриншот статьи Jozefowicz et al.

в заключении

В начале я упомянул получение важных результатов с помощью RNN. По сути, все это можно сделать с помощью LSTM. Он показывает лучшую производительность для большинства задач!
Поскольку LSTM обычно представляются серией уравнений, это делает LSTM немного запутанным. Однако пошаговое объяснение в этой статье проясняет большую часть этой путаницы.
LSTM — это наш большой успех с RNN. Естественно, мы также считаем: где будут более существенные прорывы? Среди исследователей преобладает мнение: "Да! Следующий шаг уже есть - т.е.внимание! Идея состоит в том, чтобы каждый шаг RNN выбирал информацию из большего набора информации.Например, если вы используете RNN для создания описания изображения, вы можете выбрать часть изображения и использовать эту часть информации для генерации выходного слова.Xu, et al. (2015)Уже сделано - если хотите копнуть глубжевниманиеМожет быть, это интересная отправная точка! Есть также довольно интересные исследования по использованию внимания, и, похоже, есть еще что исследовать...
Внимание также не является единственной разработкой в ​​области исследования RNN. Например,Kalchbrenner, et al. (2015)Предлагаемый Grid LSTM также выглядит многообещающе. RNN, использующие генеративные модели, такие какGregor, et al. (2015) Chung, et al. (2015)иBayer & Osendorfer (2015)Предлагаемая модель не менее интересна. В последние несколько лет исследования RNN были очень актуальными, и результаты исследований, конечно же, будут более обильными!
Опять же, анализ этого вопроса в основном взят из перевода Not_GOD.Сообщение в блоге Кристофера Олаха«Понимание сетей LSTM», спасибо.

98 Различия между RNN, LSTM и GRU. Модель глубокого обучения DL Сложно
@ Я люблю большие пузыри, источник анализа этого вопроса:blog.CSDN.net/Я люблю пушки из-за страха…

• RNN вводит понятие цикла, но в реальном процессе возникает проблема исчезновения исходной информации со временем, то есть проблема долговременных зависимостей (Long-Term Dependencies), поэтому вводится LSTM.
• LSTM: поскольку LSTM имеет вход и выход, а текущая информация о ячейке накладывается после управления входным затвором, RNN - это умножение, поэтому LSTM может предотвратить исчезновение градиента или ключом к изменению взрыва. Следующее изображение очень подходит на память:
  
• GRU — это вариант LSTM, который объединяет шлюз забывания и вход в один шлюз обновления. 
  

Как вы оптимизируете работу, когда производительность машинного обучения становится узким местом? Машинное обучение ML-приложений сложно
Вы можете попробовать эти четыре аспекта: на основе данных, с помощью алгоритмов, с помощью алгоритмов для настройки параметров и с помощью слияния моделей. Конечно, насколько подробно вы сможете рассказать, будет зависеть от вашего опыта. Вот справочный список:Памятка по повышению производительности машинного обучения.

99 Как улучшить производительность глубокого обучения? Применение глубокого обучения DL сложно
blog.CSDN.net/Korean_Противовоспалительные…

Какие проекты по машинному обучению вы выполняли? Например, как построить рекомендательную систему с нуля. Машинное обучение ML-приложений сложно
Вот открытый класс рекомендательной системы»Рекомендуемая система", и еще один рекомендуемый курс:Класс проекта машинного обучения [10 чистых объяснений проекта, 100% чистый бой].

100 Какие наборы данных не подходят для глубокого обучения? Применение глубокого обучения DL сложно
@abstractmonkey, источник:Ууху. Call.com/question/41…

1. Когда набор данных слишком мал, а выборки данных недостаточно, глубокое обучение не имеет очевидных преимуществ перед другими алгоритмами машинного обучения.
2. Набор данных не имеет характеристик локальной корреляции.В настоящее время области, в которых глубокое обучение работает лучше, в основном относятся к области обработки изображений/речи/естественного языка.Общим в этих областях является локальная корреляция. Пиксели в изображении образуют объекты, фонемы в речевом сигнале объединяются в слова, а слова в текстовых данных объединяются в предложения, а при нарушении сочетания этих элементов признака меняется и смысл представления. Наборы данных без таких локальных корреляций не подходят для обработки алгоритмами глубокого обучения. Например: для прогнозирования состояния здоровья человека соответствующие параметры будут иметь различные элементы, такие как возраст, род занятий, доход, семейное положение и т. д., нарушение этих элементов не повлияет на соответствующие результаты.

Как обобщенные линейные модели используются в глубоком обучении? модель глубокого обучения DL
@Сюй Хань, источник:Ууху. Call.com/question/41…
A Statistical View of Deep Learning (I): Recursive GLMs
Со статистической точки зрения глубокое обучение можно рассматривать как рекурсивную обобщенную линейную модель.
По сравнению с классической линейной моделью (y=wx+b) ядром обобщенной линейной модели является введение функции связи g(.), и форма принимает вид: y=g−1(wx+b).
Рекурсивная обобщенная линейная модель в глубоком обучении, функция активации нейрона является функцией связи обобщенной линейной модели. Логистическая функция логистической регрессии (разновидность обобщенной линейной модели) — это сигмовидная функция в функции активации нейрона.Многие подобные методы имеют разные названия в статистике и нейронных сетях, что легко может вызвать у новичков (здесь в основном относится ко мне) путаницу . На рисунке ниже представлена ​​сравнительная таблица

101 Какие теоретические знания я должен знать, чтобы подготовиться к собеседованию по машинному обучению? модель машинного обучения машинного обучения
@Muwen, источник:Ууху. Call.com/question/62…

 
Глядя на это, ответы на эти вопросы в основном находятся в этом интервью по машинному обучению BAT из 1000 вопросов.

102 В чем разница между нормализацией и нормализацией? Основы машинного обучения ML Easy
@AI Huafeng, источник анализа этого вопроса:Ууху. Call.com/question/20…
Метод нормализации:
1. Преобразование числа в десятичное число между (0, 1) в основном предлагается для удобства обработки данных.Удобнее и быстрее отображать данные в диапазоне от 0 до 1 для обработки.
2. Преобразование размерного выражения в безразмерное выражение Нормализация — это способ упростить вычисления, то есть размерное выражение преобразуется в безразмерное выражение и становится скаляром.
Метод стандартизации: нормализация данных заключается в масштабировании данных таким образом, чтобы они попадали в небольшой определенный интервал. Поскольку каждая единица измерения индекса системы кредитных индексов отличается, чтобы иметь возможность участвовать в оценке и расчете индекса, необходимо стандартизировать индекс и сопоставить его значение с определенным диапазоном значений посредством преобразования функции.

Как случайный лес обрабатывает пропущенные значения? модель машинного обучения машинного обучения
Метод 1 (na.roughfix) прост и груб.Для обучающего набора, если данные одного класса отсутствуют, используйте режим, чтобы восполнить это, а если непрерывная переменная отсутствует, используйте медиану, чтобы восполнить для этого.
Метод 2 (rfImpute) Этот метод имеет большой объем вычислений, чем он лучше, чем метод 1? Плохое суждение. Сначала используйте na.roughfix для заполнения пропущенных значений, затем постройте лес и рассчитайте матрицу близости, а затем посмотрите на пропущенные значения.Если это категориальная переменная, проголосуйте с весом в непосредственной близости от наблюдаемого экземпляра без отсутствует. Если это непрерывная переменная, отсутствующее значение заполняется средневзвешенным значением матрицы близости. Затем повторите 4-6 раз, идея дополнения пропущенных значений чем-то похожа на KNN12.

103 Как случайный лес оценивает важность признаков? модель машинного обучения машинного обучения
Есть два способа измерить важность переменных: уменьшить индекс Джини и уменьшить точность:
1) Уменьшить GINI: для задач регрессии argmax (VarVarLeftVarRight) напрямую используется в качестве критерия, то есть дисперсия Var текущего обучающего набора узлов минус дисперсия VarLeft левого узла и дисперсия VarRight правого узла.
2) Уменьшение точности: для дерева Tb(x) мы можем использовать выборку OOB, чтобы получить ошибку теста, равную 1; затем случайным образом изменить j-й столбец выборки OOB: оставить другие столбцы неизменными и выполнить случайное увеличение и уменьшение. перестановки в j-м столбце, получите ошибку 2. Пока что мы можем использовать ошибку 1 — ошибку 2, чтобы охарактеризовать важность переменной j. Основная идея состоит в том, что если переменная j достаточно важна, то ее изменение сильно увеличит ошибку теста; наоборот, если ее изменение не увеличит ошибку теста, значит, переменная не так важна.

104 Оптимизировать Kmeans? модель машинного обучения машинного обучения
Используйте kd-дерево или шаровое дерево
Собираем все экземпляры наблюдений в kd-дерево, если раньше каждый центр кластера должен был поочередно вычислять расстояние от каждой точки наблюдения, то теперь этим кластерным центрам нужно только вычислить близлежащую локальную область по kd-дереву.

105 K означает выбор начальной центральной точки кластера. модель машинного обучения машинного обучения
Основная идея алгоритма k-means++ для выбора начальных семян заключается в том, что расстояние между центрами начальных кластеров должно быть как можно больше.
1. Случайным образом выберите точку из набора точек входных данных в качестве первого центра кластера.
2. Для каждой точки x в наборе данных рассчитайте расстояние D(x) от ближайшего центра кластера (относительно выбранного центра кластера).
3. Выберите новую точку данных в качестве нового центра кластера.Принцип выбора таков: точка с большим D(x) имеет более высокую вероятность быть выбранной в качестве центра кластера.
4. Повторяйте 2 и 3, пока не будет выбрано k центров кластеров.
5. Используйте k начальных кластерных центров для запуска стандартного алгоритма k-средних.

106 Объясните концепцию двойственности. Основы машинного обучения ML Easy
Задача оптимизации может быть исследована с двух точек зрения, одна является основной проблемой, другая — двойственной проблемой, которая является двойственной проблемой.В общем, двойственная задача дает нижнюю границу оптимального значения основной задачи. В случае сильной двойственности двойственная задача может получить оптимальную нижнюю границу основной задачи, а двойственная задача — задача выпуклой оптимизации, которую можно решить лучше В SVM основная задача преобразуется в двойственную задачу для решения , чтобы еще больше представить идею функции ядра.

107 Как выполнить выбор функции? Основы машинного обучения ML
Выбор признаков — важный процесс предварительной обработки данных. Есть две основные причины: во-первых, уменьшить количество признаков и размерность, чтобы сделать модель более обобщаемой и уменьшить переоснащение, а во-вторых, улучшить взаимосвязь между признаками и значениями признаков.
Общие методы выбора признаков:
1. Удалите функции с небольшой дисперсией
2. Регуляризация. 1 Регуляризация может генерировать разреженные модели. Производительность регуляризации L2 более стабильна, поскольку полезные функции, как правило, соответствуют ненулевым коэффициентам.
3. Случайный лес, для задач классификации обычно используется примесь Джини или прирост информации, а для задач регрессии обычно используется дисперсия или подгонка методом наименьших квадратов. Как правило, утомительные шаги, такие как разработка функций и настройка параметров, не требуются. Его две основные проблемы: 1 – важные функции могут иметь низкие оценки (проблема связанных функций) и 2 – этот метод более благоприятен для функций с большим количеством категорий переменных функций (проблема смещения).
4. Выбор устойчивости. Это относительно новый метод, основанный на сочетании алгоритма подвыборки и отбора.Алгоритмом отбора может быть регрессия, SVM или другие подобные методы. Его основная идея состоит в том, чтобы запускать алгоритм выбора признаков на различных подмножествах данных и подмножествах признаков, непрерывно повторять его и, наконец, обобщать результаты выбора признаков, например частоту, когда признак считается важным признаком (выбирается как важный признак). , разделенное на количество раз, когда его подмножество было проверено). В идеале важные функции должны быть оценены близко к 100%. Немного более слабые функции будут иметь ненулевые оценки, а наименее полезные функции будут иметь оценки, близкие к 0.

108 Предварительная обработка данных. Основы машинного обучения ML Easy
1. Пропущенные значения, заполнить пропущенные значения fillna:
I. Дискретный: нет,
2. Непрерывное: среднее.
iii. Если пропущено слишком много значений, удалите столбец напрямую.
2. Непрерывное значение: дискретизация. Некоторые модели (например, деревья решений) требуют дискретных значений.
3. Бинаризация количественных признаков. Суть заключается в установке порога, значению больше порога присваивается 1, а значению меньше или равно порогу присваивается 0. как манипуляции с изображениями
4. Коэффициент корреляции Пирсона, удалить сильно коррелированные столбцы

109 Кратко расскажите об инженерии признаков. Основы машинного обучения ML

Источник изображения выше:Woohoo.Расстояние также читайте.com/video/play/…

110 Какие процессы обработки данных и разработки признаков вы знаете? машинное обучение ML-приложения

Посмотрите этот курс, чтобы узнать большеИнженер по машинному обучению, выпуск 8 [шесть этапов, подробно]» Урок 7 Разработка признаков.

111 Пожалуйста, сравните три функции активации Sigmoid, Tanh и ReLu. Основы глубокого обучения DL

Сигмовидная функция, также известная как логистическая функция, используется в логистической регрессии. Целью логистической регрессии является изучение модели классификации 0/1 на основе признаков, и эта модель использует линейную комбинацию признаков в качестве независимой переменной, поскольку диапазон значений независимой переменной находится в пределах от отрицательной бесконечности до положительной бесконечности. Поэтому независимая переменная отображается в (0,1) с помощью логистической функции, а отображаемое значение считается вероятностью принадлежности к y=1.

Гипотетическая функция

Где x — n-мерный вектор признаков, а функция g — логистическая функция.

иИзображение

Как видите, бесконечность отображается на (0,1).

А функция гипотезы — это вероятность того, что признак принадлежит y=1.

Поэтому, когда мы хотим определить, к какому классу относится новая функция, нам нужно толькоможет, еслиБольше 0,5 — это класс y=1, в противном случае он принадлежит классу y=0.

Подробнее см.:Tickets.WeChat.QQ.com/Yes/7DG IX cn BS…
Таким образом, сигмоидальная функция отображает выходные данные в диапазоне 0-1, что можно рассматривать как вероятность Таким образом, сигмоидальная функция является функцией активации модели логистической регрессии.
Но сигмовидная функция имеет следующие недостатки:
Прямой расчет включает показатель степени, а производная обратного распространения также включает вычисление показателя степени и операцию деления, поэтому вычислительная сложность очень высока.
Среднее значение вывода не равно нулю. Это делает сеть склонной к исчезновению или взрыву градиента. Это также проблема, которую необходимо решить путем пакетной нормализации.
Если сигмовидная функция равна f(x), то f'(x)=f(x)(1-f(x)), поскольку выход f(x) находится между 0-1, тогда f'(x) всегда больше 0. Это приводит к тому, что знак всех градиентов зависит от градиента функции потерь. Это легко может привести к нестабильной тренировке, а параметры будут как благополучными, так и испорченными.
Точно так же f'(x)=f(x)(1-f(x)), поскольку выход f(x) находится в диапазоне 0-1, тогда выход f'(x) также находится в диапазоне 0-1. , Когда слой глубокий, производная нижнего слоя является произведением множества чисел от 0 до 1, что приводит к проблеме исчезновения градиента.
Для tanh это похоже на сигмовидную, но выходное значение находится в диапазоне от -1 до 1, а среднее значение равно 0, что является улучшением по сравнению с сигмовидной. Но поскольку результат находится в диапазоне от -1 до 1, его нельзя рассматривать как вероятность.

Для ReLU по сравнению с сигмоидой и тангом она имеет следующие преимущества:
При вычислении объема отсутствуют операции возведения в степень и деления.
не будет насыщаться, потому что производная всегда равна 1 в случае x>0
Скорость сходимости высокая.На практике известно, что скорость сходимости в 6 раз больше, чем у сигмоиды.
Relu сделает вывод некоторых нейронов равным 0, что вызовет разреженность сети, уменьшит взаимозависимость параметров и облегчит проблему переобучения.
Но есть у Релу и недостатки, недостаток в том, что,
Если есть особенно большая производная через нейронную единицу, которая делает вход меньше 0, это приведет к тому, что единица никогда не получит обновлений параметров, потому что производная также равна 0, когда вход меньше 0. Это формирует много мертвых клеток. .

112 Каковы недостатки или недостатки трех функций активации Sigmoid, Tanh и ReLu, и есть ли какие-либо улучшенные функции активации? Основы глубокого обучения DL
@张玉石: недостатки сигмоида, Tanh и ReLU были объяснены в вопросе 121. Чтобы решить ситуацию с мертвыми ячейками ReLU, был изобретен Leaky Relu, то есть когда вход меньше 0, выход не устанавливается равным 0, а умножается на больший малый коэффициент, гарантируя тем самым существование производных. Для этой же цели существует и ЭЛУ, функциональная схема которого следующая.

Другой функцией активации является Maxout, которая использует два набора параметров w,b и выводит большее значение. По сути, Maxout можно рассматривать как обобщенную версию Relu, потому что если набор w и b равен 0, то это обычный ReLU. Maxout может преодолеть недостатки Relu, но количество параметров удваивается.
@I Love Big Bubbles, источник:blog.CSDN.net/Я люблю пушки из-за страха…

113 Как понять дерево решений, xgboost может обрабатывать пропущенные значения? Некоторые модели (svm) более чувствительны к пропущенным значениям. модель машинного обучения машинного обучения
Ууху. Call.com/question/58…

114 Зачем вводить нелинейную функцию возбуждения? Основы глубокого обучения DL
@张玉石: Во-первых, для нейронной сети каждый слой сети эквивалентен f(wx+b)=f(w'x), а для линейной функции фактически эквивалентен f(x)=x , то в линейной функции активации каждый слой эквивалентен умножению x на матрицу, а несколько слоев многократно умножают входные данные на матрицу. Согласно правилу умножения матриц, несколько матриц перемножаются, чтобы получить большую матрицу. Следовательно, при линейной функции возбуждения многослойная сеть эквивалентна однослойной сети. Например, двухслойная сеть f(W1*f(W2x))=W1W2x=Wx.
Во-вторых, нелинейные преобразования — одна из причин эффективности глубокого обучения. Причина в том, что нелинейность эквивалентна преобразованию пространства, а после завершения преобразования эквивалентна упрощению проблемного пространства, и проблема, которая изначально была неразрешима по линейности, теперь решаема.
Следующая картинка может очень наглядно объяснить эту проблему Левая картинка не может быть разделена линией. После ряда преобразований она становится линейно разрешимой задачей.
@Begin Again, источник:Ууху. Call.com/question/29…
Если функция возбуждения не используется (фактически функция возбуждения есть f(x) = x), то в этом случае выход каждого слоя является линейной функцией входа верхнего слоя, что легко проверить, независимо от того, сколько слоев имеет ваша нейронная сеть, выходные данные Все они представляют собой линейные комбинации входных данных, которые эквивалентны отсутствию скрытого слоя Эта ситуация является самым примитивным персептроном.
По вышеуказанным причинам мы решили ввести нелинейную функцию в качестве функции возбуждения, чтобы глубокая нейронная сеть имела смысл (она больше не является линейной комбинацией входных данных, которая может аппроксимировать любую функцию). Самой ранней идеей была сигмовидная функция или функция tanh, выходные данные ограничены и могут легко служить входными данными для следующего слоя (и биологической интерпретации некоторых людей).

115 Почему ReLu лучше, чем tanh и сигмовидная функция в искусственной нейронной сети? Основы глубокого обучения DL
Сначала посмотрите на функциональные диаграммы сигмоиды, танга и RelU:

@Begin Again, источник:Ууху. Call.com/question/29…

Во-первых, при использовании таких функций, как сигмоид, при вычислении функции активации (экспоненциальная операция) объем вычислений велик.При обратном распространении для нахождения градиента ошибки вывод включает в себя деление и экспоненциальные операции, а объем вычислений относительно велик, и используется функция активации Relu.Весь процесс экономит много вычислений.

Во-вторых, для глубоких сетей при обратном распространении сигмоиды градиент легко исчезает (когда сигмоида близка к области насыщения, преобразование происходит слишком медленно и производная стремится к 0, что приведет к потере информации), что Явление, называемое насыщением, препятствует завершению обучения глубоких сетей. Однако у ReLU не будет тенденции к насыщению, и особо малых градиентов не будет.
В-третьих, Relu сделает вывод некоторых нейронов равным 0, что вызывает разреженность сети, и уменьшит взаимозависимость параметров, что смягчит возникновение проблем переобучения (и биологическое объяснение некоторых людей — балабала). Конечно, есть также некоторые улучшения в relu, такие как prelu, random relu и т. д. Будут некоторые улучшения в скорости обучения или точности на разных наборах данных.Подробности можно найти в соответствующем документе.

Еще одно предложение, текущая общепринятая практика будет выполнять еще одну пакетную нормализацию, чтобы гарантировать, что вход каждого уровня сети имеет одинаковое распределение [1]. В последней статье [2] после добавления обходного соединения они обнаружили, что изменение положения пакетной нормализации будет иметь лучший эффект. Кому интересно, может посмотреть.
[1] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[J]. arXiv preprint arXiv:1502.03167, 2015.
[2] He, Kaiming, et al. "Identity Mappings in Deep Residual Networks." arXiv preprint arXiv:1603.05027 (2016). 

116 Почему в модели LSTM есть как сигмовидная, так и тангенциальная функции активации? Модель глубокого обучения DL Сложно
Почему бы не выбрать единую сигмовидную или танх, а смешать их? Какова цель этого?

Источник этого анализа:Ууху. Call.com/question/46…
@beanfrog: у них разные цели
сигмоид используется на различных вентилях для генерации значений от 0 до 1. Как правило, только сигмоид является самым прямым.
tanh используется для состояния и вывода, т. е. для обработки данных, а также для других функций активации.
@hhhh: См. Также раздел 4.1 Критического обзора рекуррентных нейронных сетей для последовательного обучения, в котором говорится, что оба танга могут быть заменены другими.

117 Насколько хорош классификатор? Основы машинного обучения ML
@I Love Big Bubbles, источник:blog.CSDN.net/Я люблю пушки из-за страха…
Прежде всего, мы должны знать четыре вида TP, FN (истина оценивается как ложь), FP (ложь оценивается как истина) и TN (вы можете нарисовать таблицу). 
Несколько часто используемых индикаторов:

• Точность Точность = TP/(TP+FP) = TP/~P (~p — количество верных прогнозов)
• Отзыв отзыв = TP/(TP+FN) = TP/P
• Значение F1: 2/F1 = 1/отзыв + 1/точность
• Кривая ROC: пространство ROC представляет собой плоскость, представленную двумерной системой координат с частотой ложных срабатываний (FPR, частота ложных срабатываний) в качестве оси X и частотой истинных положительных результатов (TPR, доля истинных положительных результатов) в качестве оси Y. При этом истинно положительный показатель TPR = TP / P = отзыв, ложноположительный показатель FPR = FP / N
  Для получения более подробной информации, пожалуйста, нажмите:Четыре потребности Zhang.GitHub.IO/2017/04/04/…

118 Каков физический смысл auc в машинном обучении и статистике? Основы машинного обучения ML
Ууху. Call.com/question/39…

119 Обратите внимание на коэффициент усиления, чем больше альфа и гамма, тем меньше коэффициент усиления? Основы машинного обучения ML
@AntZ: Критерием xgboost для поиска точек разделения является максимизация выигрыша.Учитывая, что традиционный жадный метод перечисления всех возможных точек разделения для каждой функции слишком неэффективен, xgboost реализует приблизительный алгоритм. Общая идея состоит в том, чтобы перечислить несколько кандидатов, которые могут стать точками сегментации по методу процентилей, а затем вычислить Gain из кандидатов, чтобы найти лучшую точку сегментации по максимальному значению. Его расчетная формула разделена на четыре элемента, которые можно настроить с помощью параметра элемента регуляризации (lamda — это коэффициент суммы квадратов весов листьев, а gama — количество листьев):



Первый элемент — это оценка веса левого дочернего элемента гипотетического разделения, второй элемент — правый дочерний элемент, третий элемент — это общий балл без разделения, а последний элемент — потеря сложности при введении узла.
Из формулы видно, что чем больше гама, тем меньше выигрыш, тем больше лямбда, причем выигрыш может быть как малым, так и большим.
Исходный вопрос - это альфа вместо лямбда, которая не упоминается в статье здесь, и реализация xgboost имеет этот параметр Вышеизложенный ответ я понимаю из бумаги, а следующее - поиск:
Знайте. Baidu.com/question/21…
lambda [по умолчанию 1] Член регуляризации L2 для весов. (Аналогично регрессии Риджа). Этот параметр используется для управления частью регуляризации XGBoost. Хотя большинство специалистов по данным редко используют этот параметр, его все же можно использовать для уменьшения переобучения. 11. Термин регуляризации L1 для веса альфа [по умолчанию 1]. (Аналогично регрессии Лассо). Его можно применять к очень большим размерам, что делает алгоритм быстрее.
gamma [по умолчанию 0] Когда узел разделен, узел будет разделен только в том случае, если значение функции потерь упадет после разделения. Гамма определяет минимальное снижение функции потерь, необходимое для разделения узла. Чем больше значение этого параметра, тем более консервативным будет алгоритм.

120 Что вызывает проблему исчезающего градиента? Основы глубокого обучения DL
@Сюй Хань, источник:Ууху. Call.com/question/41…

• Да, вы должны понимать фон - Андрей Карпаты
• How does the ReLu solve the vanishing gradient problem?
• При обучении нейронной сети, изменяя вес нейронов, выходное значение сети как можно ближе к метке, чтобы уменьшить значение ошибки. Алгоритм BP обычно используется для обучения. Основная идея состоит в том, чтобы вычислить значение функции потерь между выходом и меткой, а затем вычислить. Он повторяет веса относительно градиента каждого нейрона.
• Исчезновение градиента приведет к замедлению обновления веса и увеличению сложности обучения модели. Одна из причин исчезновения градиента заключается в том, что многие функции активации сжимают выходное значение в небольшой интервал, а градиент равен 0 в большей области определения на обоих концах функции активации, что приводит к остановке обучения.
  @张玉石: Короче говоря, производная сигмовидной функции f(x) равна f(x)*(1-f(x)), потому что выход f(x) находится в диапазоне 0-1, поэтому с глубиной увеличивается, производная, переданная сверху, каждый раз умножается на два числа, меньших 1, и вскоре становится очень маленькой.

121 Что такое исчезающий градиент и взрывной градиент? Основы глубокого обучения DL
@HAN Xiaoyang, непрерывное умножение, вызванное цепным правилом обратного распространения, если число мало и стремится к 0, результат будет очень маленьким (градиент исчезнет); если число относительно велико, результат может быть очень большим (градиент взрывается).
@Bike, источник следующего абзаца:zhuanlan.zhihu.com/p/25631496
Модели нейронных сетей с большим количеством слоев также имеют некоторые проблемы во время обучения, в том числе проблему исчезновения градиента и проблему взрыва градиента. Проблема исчезающего градиента и проблема взрывающегося градиента обычно становятся все более и более очевидными по мере увеличения количества слоев сети.

Например, для нейронной сети с 3 скрытыми слоями, показанной на рисунке ниже, когда возникает проблема исчезновения градиента, обновление веса скрытого слоя 3 и т. д. рядом с выходным слоем является относительно нормальным, но предыдущее обновление веса скрытого слоя слой 1 становится очень медленным, в результате чего веса предыдущих слоев почти не изменяются и все еще близки к инициализированным весам, что приводит к тому, что скрытый слой 1 эквивалентен просто слою отображения, который выполняет одинаковое отображение для всех входных данных. , который является этим глубоким слоем.Обучение сети эквивалентно обучению мелкой сети только с несколькими последними слоями.

И почему возникает эта проблема? В качестве примера возьмем обратное распространение на следующем рисунке (при условии, что в каждом слое есть только один нейрон и для каждого слоя,вэто сигмовидная функция)

можно вывести

И производная сигмоидыКак показано ниже

видимый,Максимальное значение, и наши инициализированные веса сетиобычно меньше 1, поэтому, поэтому для приведенного выше вывода цепочки чем больше слоев, тем больше результат выводаЧем меньше значение, тем исчезновение градиента происходит.

Таким образом, причина проблемы градиентного взрыва очевидна, т. е., это,относительно крупный кейс. Но для использования сигмовидной функции активации это не так. так какРазмер тоже такой жеСвязанный(), если только входное значение слояв относительно небольшом диапазоне.

На самом деле проблемы взрыва градиента и исчезновения градиента вызваны тем, что сеть слишком глубокая, а обновление веса сети нестабильно, что в основном связано с мультипликативным эффектом при обратном распространении градиента. Для более общей проблемы исчезающего градиента рассмотрите возможность замены сигмовидной функции активации на функцию активации ReLU. Кроме того, структурный дизайн LSTM также может улучшить проблему исчезновения градиента в RNN.

122 Как решить проблему исчезновения градиента и расширения градиента? Основы глубокого обучения DL
(1) Градиент исчезает:
Согласно цепному правилу, если частная производная выхода каждого слоя нейронов, умноженная на вес выхода предыдущего слоя, меньше 1, то даже если результат равен 0,99, после достаточно многослойного распространения смещение ошибки к входному слою будет стремиться к 0
Функцию активации ReLU можно использовать для эффективного решения проблемы исчезновения градиента, а также пакетную нормализацию для решения этой проблемы. Почему пакетная нормализация хорошо работает в глубоком обучении? Смотрите также:Ууху. Call.com/question/38…
(2) Градиентное расширение
Согласно цепному правилу, если частная производная каждого слоя нейронов к выходу предыдущего слоя, умноженная на вес, больше 1, после достаточно многослойного распространения частная производная ошибки к входному слою будет стремиться до бесконечности.
Это можно решить с помощью функций активации или с помощью пакетной нормализации.

123 Вывод обратного распространения ****Обратное распространение. Основы глубокого обучения DL Сложно
@I Love Big Bubbles, источник:blog.CSDN.net/Я люблю пушки из-за страха…

Во-первых, чтобы понять основной принцип обратного распространения, который является цепным правилом вывода.

Отражается в нейросети:

Ниже приводится вывод формулы из функции потерь.
Обратное распространение — это метод, используемый при решении функции потерь L для получения параметра w. Цель состоит в том, чтобы вывести параметры слой за слоем с помощью цепного правила. Здесь подчеркивается, что параметры должны быть инициализированы случайным образом, а не установлены все в 0, иначе значения всех скрытых слоев будут связаны со входом, что называется симметричным отказом. 
Общий процесс таков:

• Во-первых, прямая проводимость вычисляет значение активации и выходное значение всех узлов,
  
• Рассчитайте общую функцию потерь:
  
• Затем вычислите невязку для каждого узла L-го слоя (здесь, потому что UFLDL относится к невязке, которая по сути является производной общей функции потерь по значению активации Z каждого слоя), поэтому, чтобы получить производную от W, просто умножить Производная верхней функции активации по W может быть
   
  

124 СВД и ППШ. модель машинного обучения машинного обучения

Идея PCA состоит в том, чтобы максимизировать дисперсию данных после проецирования и найти такой проекционный вектор, который удовлетворяет условию наибольшей дисперсии. После операции удаления среднего можно использовать разложение SVD для решения такого проекционного вектора и выбрать направление с наибольшим собственным значением.
Суть PCA заключается в оценке правдоподобия распределения с матрицей в качестве параметра, а SVD является эффективным средством матричной аппроксимации.
Видеть:Ууху. Call.com/question/40…

125 Проблема дисбаланса данных. Основы машинного обучения ML Easy

В основном это связано с несбалансированным распределением данных. Обходной путь выглядит следующим образом:

• Выборка, выборка шума для небольших выборок, субдискретизация для больших выборок
• Генерация данных с использованием известных образцов для создания новых образцов
• Сделайте специальное взвешивание, как в Adaboost или SVM
• Используйте алгоритмы, нечувствительные к несбалансированным наборам данных
• Изменение критериев оценки: использование AUC/ROC для оценки
• Использование таких методов, как бэгинг/бустинг/ансамбль
• Учитывайте предварительное распределение данных при разработке модели.

126 Кратко опишите историю развития нейронных сетей. Основы глубокого обучения DL
В 1949 году Хебб предложил нейропсихологическую парадигму обучения - теорию обучения Хебба.
В 1952 году Артур Сэмюэл из IBM написал шахматную программу.
В 1957 году алгоритм персептрона Розенблатта был второй моделью машинного обучения, основанной на нейронауках.
Три года спустя Видроу вошел в историю машинного обучения за изобретение правила обучения Delta, которое сразу же было применено к обучению персептрона.
Тепло Персептрона было погашено в 1969 году тазом Минского с холодной водой. Он предложил знаменитую задачу XOR, демонстрирующую бессилие персептрона для линейно неразделимых данных, подобных задаче XOR.
Хотя идея BP была предложена Линнайнмаа в 1970-х годах в «перевернутом режиме автоматического дифференцирования», она не применялась Вербосом к многослойному персептрону (MLP) до 1981 года и нового процветания NN.
Работа Hochreiter в 1991 г. и Hochreiter в 2001 г. показали, что при использовании алгоритма BP потеря градиента происходит после насыщения единицы NN. Снова остановился.
Время наконец подошло к настоящему моменту, так как растут вычислительные ресурсы и растет объем данных. Появилась новая область НС — глубокое обучение.
Если кратко, модель МП+зн-->однослойный персептрон (только линейный)+згн- корыто Минского->многослойный персептрон+БП+сигмоид-- (корыто)->глубокое обучение+предобучение+ReLU/сигмоид

127 Распространенные методы глубокого обучения. Основы глубокого обучения DL
@SmallisBig, источник:blog.CSDN.net/U010496169/…
Полносвязная DNN (соседние слои соединены друг с другом, внутри слоя нет соединений):
AutoEncoder (максимально восстановить ввод), Sparse Coding (добавить спецификацию L1 в AE), RBM (решить проблемы вероятности) -> детектор признаков -> жадное обучение суперпозиции стека
РБМ ---> ДБН
Решите проблему полного подключения полностью подключенного DNN ---> CNN
Решить проблему неспособности полносвязной DNN моделировать изменения во временном ряду --> RNN -- решить проблему исчезновения градиента на временной оси --> LSTM
@ZHANG Yushi: DNN, CNN и RNN в основном используются в области приложений.
DNN — это традиционная полносвязная сеть, которую можно использовать для оценки кликабельности рекламы, рекомендаций и т. д. Он использует метод встраивания для кодирования многих дискретных функций в нейронную сеть, что может значительно улучшить результаты.
CNN в основном используется в области компьютерного зрения, Появление CNN в основном решает проблему, заключающуюся в том, что DNN имеет слишком много параметров в поле изображения. В то же время ряд разработок, таких как уникальная свертка CNN, объединение, нормализация пакетов, Inception, ResNet и DeepNet, также значительно продвинулись во многих областях, таких как классификация, обнаружение объектов, распознавание лиц и сегментация изображений. В то же время CNN не только применяется к изображениям, но и добился прогресса в обработке естественного языка.Теперь существуют языковые модели, основанные на CNN, которые могут достигать лучших результатов, чем LSTM. В последнем AlphaZero ResNet в CNN также является одним из двух основных алгоритмов.
GAN — это метод обучения, применяемый к генеративным моделям, и теперь в CV есть много приложений, таких как перевод изображений, суперочистка изображений, рисование изображений и так далее.
RNN в основном используется в области обработки естественного языка для решения проблем последовательностей. Обычные RNN страдают от взрывающихся и исчезающих градиентов. Итак, теперь в области НЛП обычно используется модель LSTM. В недавней области машинного перевода внимание также было представлено как новый метод.
В дополнение к DNN, RNN и CNN, AutoEncoder, Sparse Coding, Deep Belief Network (DBM), Restricted Boltzmann Machine (RBM) также имеют соответствующие исследования.

128 Модель нейронной сети (Neural Network) названа в честь вдохновения человеческого мозга. Основы глубокого обучения DL Easy

Нейронная сеть состоит из множества нейронов (нейронов), каждый нейрон принимает входные данные и обрабатывает входные данные для получения выходных данных, как показано на следующем рисунке. Какое из следующих утверждений о нейронах верно?

1. A Каждый нейрон может иметь один вход и один выход.
2. B Каждый нейрон может иметь несколько входов и один выход
3. C Каждый нейрон может иметь один вход и несколько выходов.
4. D Каждый нейрон может иметь несколько входов и несколько выходов.
5. E Все вышеперечисленное верно

Ответ: (Э)

Каждый нейрон может иметь один или несколько входов и один или несколько выходов.

129 На рисунке ниже представлено математическое представление нейрона. Основы глубокого обучения DL Easy

Эти компоненты представлены в виде:

- x1, x2,…, xN: представляет вход нейрона. Это может быть фактическое значение наблюдения входного слоя или промежуточное значение скрытого слоя (Hidden Layer).

- w1, w2,…,wN: представляет вес каждого входа

- bi: Указывает единицу смещения/единицу смещения. На вход функции активации добавлен постоянный член, аналог Intercept

- а: В качестве функции активации нейрона это может быть выражено как

- y: выход нейрона

Принимая во внимание приведенные выше обозначения, можно ли линейное уравнение (y = mx + c) считать принадлежащим нейрону:

А. да

Б. нет

Ответ: (А)

Введите только одну переменную, функция активации линейна. Поэтому ее можно рассматривать как функцию линейной регрессии.

130 В нейронной сети самым важным шагом является знание весов и смещений каждого нейрона. Если вы знаете точные веса и смещения нейронов, вы можете аппроксимировать любую функцию, но как узнать веса и смещения каждого нейрона? Основы глубокого обучения DL Easy
A ищет все возможные комбинации весов и смещений, пока не получит наилучшее значение.
B дает начальное значение, затем проверяет отличие от наилучшего значения и итеративно корректирует вес.
C случайное назначение, отставка
D Ничего из вышеперечисленного не верно
Ответ: (б)
Вариант B — это описание градиентного спуска.

131 Каковы правильные шаги в алгоритме градиентного спуска? Основы глубокого обучения DL Easy

1. Вычислить ошибку между прогнозируемым значением и истинным значением
2. Повторяйте итерацию до тех пор, пока не будет получено оптимальное значение веса сети.
3. Передайте вход в сеть и получите выходное значение
4. Инициализируйте веса и смещения со случайными значениями
5. Для каждого нейрона, выдающего ошибку, отрегулируйте соответствующее значение (вес), чтобы уменьшить ошибку.

А. 1, 2, 3, 4, 5

Б. 5, 4, 3, 2, 1

С. 3, 2, 1, 5, 4

Д. 4, 3, 1, 5, 2

Ответ: (Д)

132 Известно:
- Мозг состоит из множества элементов, называемых нейронами, а нейронная сеть — это простое математическое выражение мозга.
- Каждый нейрон имеет вход, функцию обработки и выход.
- Нейроны объединяются в сеть, которая может выполнять любую функцию.
- Чтобы получить лучшую нейронную сеть, мы используем метод градиентного спуска для постоянного обновления модели.
Учитывая приведенное выше описание нейронных сетей, при каких обстоятельствах модель нейронной сети называется моделью глубокого обучения? Основы глубокого обучения DL Easy

A добавляет больше слоев, чтобы увеличить глубину нейронной сети.
B имеет данные более высокого измерения
C Когда это проблема распознавания образов
D ничего из вышеперечисленного не верно
Ответ: (А)
Больше слоев означает более глубокую сеть. Модель без строгого определения количества слоев называется глубокой моделью.В настоящее время, если скрытых слоев более 2, ее также можно назвать глубокой моделью.

133 При использовании CNN нужно ли предварительно обрабатывать входные данные, такие как вращение, перемещение, масштабирование и т. д.? Основы глубокого обучения DL Easy
потребности
Б не нужен
Ответ: (А)
Прежде чем данные будут переданы в нейронную сеть, необходимо выполнить ряд предварительных операций с данными (т. е. вращение, перемещение, масштабирование), и сама нейронная сеть не может выполнить эти преобразования.

134 Какая из следующих операций может привести к эффекту, аналогичному Dropout в нейронной сети? (B) Основы глубокого обучения DL Easy
A Boosting
B Bagging
C Stacking
D Mapping
Dropout можно рассматривать как экстремальный бэггинг, каждая модель обучается на отдельных данных, и в то же время за счет совместного использования соответствующих параметров с другими моделями параметры модели сильно регуляризируются.

135 Что из перечисленного вносит нелинейность в нейронную сеть? Основы глубокого обучения DL Easy

1. Стохастический градиентный спуск
2. B Скорректированная линейная единица (ReLU)
3. C сверточная функция
4. D ничего из вышеперечисленного не верно

Ответ: (В)

Модифицированные линейные единицы представляют собой нелинейные функции активации.

136 При обучении нейронной сети функция потерь (потери) не падает в первые несколько эпох, в чем возможная причина? (D) Основы глубокого обучения DL Easy
A Скорость обучения слишком низкая
Обычный параметр B слишком высок
C застревает в локальном минимуме

D и выше возможны

137 Какое из следующих утверждений о емкости модели верно? (Относится к способности моделей нейронных сетей соответствовать сложным функциям) Основы глубокого обучения DL Easy

1. A Количество скрытых слоев увеличивается, а объем модели увеличивается.
2. Доля B Dropout увеличивается, а емкость модели увеличивается
3. C Скорость обучения увеличивается, а емкость модели увеличивается
4. Д не правильно

Ответ: (А)

138 Если количество скрытых слоев в многослойном персептроне увеличивается, ошибка классификации уменьшается. Это утверждение верно или ложно? Основы глубокого обучения DL Easy

1. правильный
2. ошибка Б

Ответ: (В)

не всегда правильно. Увеличение количества слоев может привести к переоснащению, что может привести к увеличению ошибки.

139. Создайте нейронную сеть, которая принимает выходные данные предыдущего слоя и саму себя в качестве входных данных. Модель глубокого обучения DL Easy

Какая из следующих архитектур имеет связи с обратной связью?

1. Рекуррентная нейронная сеть
2. B Сверточная нейронная сеть
3. C Ограниченная машина Больцмана
4. D не является ни

Ответ: (А)

140 Каков порядок задач в Персептроне? Основы глубокого обучения DL Easy
1 Произвольно инициализируйте веса персептрона
2 Перейти к следующему пакету набора данных
3 Если прогнозируемое значение и выходные данные не совпадают, отрегулируйте веса
4 Для входной выборки рассчитайте выходное значение
A. 1, 2, 3, 4
B. 4, 3, 2, 1
C. 3, 1, 2, 4
D. 1, 4, 3, 2
Ответ: (Д)

141 Предположим, вам нужно настроить параметры для минимизации функции стоимости. Какой из следующих методов вы бы использовали? Основы глубокого обучения DL Easy

А. исчерпывающий поиск

Б. случайный поиск

С. Байесовская оптимизация

Д. градиентный спуск

Ответ: (Д)

142 В какой из следующих ситуаций первый градиентный спуск не обязательно работает правильно (может застрять)? Основы глубокого обучения DL Easy

​

D. Ничего из вышеперечисленного неверно

Ответ: (В)

Это классический пример градиентного спуска с седловыми точками. Кроме того, этот вопрос исходит из:Woohoo.аналитика vi.com/blog/2017/0…

143 На приведенном ниже графике показана точность обученной трехслойной сверточной нейронной сети в зависимости от количества параметров (количества ядер признаков). Основы глубокого обучения DL Easy

Как видно из тренда на рисунке, если увеличить ширину нейронной сети, точность возрастет до определенного порога, а затем начнет снижаться. Каковы возможные причины этого явления?

1. A Даже если количество ядер свертки будет увеличено, для предсказания будет использоваться лишь небольшое количество ядер.
2. B Когда количество ядер свертки увеличивается, предсказательная способность (мощность) нейронной сети будет уменьшаться.
3. C Увеличение числа ядер свертки приводит к переоснащению
4. D ничего из вышеперечисленного не верно

Ответ: (С)

Когда размер сети слишком велик, она может обнаружить шум в данных, что приведет к переоснащению.

144 Предположим, у нас есть скрытый слой, как показано ниже. Скрытый слой играет определенную роль в уменьшении широты в этой сети. Теперь предположим, что мы заменили этот скрытый слой другим методом уменьшения размерности, таким как анализ основных компонентов (PCA). Основы глубокого обучения DL Easy

Итак, два выходных эффекта одинаковы?

А. Да

Б. Нет

Ответ: (В)

PCA извлекает направление с большой дисперсией распределения данных, а скрытый слой может извлекать признаки с возможностью прогнозирования.

145 Какая из следующих функций не может быть функцией активации? Основы глубокого обучения DL Easy

A. y = tanh(x)
B. y = sin(x)
C. y = max(x,0)
D. y = 2x

Ответ: (Д)

Линейные функции нельзя использовать в качестве функций активации.

146 Какие из следующих структур нейронной сети будут иметь общие веса? Модель глубокого обучения DL Easy

А. Сверточные нейронные сети

B. Рекуррентная нейронная сеть

C. Полностью подключенная нейронная сеть

Г. Варианты А и Б

Ответ: (Д)

147 Каковы преимущества пакетной нормализации? Основы глубокого обучения DL
A. Нормализуйте (измените) все входные данные перед передачей их на следующий уровень.
B. Он принимает нормализованное среднее значение и стандартное отклонение весов.
C. Это очень эффективный метод обратного распространения ошибки (BP).
Д. Ничего из этого
Ответ: (А)

148 Какой из следующих методов в нейронной сети можно использовать для борьбы с переоснащением? (D) Основы глубокого обучения DL Easy
A Dropout
B Пакетная нормализация
C регуляризация
Д может
Для варианта C принцип пакетной нормализации для борьбы с переоснащением заключается в том, что нормализованные значения одних и тех же данных в разных пакетах будут разными, что эквивалентно выполнению аугментации данных.

149 Что произойдет, если мы используем чрезмерную скорость обучения? Основы глубокого обучения DL Easy
Нейронная сеть будет сходиться
Б трудно сказать
С неправильно
D Нейронная сеть не сходится

Сеть, показанная на рисунке ниже, используется для обучения распознаванию символов H и T следующим образом (Deep Learning DL Basics Easy):
Что является выходом сети?

D. Может быть A или B, в зависимости от настроек веса нейронной сети
Ответ: (Д)
Не зная, каковы веса и смещения нейронной сети, невозможно сказать, какой результат она даст.

150 Предположим, мы обучили сверточную нейронную сеть на наборе данных ImageNet (распознавание объектов). Затем передайте этой сверточной нейронной сети полностью белое изображение. Выходом для этого ввода с одинаковой вероятностью может быть любой объект, верно? модель глубокого обучения DL
право
Б не знаю
С зависит от ситуации
Д неправильно
Ответ: D, обученная сверточная нейронная сеть, каждый нейрон был тщательно обработан, для ввода полностью белого изображения значение выхода активации j-го слоя для конечного полносвязного слоя практически невозможно сравнять, а затем после преобразования softmax он не будет равен, поэтому «выходной результат - это одинаковая возможность любого рода», то есть каждый элемент softmax равен, и эта вероятность крайне мала.

151 Когда к сверточной нейронной сети добавляется объединяющий слой, инвариантность к преобразованиям сохраняется, верно? модель глубокого обучения DL
не знаю
Б зависит от ситуации
С
Д нет
Ответ: (С)
Алгоритмы объединения, такие как получение максимального значения/среднего значения и т. д., все приводят к одному и тому же результату после ротации входных данных, поэтому эта инвариантность сохраняется и после многоуровневого наложения.

152 Какой метод градиентного спуска более эффективен, когда данные слишком велики для одновременной обработки в оперативной памяти? (A) Основы глубокого обучения DL Easy
Стохастический градиентный спуск
Б не знаю
C Полный пакетный градиентный спуск
D не является ни
Метод градиентного спуска делится на стохастический градиентный спуск (по одной выборке за раз), метод мини-пакетного градиентного спуска (каждый раз для вычисления общих потерь используется небольшая партия выборок, поэтому градиент обратного распространения скомпрометирован) и метод полного пакетного градиентного спуска используется одновременно для всех образцов. Для этих трех методов для поверхности функции потерь всех выборок точки градиента являются более точными.Однако в инженерных приложениях это ограничивается пропускной способностью памяти/дискового ввода-вывода.Чтобы минимизировать фактическое время работы градиентного спуска, необходимо Достигается наилучший баланс между точностью направления градиента и производительностью передачи данных.Поэтому, когда данные слишком велики для одновременной обработки в ОЗУ, ОЗУ может удерживать только один отсчет на время, то можно выбрать только метод стохастического градиентного спуска.

153 На рисунке ниже показан график градиентного спуска для обучения нейронной сети с четырьмя скрытыми слоями с использованием сигмовидной функции в качестве функции активации. Эта нейронная сеть сталкивается с проблемой исчезающих градиентов. Какое из следующих утверждений верно? (A) Основы глубокого обучения DL
Первый скрытый слой соответствует D, второй скрытый слой соответствует C, третий скрытый слой соответствует B, а четвертый скрытый слой соответствует A.
Первый скрытый слой соответствует A, второй скрытый слой соответствует C, третий скрытый слой соответствует B, а четвертый скрытый слой соответствует D.
Первый скрытый слой соответствует A, второй скрытый слой соответствует B, третий скрытый слой соответствует C, а четвертый скрытый слой соответствует D.
Первый скрытый слой соответствует B, второй скрытый слой соответствует D, третий скрытый слой соответствует C, а четвертый скрытый слой соответствует A.

Так как алгоритм обратного распространения входит в начальный слой, способность к обучению снижается, что означает исчезновение градиента. Другими словами, исчезновение градиента заключается в том, что при прямом распространении градиент постепенно уменьшается до 0. Согласно названию рисунка, четыре кривые являются кривыми обучения четырех скрытых слоев, затем градиент первого слоя является самым высоким (кривая функции потерь значительно падает), а последний слой Градиент почти равен нулю (кривая функции потерь становится плоской линией), Таким образом, D - это первый слой, а A - последний слой.

154 Для задачи классификации, если веса нейронной сети не назначены случайным образом в начале и оба установлены на 0, какое из следующих утверждений верно? (C) Основы глубокого обучения DL Easy
А Все остальные варианты неверны
B в порядке, нейронная сеть начнет обучение в обычном режиме
Нейронные сети C можно обучать, но все нейроны в конечном итоге распознают одно и то же
D Нейронная сеть не начнет обучение, потому что нет изменения градиента
Идея инициализации всех весов равными 0, которая звучит разумно, может быть лучшей из наших гипотез, но оказывается неверной, потому что если выходные значения, вычисляемые нейронной сетью, все одинаковы, то верно и обратное: значение градиента, рассчитанное алгоритмом распространения, такое же, и значение обновления параметра такое же (w=w−α∗dw). В более общем случае, если веса инициализированы одним и тем же значением, сеть является симметричной, и в конечном итоге все нейроны распознают одно и то же.

155 На приведенном ниже графике показано, что в начале обучения ошибка постоянно высока, потому что нейронная сеть застревает в локальном минимуме, прежде чем двигаться к глобальному минимуму. Чтобы избежать этой ситуации, какую из следующих стратегий мы можем использовать? Основы глубокого обучения DL Easy
A Измените скорость обучения, например, постоянно меняйте скорость обучения в течение первых нескольких циклов обучения.
B начинает с уменьшения скорости обучения в 10 раз, затем использует термин импульса
C Увеличить количество параметров, чтобы нейронная сеть не застревала на локальных оптимумах.
Д больше ничего
Ответ: (А)
Вариант A может извлекать нейронные сети, которые попали в локальные минимумы.

156 Для задачи распознавания изображений (поиск кота на фотографии) какая из следующих нейронных сетей лучше решает задачу? (D) Основы глубокого обучения DL Easy
Рекуррентная нейронная сеть
B Персептрон
C Многослойный персептрон
D Сверточные нейронные сети
Сверточные нейронные сети лучше подходят для задач, связанных с изображениями, из-за присущей им природы позиционных изменений вблизи изображения.

157 Предположим, мы вдруг столкнулись с проблемой во время обучения, после нескольких циклов ошибка мгновенно уменьшается
Вы думаете, что с данными что-то не так, поэтому вы наносите данные на график и обнаруживаете, что, возможно, данные слишком искажены, чтобы вызвать проблему. 
Что вы собираетесь делать, чтобы справиться с этой проблемой? Основы глубокого обучения DL Easy
нормализовать данные
B Возьмем логарифмическое изменение данных
С неправильно
D Выполните анализ основных компонентов (PCA) и нормализацию данных
Ответ: (Д)
Сначала вы удаляете соответствующие данные, а затем обнуляете их. В частности, ошибка уменьшается мгновенно.Общая причина заключается в том, что несколько выборок данных имеют сильную корреляцию и внезапно попадают в подборку, или выборки данных с большой дисперсией внезапно попадают в подборку.Поэтому анализ основных компонентов (PCA) и нормализация могут улучшить это проблема.

158 Какая граница решения ниже была сгенерирована нейронной сетью? (E) Основы глубокого обучения DL Easy
A A
B D
C C
D B 
Е и выше
Нейронные сети могут приблизительно соответствовать любой функции, поэтому приведенные выше диаграммы могут быть обучены нейронными сетями посредством обучения с учителем для получения границ решений.

159 На приведенном ниже графике мы можем наблюдать множество небольших «флуктуаций» ошибки. Стоит ли нам беспокоиться об этой ситуации? Основы глубокого обучения DL Easy
Требуется A, что может означать проблему со скоростью обучения нейронной сети.
B не нужно, пока есть кумулятивный дроп на обучающем наборе и наборе перекрестной проверки
не знаю
д трудно сказать
Ответ: (В)
Вариант Б правильный, чтобы уменьшить эти "волнистости", можно попробовать увеличить размер партии. В частности, когда общая тенденция кривой снижается, чтобы уменьшить эти «волнистости», вы можете попытаться увеличить размер партии, чтобы сузить диапазон колебаний интегрированного направления градиента BATCH. Вы можете попробовать уменьшить скорость обучения, чтобы еще больше сходится.«От волнистости» ее следует прекращать заранее, чтобы избежать подгонки.

160 Какие из следующих параметров необходимо учитывать при выборе глубины нейронной сети? Основы глубокого обучения DL Easy
1 Типы нейронных сетей (такие как MLP, CNN)
2 Введите данные
3 Вычислительная мощность (определяется аппаратными и программными возможностями)
4 Скорость обучения
5 Функция вывода карты

A 1,2,4,5
B 2,3,4,5
C необходимо учитывать
D 1,3,4,5
Ответ: (С)
Все вышеперечисленные факторы важны для выбора глубины нейросетевой модели. Чем больше слоев требуется для извлечения признаков, тем выше размерность входных данных, тем сложнее нелинейность выходной функции отображения и тем глубже необходимая глубина.Кроме того, для достижения наилучшего эффекта увеличение количества параметров, вызванных увеличением глубины, также требует учитывать вычислительную мощность оборудования и скорость обучения, чтобы спроектировать разумное время обучения.

161 При рассмотрении конкретной проблемы у вас может быть только небольшой объем данных для ее решения. Но, к счастью, у вас есть предварительно обученная нейронная сеть для решения аналогичной задачи. Какой из следующих методов можно использовать для использования этой предварительно обученной сети? (C) Основы глубокого обучения DL Easy
A замораживает все слои, кроме последнего, и переобучает последний слой.
B переобучить всю модель на новых данных
C Только обычный женьшень для последних слоев
D Оцените каждый слой модели и выберите несколько из них для использования.
Если есть предварительно обученная нейронная сеть, это эквивалентно очень надежному априорному для каждого параметра сети вместо случайной инициализации.Если новый небольшой объем данных поступает из предыдущих обучающих данных (или объем предыдущего обучения данные описывают хорошо распределенные данные, а новые данные отбираются из точно такого же распределения), то все предыдущие слои можно заморозить, а последний слой переобучить; но в целом новое распределение данных отличается от предыдущего обучающего набора распределения, поэтому предыдущей сети недостаточно. Когда новые данные полностью подобраны, большинство предыдущих слоев сети можно заморозить, и только несколько последних слоев можно обучить и настроить (это также называется точной настройкой).

162 Необходимо ли увеличение размера ядра свертки для улучшения эффекта сверточных нейронных сетей? (C) Основы глубокого обучения DL Easy
Никогда не слышал о
Б это
С нет
не знаю
Ответ: C, увеличение размера функции ядра не обязательно повышает производительность. Этот вопрос во многом зависит от набора данных.

163 Пожалуйста, кратко опишите историю развития нейронных сетей. Основы глубокого обучения DL Easy

@SIY.Z. Источник этого анализа:zhuanlan.zhihu.com/p/29435406
Сигмовидная будет насыщена, в результате чего градиент исчезнет. Итак, есть РеЛУ.
Отрицательная полуось ReLU является мертвой зоной, в результате чего градиент становится равным 0. Итак, есть LeakyReLU, PReLU.
Акцент на стабильность градиента и распределения веса, что приводит к ELU и более новой SELU.
Слишком глубоко, уклон не пройти, поэтому есть шоссе.
Просто даже не нужны параметры хайвея, а прямо остаточное менять, так есть ResNet.
Принудительно стабилизируйте среднее значение и дисперсию параметров, поэтому есть BatchNorm.
Добавьте шум к потоку градиента, и вы получите Dropout.
Градиент RNN нестабилен, поэтому добавляется несколько путей и ворот, поэтому есть LSTM.
LSTM упрощенный, с ГРУ.
Существует проблема с JS-расхождением GAN, из-за которого градиент исчезнет или станет недействительным, поэтому есть WGAN.
У WGAN проблема с клипом градиента, поэтому есть WGAN-GP.

Расскажите о настройке производительности искры. Большие данные в Hadoop/spark
Specialties.Meituan.com/spark-Изображает вас…
https://tech.meituan.com/spark-tuning-pro.html

164 Каковы общие алгоритмы классификации? Основы машинного обучения ML Easy
SVM, нейронная сеть, случайный лес, логистическая регрессия, KNN, байесовский

165 Каковы общие алгоритмы обучения с учителем? Основы машинного обучения ML Easy
Персептрон, SVM, искусственная нейронная сеть, дерево решений, логистическая регрессия

166 Если исходить из того, что другие условия остаются неизменными, какие из следующих практик могут привести к переоснащению в машинном обучении () Основы машинного обучения машинного обучения Легко
A. Увеличьте размер тренировочного набора
Б. Уменьшить количество узлов в скрытом слое нейронной сети
C. Удалить разреженные функции
D. Используйте гауссово ядро/ядро RBF вместо линейного ядра в алгоритме SVM.
Правильный ответ: Д
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
В общем, чем сложнее система, тем выше вероятность переобучения, и способность к обобщению будет выше, если общая модель относительно проста.
B. Обычно считается, что увеличение количества скрытых слоев может уменьшить ошибку сети (в некоторых источниках считается, что она не может быть эффективно уменьшена) и повысить точность, но это также усложняет сеть, тем самым увеличивая время обучения сети. и тенденция к «переоснащению», функция ядра svm Gaussian более сложна, чем модель линейной функции ядра, и склонна к переоснащению.
D. Объяснение функции ядра радиального базиса (RBF)/функции ядра Гаусса, эта функция ядра может отображать исходное пространство в бесконечномерное пространство. Для параметра, если параметр выбран очень большим, вес признака высокого порядка действительно очень быстро убывает, что фактически эквивалентно низкоразмерному подпространству (приблизительно численно); и наоборот, если параметр выбран очень маленьким, Это может быть Отображение произвольных данных для линейной разделимости — конечно, это не обязательно хорошо, потому что за этим может последовать очень серьезная проблема переобучения. Однако в целом ядро ​​Гаусса на самом деле довольно гибкое и является одной из наиболее широко используемых функций ядра за счет настройки параметров.

167 Какая из следующих моделей временных рядов лучше подходит для анализа волатильности и прогнозирования. Модели машинного обучения ML Easy
А. Модель дополненной реальности
Модель Б.МА
C. Модель АРМА
Модель Д.ГАРЧ
Правильный ответ: Д
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Модель AR представляет собой линейное предсказание, то есть по данным N данных данные до или после N-й точки можно вывести из модели (задать точку P), поэтому ее суть аналогична интерполяции.
Модель MA (модель скользящего среднего) — это модель скользящего среднего, в которой метод скользящего среднего тренда используется для построения модели прогнозирования линейного тренда.
Модель ARMA (модель авторегрессионного скользящего среднего) — это модель авторегрессионного скользящего среднего, один из методов спектрального анализа высокого разрешения метода параметров модели. Этот метод является типичным методом исследования рационального спектра стационарных случайных процессов. По сравнению с методом модели AR и методом модели MA, он имеет более точную спектральную оценку и лучшее спектральное разрешение, но его оценка параметров является более сложной.
Модель GARCH называется обобщенной моделью ARCH, которая является расширением модели ARCH и разработана Bollerslev (1986). Это обобщение модели ARCH. Модель GARCH(p,0) эквивалентна модели ARCH(p). Модель GARCH представляет собой регрессионную модель, специально предназначенную для финансовых данных.За исключением тех же точек, что и в обычной регрессионной модели, GARCH дополнительно моделирует дисперсию ошибки. Он особенно подходит для анализа и предсказания волатильности.Такой анализ может играть очень важную руководящую роль в принятии решений инвесторами, и его значение часто превышает анализ и предсказание самой стоимости.

168 Ниже ( ) приведен лучший критерий для линейных классификаторов? Модели машинного обучения ML Easy
А. Функция критерия восприятия
Б. Байесовская классификация
C. Машины опорных векторов
Д. Критерий Фишера
Правильный ответ: АКД
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Существует три основных категории линейных классификаторов: критериальная функция персептрона, SVM, критерий Фишера и байесовские классификаторы, которые не являются линейными классификаторами.
Критериальная функция восприятия: Критериальная функция основана на принципе минимизации суммы расстояний от ошибочно классифицированных образцов до границы раздела. Преимущество заключается в том, что функция классификатора корректируется информацией, предоставленной ошибочно классифицированными образцами, что является основой многослойного персептрона искусственной нейронной сети.
Машина опорных векторов: основная идея заключается в том, что при условии линейной разделимости двух классов интерфейс классификатора предназначен для максимального увеличения интервала между двумя классами, и его основная отправная точка состоит в том, чтобы сделать ожидаемый риск обобщения как можно меньшим. . (Используйте функцию ядра для решения нелинейных задач)
Критерий Фишера: Более широко известный как линейный дискриминантный анализ (LDA), все выборки проецируются на прямую линию, начинающуюся из дальней точки, так что расстояние между выборками одного типа как можно меньше, а расстояние между выборками разных типов как можно больше. Прибыль торговца».
В соответствии с характеристиками двух классов образцов, как правило, плотных внутри класса и разделенных между классами, найдите наилучшее направление вектора нормали линейного классификатора, чтобы проекция двух классов образцов в этом направлении была максимально плотной. внутри класса и как можно более разделены между классами. Эта метрика реализуется внутриклассовой дискретной матрицей Sw и межклассовой дискретной матрицей Sb.

169 В чем преимущество алгоритма H-K, основанного на квадратичной целевой функции, по сравнению с алгоритмом персептрона ()? Основы глубокого обучения DL Easy
A. Небольшой объем вычислений
B. Может определить, является ли задача линейно разделимой
C. Его решение полностью применимо к нелинейному сепарабельному случаю
D. Адаптивность его решения лучше
Правильный ответ: БД
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Идея алгоритма HK очень проста, то есть весовой вектор получается по критерию минимума среднеквадратичной ошибки.
Его преимущество перед алгоритмом персептрона в том, что он подходит как для линейно-сепарабельного, так и для нелинейно-сепарабельного случаев, для линейно-сепарабельного случая задан оптимальный весовой вектор, а для нелинейно-сепарабельного случая его можно выделить для выхода из итерационного процесса .

170 Какое из следующих утверждений верно () в моделях машинного обучения ML
A. SVM устойчив к шуму (например, выборкам шума из других дистрибутивов).
B. В алгоритме AdaBoost коэффициент обновления веса всех неправильно классифицированных образцов одинаков.
C. Повышение и бэггинг — это оба метода объединения нескольких классификаторов для голосования, а второй — определение веса одного классификатора в соответствии с показателем точности.
D. Учитывая n точек данных, если половина из них используется для обучения и обычно используется для тестирования, разница между ошибкой обучения и ошибкой теста будет уменьшаться по мере увеличения n.
Правильный ответ: БД
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
A. SVM устойчив к шуму (например, выборкам шума из других дистрибутивов).
Сам SVM обладает определенной устойчивостью к шуму, но эксперименты показали, что, когда уровень шума ниже определенного уровня, шум мало влияет на SVM, но по мере того, как уровень шума продолжает увеличиваться, скорость распознавания классификатора будет снижаться. снижаться.
B. Коэффициент обновления веса всех неправильно классифицированных образцов в алгоритме AdaBoost одинаков.
Различные обучающие наборы в алгоритме AdaBoost достигаются путем корректировки весов, соответствующих каждому образцу. В начале вес, соответствующий каждой выборке, одинаков, то есть где n — количество выборок, и слабый классификатор обучается под этим распределением выборки. Для неправильно классифицированных выборок увеличьте их соответствующие веса, для правильно классифицированных выборок уменьшите их веса, чтобы неправильно классифицированные выборки были выделены и было получено новое распределение выборок. При новом распределении выборки выборки снова обучаются для получения слабого классификатора. И так далее, все слабые классификаторы перекрываются и добавляются, чтобы получить сильный классификатор.
C, Boost и Bagging — это методы объединения нескольких классификаторов для голосования, и оба они определяют свои веса в соответствии с точностью одного классификатора.
Разница между бэггингом и бустингом:
Выборка бывает разной.
Бэгинг использует равномерную выборку, а бустинг выборки в соответствии с частотой ошибок.
Каждая прогностическая функция Бэггинга не имеет веса, а бустинг имеет вес.
Функции предсказания Бэггинга могут генерироваться параллельно, в то время как функции предсказания бустинга могут генерироваться только последовательно.
@AntZ
A. SVM решает проблему минимального структурного риска и слабой обработки эмпирических рисков, поэтому он чувствителен к шуму данных.
B. В алгоритме AdaBoost каждая итерация обучает учащегося и получает вес альфа учащегося в соответствии с его скоростью ошибочной классификации.Вес учащегося вычисляет два коэффициента обновления для исправления веса всех выборок: альфа), отрицательный образец равен exp(alpha), поэтому все неправильно классифицированные образцы имеют одинаковый коэффициент обновления веса.
C. Нет разницы в весе между учащимися мешков, и результаты голосования просто берутся; adaboost бустинга определяет вес в соответствии с коэффициентом ошибочной классификации, а gbdt бустинга — это фиксированный малый вес (также называемый коэффициентом обучения), который заменяется самой приближенной функцией псевдоневязки Весов.
D: Согласно центральному предельному закону, по мере увеличения n разница между ошибкой обучения и ошибкой теста должна уменьшаться — это источник обучения работе с большими данными.

Размер входного изображения 200 × 200, и оно проходит через один слой свертки (размер ядра 5 × 5, отступ 1, шаг 2), объединение (размер ядра 3 × 3, отступ 0, шаг 1) и еще один слой. слой свертки (размер ядра 3 × 3, отступ 0, шаг 1).После размера 3 × 3, отступ 1, шаг 1) размер выходной карты объектов:

A. 95

B. 96

C. 97

D. 98

E. 99

F. 100

171 Основы глубокого обучения DL Простой правильный ответ: C
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Прежде всего, мы должны знать формулу расчета размера после свертки или объединения:

indepw = ⌊ImageW + 2PAdding-Kernelsizestride⌋ + 1

outputh=⌊imageh+2padding−kernelsizestride⌋+1

Среди них padding относится к размеру ребра, которое расширяется наружу, а step — размер шага, то есть длина каждого хода.

Это намного проще.Во-первых, длина и ширина, как правило, большие, поэтому нам нужно рассчитать только одно измерение.Таким образом, размер после первой свертки:

200+2−52+1=99

Размер после первого объединения:

99+0−31+1=97

Размер после второй свертки:

97+2−31+1=97

Окончательный результат был 97.

172 В модуле базового анализа spss роль «выявления взаимосвязи между данными в виде списка строк» ​​( ) большие данные Hadoop/spark easy
А. Описание данных
Б. Связанные
C. Кросс-таблица
D. Несколько переписной
Правильный ответ: С

173 Для идентификации лица, в которое необходимо войти, используется система доступа к тюрьмам с распознаванием лиц, которая включает в себя идентификацию 4 различных типов персонала: тюремных охранников, воров, сотрудников службы доставки еды и других. Какой из следующих методов обучения лучше всего подходит для этого приложения: () Машинное обучение Основы машинного обучения Easy
А. Задача двух категорий
B. Проблемы множественной классификации
C. Проблемы иерархической кластеризации
D. Проблема кластеризации k-центральной точки
E. Проблемы регрессии
F. Вопросы структурного анализа
Правильный ответ: Б
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Двоичная классификация: каждый классификатор может классифицировать образцы только по двум категориям. Образцами в тюрьме были тюремные надзиратели, воры, доставщики еды и другие. Бинарная классификация точно не сработает. Базовая машина опорных векторов, предложенная Вапником в 1995 г., представляет собой двухклассовый классификатор. Процесс обучения этого классификатора заключается в решении задачи оптимального планирования (двойственной задачи), основанной на выводе положительной и отрицательной двухклассовой классификации. заключается в использовании дерева решений для каскадирования двухклассовых классификаторов.Понятие размерности VC относится к сложности этого вопроса.
Иерархическая кластеризация: создает иерархический уровень для декомпозиции данного набора данных. Объектами в тюрьме являются тюремные охранники, воры, разносчики еды и др. Они должны быть одного ранга, так что нет. Этот метод делится на нисходящий (декомпозиция) и восходящий (объединение) два режима работы.
Кластеризация точек K-центра: выберите фактические объекты для представления кластеров и используйте один репрезентативный объект для каждого кластера. Это правило деления вокруг центральной точки, поэтому здесь оно не подходит.
Регрессионный анализ: Статистический метод для изучения корреляции между переменными, когда нет прямой связи между тюремными охранниками, ворами, доставщиками еды и другими.
Структурный анализ: метод структурного анализа рассчитывает долю каждого компонента на основе статистической группировки, а затем анализирует внутренние структурные характеристики общего явления, характер общего и закономерность изменения общей внутренней структуры во времени. Статистические методы. Базовой формой структурного анализа является расчет структурных показателей. Здесь тоже не работает.
Проблема множественной классификации: обучите несколько разных слабых классификаторов для разных атрибутов, а затем интегрируйте их в сильный классификатор. Здесь и тюремный охранник, и вор, и разносчик еды, и он, и так далее устанавливают основу по своим характеристикам, а затем различают и идентифицируют их.

174 Что неверно в логит-регрессии и моделях машинного обучения SVM()
Целевая функция регрессии A.Logit состоит в том, чтобы минимизировать апостериорную вероятность
B. Логит-регрессию можно использовать для прогнозирования вероятности наступления события.
C. Цель SVM — минимизировать структурный риск
D. SVM может эффективно избежать переобучения модели
Правильный ответ: А
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
A. Логит-регрессия — это, по сути, метод оценки весов методом максимального правдоподобия на основе выборок, а апостериорная вероятность пропорциональна произведению априорной вероятности и функции правдоподобия. Логит просто максимизирует функцию правдоподобия, а не максимизирует апостериорную вероятность, не говоря уже о минимизации апостериорной вероятности. А минимизация апостериорной вероятности — это то, что делает наивный байесовский алгоритм. Ошибка
B. Результатом логит-регрессии является вероятность того, что образец относится к положительной категории, и эту вероятность можно рассчитать, исправить
C. Цель SVM состоит в том, чтобы найти гиперплоскость, которая максимально разделяет обучающие данные и максимизирует интервал классификации, который должен минимизировать структурный риск.
D. SVM может контролировать сложность модели с помощью коэффициента регуляризации и избегать переобучения.

175 Имеются две точки выборки, первая точка является положительной выборкой, и ее собственный вектор равен (0,-1); вторая точка является отрицательной выборкой, и ее собственный вектор равен (2,3), из этих двух. состоит из точек выборки, строит линейный классификатор SVM.Уравнение поверхности классификации: () Machine Learning ML Foundation Easy
A. 2x+y=4
B. x+2y=5
C. x+2y=3
D. 2x-y=0
Правильный ответ: С
Анализ: Этот вопрос упрощен: для двух точек максимальный интервал — это биссектриса по вертикали, поэтому биссектриса по вертикали может быть найдена. Наклон представляет собой отрицательную обратную величину наклона линии, соединяющей две точки -1/((-1-3)/(0-2)) = -1/2, вы можете получить y=-(1/2) x + c, над средней точкой ((0+2)/2, (-1+3)/2) = (1, 1), мы можем получить c=3/2, поэтому выбираем C.

176 Следующее описание степени точности, скорости отзыва и значения F1 алгоритма классификации неверно? Основы машинного обучения ML Easy
A. Уровень точности – это отношение количества найденных релевантных документов к общему количеству найденных документов, и он измеряет уровень точности поисковой системы.
B. Уровень отзыва относится к отношению количества соответствующих документов, извлеченных к количеству всех соответствующих документов в библиотеке документов, которое измеряет уровень отзыва поисковой системы.
C. Правильная скорость, скорость отзыва и значение значения составляет от 0 до 1, тем ближе значение, тем выше соотношение или значение поиска.
D. Чтобы решить конфликт между точностью и отзывом, была введена оценка F1.
Правильный ответ: С
Разобрать:
Обычно используемые индикаторы оценки для задач классификации с двумя классами — это точность и полнота. Обычно рассматриваемый класс является положительным классом, а другие классы являются отрицательными классами.Предсказание классификатора на наборе тестовых данных является правильным или неправильным.Общее количество вхождений четырех случаев записывается как:
TP - предсказать положительный класс как положительный номер класса
FN - прогнозировать положительные классы как отрицательные числа классов
FP - предсказать отрицательные классы как положительные классы
TN - предсказать отрицательные классы как числа отрицательных классов
таким образом:
Точность определяется как: P = TP / (TP + FP)
Отзыв определяется как: R = TP / (TP + FN)
Значение F1 определяется как: F1 = 2 P R / (P + R)
Коэффициент точности, коэффициент отзыва и значение F1 находятся в диапазоне от 0 до 1. Если коэффициент точности и коэффициент отзыва высоки, значение F1 также будет высоким.Нельзя сказать, что чем ближе значение к 0, тем выше значение , Должно быть, чем ближе значение к 1, тем выше значение.

177 Следующие методы модели относятся к дискриминационной модели (Discriminative Model) () Machine Learning ML Model Easy
1) Смешанная модель Гаусса
2) Модель условного случайного поля
3) Обучение дискриминации
4) Скрытая марковская модель
A.2,3
B.3,4
C.1,4
D.1,2
Правильный ответ: А
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Общие дискриминационные модели:
Логистическая регрессия
Линейный дискриминантный анализ
Опорные векторные машины
Повышение (интегрированное обучение)
Условные случайные поля
Линейная регрессия
Нейронные сети
Общие генеративные модели:
Модель смеси Гаусса и другие типы моделей смеси
Скрытая марковская модель
NaiveBayes (Наивный Байес)
AODE (средняя оценка одной зависимости)
Скрытое распределение Дирихле (тематическая модель LDA)
Ограниченная машина Больцмана
Генеративная модель умножает результат в соответствии с вероятностью, а дискриминативная модель дает входные данные и вычисляет результат.

178 В SPSS функции сортировки данных в основном сосредоточены в таких меню, как ( ). Большие данные Hadoop/spark легко
А. Данные
Б. Прямые продажи
с. Анализ
Д. преобразовать
Правильный ответ: АД
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Разбор: Сортировка данных в основном осуществляется в меню функций данных и преобразования.

179

Глубокое обучение — очень популярный алгоритм машинного обучения в настоящее время.В глубоком обучении задействовано большое количество матричных умножений.Теперь необходимо вычислить произведение ABC трех плотных матриц A, B и C, предполагая, что размеры три матрицы имеют вид m∗ n, n∗p, p∗q и m A.(AB)C

B.AC(B)

C.A(BC)

D. Так что эффективность одинакова

Основы глубокого обучения DL Простой правильный ответ: A

@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Во-первых, согласно простому матричному знанию, поскольку A*B , количество столбцов A должно быть равно количеству строк B . Следовательно, вариант Б можно исключить,
Затем посмотрите на варианты A и C. В варианте A произведение матрицы A из m∗n и матрицы B из n∗p дает матрицу A*B из m∗p, и каждый элемент A∗B требует n умножений и n-1 сложений, Если не учитывать сложение, всего требуется m∗n∗p умножений. В той же ситуации, когда A*B умножается на C, всего требуется m∗p∗q умножений. Следовательно, количество умножений, необходимых для варианта A (AB)C, равно m∗n∗p+m∗p∗q. Точно так же количество умножений, требуемых вариантом C A (BC), равно n∗p∗q+m∗n∗q. 
Так как m∗n∗p

180

Nave Bayes — это специальный байесовский классификатор, переменная признака — X, метка класса — C, и одно из его предположений: ()
A. Априорная вероятность P(C) каждой категории равна

B. Нормальное распределение с 0 в качестве среднего и sqr(2)/2 в качестве стандартного отклонения.

C. Каждое измерение характеристической переменной X является условной независимой случайной величиной категории.

D.P(X|C) — распределение Гаусса.

В моделях машинного обучения ML правильный ответ: C

@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…

Условие Наивного Байеса состоит в том, что каждая переменная независима друг от друга.

181

Что касается машины опорных векторов SVM, следующее утверждение неверно ()
Регулярный термин A.L2, функция состоит в том, чтобы максимизировать интервал классификации, чтобы классификатор имел более сильную способность к обобщению.

B. Функция потерь шарнира, роль которой заключается в минимизации эмпирической ошибки классификации.

C. Интервал классификации равен 1/||w||, а ||w|| представляет собой модуль вектора

D. Когда параметр C меньше, интервал классификации больше, ошибка классификации больше, и она имеет тенденцию к недоучению.

Модель машинного обучения ML, легкий, правильный ответ: C

@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…

А правильно. Рассмотрим причину добавления члена регуляризации: представьте идеальный набор данных, y>1 — положительный класс, y

Б правильно.

ошибка С. Интервал должен быть равен 2/||w||, а вторая половина предложения должна быть правильной.Модуль вектора обычно относится к его второй норме.

Д правильно. При рассмотрении мягких полей влияние C на задачу оптимизации заключается в ограничении диапазона a от [0, +inf] до [0, C]. Чем меньше C, тем меньше будет a. Если производная функции Лагранжа от целевой функции равна 0, можно получить w = sum ai∗yi∗xi. Чем меньше a, тем меньше w, поэтому интервал равен 2/||w| | становится больше

182 В HMM, если известна последовательность наблюдений и последовательность состояний, которая создает последовательность наблюдений, какой из следующих методов можно использовать для непосредственной оценки параметров () Machine Learning ML Model Easy
Алгоритм А.ЭМ
Б. Алгоритм Витерби
C. Прямой обратный алгоритм
D. Оценка максимального правдоподобия
Правильный ответ: Д
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Алгоритм EM: для изучения параметров модели используется только последовательность наблюдений, когда нет последовательности состояний, то есть алгоритм Баума-Уэлча.
Алгоритм Витерби: решение задач прогнозирования HMM с помощью динамического программирования, а не оценки параметров
Алгоритм «вперед-назад»: используется для расчета вероятностей.
Оценка максимального правдоподобия: то есть алгоритм обучения с учителем, когда для оценки параметров существуют как последовательность наблюдений, так и соответствующая последовательность состояний.
Обратите внимание, что оценка параметров модели для данной последовательности наблюдений и соответствующей последовательности состояний может быть оценена с использованием максимального правдоподобия. Если нет соответствующей последовательности состояний для данной последовательности наблюдений, EM используется для просмотра последовательности состояний как неизмеримых скрытых данных.

183 Если предположить, что учащийся случайно повторил два измерения обучающих данных при использовании модели классификации наивного байесовского (НБ), то правильное утверждение о НБ будет следующим (): Машинное обучение ML Модель Easy
А. Решающая роль этого повторяющегося признака в модели будет усилена
B. Точность модельного эффекта будет снижена по сравнению со случаем без повторяющихся признаков.
C. Если все функции повторяются, результирующий прогноз модели будет таким же, как и прогноз модели без повторения.
D. Когда два столбца признаков сильно коррелированы, невозможно использовать выводы, полученные при совпадении двух столбцов признаков, для анализа проблемы.
E.NB можно использовать для регрессии методом наименьших квадратов.
F. Приведенное выше утверждение неверно.
Правильный ответ: БД
Условие Наивного Байеса состоит в том, что каждая переменная независима друг от друга.Если в модель дважды ввести высококоррелированный признак, что повысит важность этого признака, его производительность снизится, поскольку данные содержат сильно коррелированные признаки. Правильным будет оценить матрицу корреляции признаков и удалить те, которые сильно коррелированы.

184 L1 и L2 норм. Основы машинного обучения ML Easy

В логистической регрессии, какой будет эффект, если нормы L1 и L2 будут добавлены одновременно ()

A. Он может выполнять выбор функций и в определенной степени предотвращать переоснащение.

B. Может решить проблему пространственной катастрофы

C. может ускорить скорость расчета

D. Можно получить более точные результаты

Правильный ответ: азбука

@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Норма L1 имеет характеристики коэффициентных решений, но следует отметить, что признаки, не выбранные L1, не означают, что они не важны, потому что может быть зарезервирован только один из двух сильно коррелированных признаков. Если вам нужно определить, какая функция важна, пройдите перекрестную проверку. Его приятное свойство заключается в том, что он создает разреженность, в результате чего многие члены в W становятся равными нулю. Помимо преимуществ разреженности, это более «объяснимо». Так что это может ускорить вычисление и смягчить проклятие размерности.Так что BC правильный.

После добавления регулярного члена к функции стоимости L1 представляет собой регрессию Лоссо, а L2 — регрессию гребня. Норма L1 представляет собой сумму абсолютных значений каждого элемента в векторе и используется для выбора признаков. Норма L2 относится к сумме квадратов каждого элемента вектора, а затем извлекается квадратный корень, который используется для предотвращения переобучения и улучшения способности модели к обобщению. Так что выбирайте А.

Подробный ответ на регуляризацию норм в машинном обучении, то есть нормы L0, L1 и L2, см. в разделе "регуляризация нормы".

185 Регуляризация. Основы машинного обучения ML Easy
В чем разница между регуляризацией L1 и регуляризацией L2 в машинном обучении?
A. Используйте L1, чтобы получить разреженные веса
B. Используйте L1, чтобы получить гладкие веса
C. Используйте L2 для получения разреженных весов
D. Используйте L2, чтобы получить гладкие веса
Правильный ответ: АД
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Регуляризация L1 смещена в сторону разреженности, она будет автоматически выполнять отбор признаков и удалять некоторые бесполезные признаки, то есть сбрасывать веса, соответствующие этим признакам, в 0.
Основная функция L2 — предотвращение переобучения.Чем меньше требуемый параметр, тем проще модель, а чем проще модель, тем более гладкой она становится, тем самым предотвращая переобучение.
Регуляризация L1/лассо
Регуляризация L1 добавляет норму l1 коэффициента w в качестве штрафного члена к функции потерь.Поскольку член регуляризации отличен от нуля, это заставляет коэффициенты, соответствующие этим слабым функциям, становиться равными 0. Следовательно, регуляризация L1 имеет тенденцию делать изученную модель очень разреженной (коэффициент w часто равен 0), что делает регуляризацию L1 хорошим методом выбора признаков.
Регуляризация L2/регрессия хребта
Регуляризация L2 добавляет норму L2 вектора коэффициентов к функции потерь. Поскольку коэффициент в штрафном члене L2 является квадратичным, из-за чего L2 и L1 имеют много различий, наиболее очевидным моментом является то, что регуляризация L2 сделает значение коэффициента средним. Для коррелированных признаков это означает, что они могут получить более близкие соответствующие коэффициенты. Или возьмем Y=X1+X2 в качестве примера, предполагая, что X1 и X2 имеют сильную корреляцию, если используется регуляризация L1, независимо от того, является ли изученная модель Y=X1+X2 или Y=2X1, штраф одинаков, оба 2альфа. Но для L2 штрафной термин составляет 2альфа для первой модели и 4*альфа для второй модели. Можно видеть, что когда сумма коэффициентов постоянна, штраф является наименьшим, когда коэффициенты равны, поэтому существует характеристика, согласно которой L2 будет заставлять коэффициенты иметь тенденцию быть одинаковыми.
Можно видеть, что регуляризация L2 является стабильной моделью для выбора признаков, в отличие от регуляризации L1, коэффициенты колеблются из-за незначительных изменений данных. Таким образом, значение, обеспечиваемое регуляризацией L2 и регуляризацией L1, отличается, и регуляризация L2 более полезна для понимания признаков: коэффициенты, соответствующие признакам с высокой способностью, отличны от нуля.
Таким образом, итог в одном предложении таков: L1 будет иметь тенденцию создавать небольшое количество функций, в то время как все остальные функции равны 0, а L2 будет выбирать больше функций, которые все будут близки к 0. Lasso очень полезен для выбора признаков, а Ridge — просто регуляризация.
Дополнительные сведения см. в разделах «Выбор функций машинного обучения» и «Регуляризация норм машинного обучения».

186 Метод потенциальных функций. Основы машинного обучения ML Easy
Роль накопленной потенциальной функции K(x) метода потенциальной функции эквивалентна () в байесовском решении
Апостериорная вероятность
B. Априорные вероятности
C. Плотность вероятности класса
D. Произведение плотности вероятности класса и априорной вероятности
Правильный ответ: АД
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
На самом деле, AD говорит то же самое. 
В частности, подробное объяснение потенциальной функции см. в разделе «Метод потенциальной функции».

187 Скрытый Марков. Модели машинного обучения ML Easy
Три основные проблемы скрытой марковской модели и соответствующий алгоритм верны ( )
A. Оценка — алгоритм прямого-обратного направления
B. Декодирование - Алгоритм Витерби
C. Обучение — алгоритм Баума-Уэлча
D. Обучение — алгоритм прямого-обратного направления
Правильный ответ: азбука
Анализ: Оцените проблему, вы можете использовать прямой алгоритм, обратный алгоритм, прямой алгоритм.

Какой тип классификатора выбрать, когда функции больше, чем объем данных? Основы машинного обучения ML Easy
Линейный классификатор, потому что при высоком измерении данные обычно разрежены в пространстве измерений и, скорее всего, будут линейно разделимыми.
Из http://blog.sina.com.cn/s/blog_178bcad000102x70r.html

188 Неконтролируемое обучение относится к следующему: Машинное обучение Основы машинного обучения Легко
A.k-means
B.SVM
C. Максимальная энтропия
D.CRF
Правильный ответ: А
Анализ:
A — кластеризация, BC — классификация, а D — сериализованная маркировка, которая также является контролируемым обучением. Что из нижеперечисленного не относится к преимуществам моделей CRF перед моделями HMM и MEMM ( ) Модели машинного обучения ML
A. Функции гибкие
Б. быстро
C. Может вместить больше контекстной информации
D. Глобальный оптимум
Правильный ответ: Б

Анализ:
Преимущества CRF: гибкие функции, возможность размещения большего количества контекстной информации и достижение глобального оптимального CRF. Недостатки: медленный.
CRF не имеет строгих предположений о независимости, как HMM, поэтому он может вмещать произвольную контекстную информацию. Гибкий дизайн функций (такой же, как ME) — по сравнению с HMM
В то же время, поскольку CRF вычисляет условную вероятность глобально оптимального выходного узла, он также преодолевает недостатки смещения метки марковской модели с максимальной энтропией (Label-bias). —— Сравнение с МЭММ
CRF должен использовать алгоритм Витерби для вычисления совместного распределения вероятностей всей помеченной последовательности с учетом последовательности наблюдений, которую необходимо пометить, вместо определения распределения состояний следующего состояния с учетом текущего состояния. —— Сравнение с МЭ

189 Как можно устранить пропущенные значения при очистке данных?
А. оценить
B. Удалить все дело
C. Удаление переменной
D. Попарное удаление
Правильный ответ: АВСD

@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Из-за ошибок опроса, кодирования и ввода в данных могут быть некоторые недопустимые и отсутствующие значения, которые необходимо обрабатывать надлежащим образом. Обычно используемые методы обработки: оценка, удаление всего наблюдения, удаление переменных и попарное удаление.

Предварительный расчет. Самый простой способ сделать это — заменить недопустимые и отсутствующие значения выборочным средним, медианой или модой переменной. Этот метод прост, но не полностью учитывает имеющуюся информацию в данных, и погрешность может быть большой. Другой способ заключается в оценке с помощью корреляционного анализа или логического вывода между переменными на основе ответов респондентов на другие вопросы. Например, владение определенным товаром может быть связано с доходом домохозяйства, а возможность владения этим товаром может быть рассчитана исходя из дохода домохозяйства респондентов опроса.
Удаление по регистру — это удаление выборок с пропущенными значениями. Поскольку во многих вопросниках могут отсутствовать значения, результат такой практики может привести к значительному сокращению эффективного размера выборки, а собранные данные не могут быть использованы в полной мере. Поэтому он подходит только для случаев, когда ключевые переменные отсутствуют или доля выборок с недействительными или отсутствующими значениями невелика.
Удаление переменной. Если переменная имеет много недопустимых и отсутствующих значений, и переменная не особенно важна для изучаемой проблемы, рассмотрите возможность удаления переменной. Эта практика уменьшает количество переменных, доступных для анализа, но не меняет размер выборки.
Попарное удаление — это использование специального кода (обычно 9, 99, 999 и т. д.) для представления недопустимых и отсутствующих значений при сохранении всех переменных и выборок в наборе данных. Однако в конкретных расчетах используются только выборки с полными ответами, поэтому разные анализы имеют разные эффективные размеры выборки из-за разных задействованных переменных. Это консервативный подход, который максимально сохраняет информацию, доступную в наборе данных.

Использование различных методов обработки может повлиять на результаты анализа, особенно когда появление пропущенных значений не является случайным и переменные явно коррелируют. Поэтому при расследовании следует максимально избегать недопустимых и отсутствующих значений, чтобы обеспечить целостность данных.

190 Что касается описания линейной регрессии, верно следующее () Machine Learning ML Foundation Easy
A. Основные допущения включают в себя то, что член случайных помех представляет собой стандартное нормальное распределение со средним значением 0 и дисперсией 1.
B. Основные предположения включают гомоскедастическое нормальное распределение со средним значением 0 при случайных помехах.
C. Обычная оценка методом наименьших квадратов больше не является лучшей линейной несмещенной оценкой, когда основные предположения нарушаются.
D. Когда основные предположения нарушаются, модель больше не может быть оценена
E. DW можно использовать для проверки того, имеют ли остатки последовательную корреляцию.
F. Мультиколлинеарность уменьшит дисперсию оценок параметров
Правильный ответ: АСЕФ
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…

191 Основными допущениями одномерной линейной регрессии AB являются
1. Член случайной ошибки — это случайная величина с ожидаемым значением или средним значением, равным 0;
2. Для всех наблюдений объясняющей переменной член случайной ошибки имеет одинаковую дисперсию;
3. Члены случайных ошибок не коррелируют друг с другом;
4. Объясняющая переменная является детерминированной, а не случайной величиной, а член случайной ошибки не зависит друг от друга;
5. Между объясняющими переменными нет точной (полной) линейной зависимости, то есть выборочная матрица значений наблюдения объясняющих переменных является матрицей полного ранга;
6. Член случайной ошибки подчиняется нормальному распределению

Эконометрические модели, CD которых нарушает лежащие в их основе допущения, все еще могут быть оценены, но не могут быть оценены с использованием обычного метода наименьших квадратов.
При наличии гетероскедастичности обычная оценка методом наименьших квадратов имеет следующие проблемы: хотя оценки параметров являются несмещенными, они не являются линейными несмещенными оценками с минимальной дисперсией.
E Тест Дубина-Ватсона (DW), эконометрика, широко используемый метод статистического анализа для проверки автокорреляции первого порядка последовательности.

F Так называемая мультиколлинеарность относится к тому факту, что независимые переменные в модели линейной регрессии искажены или их трудно точно оценить из-за наличия точной корреляции или высокой корреляции между независимыми переменными. Оказать влияние
(1) Оценщик параметра не существует при полной коллинеарности
(2) МНК-оценка неэффективна при приблизительной коллинеарности.
Мультиколлинеарность увеличивает дисперсию оценок параметров, 1/(1-r2) — коэффициент инфляции дисперсии (VIF).
(3) Экономический смысл оценок параметров необоснован.
(4) Проверка значимости переменной теряет смысл и может исключить из модели важные объясняющие переменные.
(5) Функция предсказания модели не работает. Чем больше дисперсия, тем больше «интервал» интервального прогноза, что делает прогноз бессмысленным.
Для модели линейной регрессии, когда переменная отклика следует нормальному распределению, а член ошибки удовлетворяет условию Гаусса-Маркова (нулевое среднее значение, равная дисперсия, некоррелированные), оценка параметров регрессии методом наименьших квадратов является последовательной несмещенной оценкой минимальной дисперсии.
Конечно, это условие является лишь идеализированным предположением, чтобы иметь соответствующий относительно зрелый вывод в математике. На самом деле большинство практических задач не полностью удовлетворяют этим идеализированным предположениям.
Развитие теории моделей линейной регрессии происходит именно тогда, когда идеальные условия не выполняются, и получается много новых методов. Например, взвешенная LSE, оценка гребня, оценка сжатия, преобразование BOX_COX и ряд сегментов. При выполнении практической работы вы должны выйти за рамки идеализированных условий, изложенных в книге.

192 Основными причинами, влияющими на эффективность алгоритмов кластеризации, являются: ( ) Machine Learning ML Foundation Easy
А. Выбор функций
B. Мера подобия шаблона
C. Руководство по классификации
D. Качество образцов известных классов
Правильный ответ: азбука
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Анализ: этот вопрос должен быть очень простым. Причина, по которой D неверен, заключается в том, что кластеризация предназначена для кластеризации неклассифицированных данных и не использует уже размеченные данные.
Для предыдущих вариантов ABC вы можете обратиться к: «Кластерный анализ» и «Сравнение различных алгоритмов».

193 Что из следующего является общей моделью алгоритма временных рядов () модель машинного обучения ML easy
A.RSI
B.MACD
C.ARMA
D.KDJ
Правильный ответ: С
Анализ:
Модель авторегрессионной скользящей средней (ARMA)
Идею моделирования можно резюмировать следующим образом: постепенно повышайте порядок модели и подбирайте модель более высокого порядка до тех пор, пока порядок модели не будет снова увеличен, а остаточная остаточная дисперсия больше не будет значительно уменьшаться.

Остальные три не на том же уровне. 
A. Индекс относительной силы (RSI, индекс относительной силы) предназначен для анализа намерения и силы рыночных ордеров на покупку и продажу путем сравнения среднего увеличения закрытия и среднего снижения закрытия за определенный период времени, чтобы определить будущие рыночные тенденции.
B. Moving Average Convergence Divergence (MACD, Moving Average Convergence Divergence), который основан на принципе построения скользящей средней, сглаживает цену закрытия цены акции и рассчитывается после получения среднего арифметического, является трендовым индикатором. .
D. Стохастический индикатор (KDJ), как правило, основан на принципе статистики через определенный период (обычно 9 дней, 9 недель и т. д.), который произошел в самой высокой цене, самой низкой цене и цене закрытия последнего расчета. период и эти три. В соответствии с пропорциональным соотношением между ними, чтобы рассчитать незрелое случайное значение RSV последнего расчетного периода, а затем вычислить значение K, значение D и значение J в соответствии с методом гладкой скользящей средней и нарисовать кривую график для изучения и оценки тенденции акций.

194 Следующее не является функцией ядра SVM () модель машинного обучения ML легко
A. Полиномиальная функция ядра
B. функция логистического ядра
C. Функция ядра радиального базиса
D.Сигмовидная функция ядра
Правильный ответ: Б

@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Функции ядра SVM включают в себя линейную функцию ядра, полиномиальную функцию ядра, функцию ядра радиального базиса, функцию ядра Гаусса, степенную экспоненциальную функцию ядра, функцию ядра Лапласа, функцию ядра ANOVA, квадратичную рациональную функцию ядра, многомерную квадратичную функцию ядра, обратную многомерную квадратичную функцию ядра и Сигмовидная функция ядра.
Определение функции ядра несложно.Согласно соответствующей теории функционалов, если функция K(xi,xj) удовлетворяет условию Мерсера, она соответствует скалярному произведению некоторого пространства преобразований. До сих пор были сделаны важные прорывы в оценке того, какие функции являются функциями ядра, что привело к теореме Мерсера и следующим часто используемым типам функций ядра:
(1) Линейная функция ядра
К (х, х я) = х ⋅ х я
(2) Полиномиальное ядро
K ( Икс , Икс я ) знак равно ( ( Икс ⋅ Икс я ) + 1 ) d
(3) Ядро радиального базиса (RBF)
K ( Икс , Икс я ) знак равно exp ( - ∥ Икс - Икс я ∥ 2 σ 2 ) 
Радиальная базисная функция Гаусса является функцией ядра с сильной локальностью, и ее экстраполяционная способность ослабевает по мере увеличения параметра σ. Функция ядра в полиномиальной форме обладает хорошими глобальными свойствами. Местность бедная.
(4) Ядро Фурье
K ( Икс , Икс я ) знак равно 1 - q 2 2 ( 1 - 2 q потому что ( Икс - Икс я ) + q 2 )
(5) Сплайн-ядро
K ( Икс , Икс я ) знак равно B 2 п + 1 ( Икс - Икс я )
(6) Сигмовидная функция ядра
K ( Икс , Икс я ) знак равно танх ( κ ( Икс , Икс я ) - δ )
Когда в качестве функции ядра используется сигмовидная функция, машина опорных векторов реализует многослойную нейронную сеть перцептрона.Применяется метод SVM, количество узлов скрытого слоя (определяет структуру нейронной сети) и вес узлов скрытого слоя к входным узлам.Значения определяются автоматически в процессе проектирования (обучения). Кроме того, теоретическая основа машины опорных векторов определяет, что она в конечном итоге получает глобальное оптимальное значение вместо локального минимального значения, а также обеспечивает ее хорошую способность к обобщению для неизвестных выборок без избыточного обучения.

Выбор функции ядра
При выборе функции ядра для решения практических задач обычно используются следующие методы:
Один из них заключается в использовании предварительных знаний экспертов для предварительного выбора функции ядра;
Во-вторых, использовать метод перекрестной проверки, то есть при выборе функции ядра пробовать разные функции ядра соответственно, и функция ядра с наименьшей ошибкой индукции является лучшей функцией ядра. Например, для ядра Фурье и ядра RBF в сочетании с задачей регрессии функций в задаче обработки сигналов с помощью экспериментов по моделированию сравнивается и анализируется, что при одинаковых условиях данных ошибка SVM с использованием ядра Фурье намного меньше, чем у SVM, использующей ядро ​​RBF.
Третий заключается в использовании метода гибридных функций ядра, предложенного Смитсом и др. По сравнению с двумя предыдущими, этот метод в настоящее время является основным методом выбора функций ядра, а также является еще одной новаторской работой по созданию функций ядра. Объединение различных функций ядра будет иметь лучшие характеристики, что является основной идеей метода смешанных функций ядра.

195 Зная ковариационную матрицу P набора данных, следующее утверждение о главном компоненте неверно () Data Mining DM Basics Easy
A. Наилучшим критерием для анализа основных компонентов является разложение набора данных в соответствии с набором ортонормированных базисов при условии, что берется только одинаковое количество компонентов, для вычисления минимальной ошибки обрезки используется среднеквадратическая ошибка.
B. После разложения по основным компонентам ковариационная матрица становится диагональной матрицей
C. Анализ главных компонентов представляет собой преобразование K-L.
D. Главная компонента получается путем вычисления собственных значений ковариационной матрицы
Правильный ответ: С
Анализ: преобразование KL и преобразование PCA - это разные концепции Матрица преобразования PCA - это ковариационная матрица, а матрица преобразования преобразования KL может быть многих видов (матрица второго порядка, ковариационная матрица, матрица полной внутриклассовой дисперсии и т. Д. .). Когда матрица преобразования K-L является ковариационной матрицей, она эквивалентна PCA.

196 В задачах классификации мы часто сталкиваемся с ситуациями, когда количество данных положительной и отрицательной выборки различается. Например, положительная выборка содержит данные 10w, а отрицательная выборка имеет только данные 1w. Ниже наиболее подходящий метод обработки () Машинное обучение Основы машинного обучения легко
A. Повторите отрицательный образец 10 раз, чтобы получить размер выборки 10 Вт и нарушить порядок участия в классификации.
B. Прямая классификация может максимизировать использование данных
C. Случайным образом выберите 1w из 10w положительных образцов для участия в классификации.
D. Установите вес каждого отрицательного образца на 10, вес положительного образца на 1 и примите участие в процессе обучения.
Правильный ответ: АКД
Анализ: я думаю, что у меня все еще есть некоторое понимание этого произведения.
1. Передискретизация. 
A можно рассматривать как вариант передискретизации. Изменение распределения данных устраняет дисбалансы, которые могут привести к переоснащению. 
2. Недостаточная выборка. 
Схема C улучшает эффективность классификации класса меньшинства, но может потерять важную информацию класса большинства. 
Если 1:10 считать равномерным, то мажоритарный класс можно разделить на 1000 экземпляров. Затем объедините каждый с образцами класса меньшинства, чтобы получить классификатор. Затем эти 1000 классификаторов объединяются в один классификатор методом сборки. Вариант А можно рассматривать как этот метод, поэтому он относительно разумен. 
Другой: если цель состоит в том, чтобы прогнозируемое распределение соответствовало тренировочному распределению, увеличьте штрафной коэффициент за непоследовательное распределение. 
3. Регулировка веса. 
План D также является одним из способов.

Конечно, это только соответствующая обработка на наборе данных, и в алгоритме есть соответствующие методы обработки.

197

В задачах классификации распознавания статистических образов, когда априорная вероятность неизвестна, вы можете использовать () Machine Learning ML Basics Easy

А. Критерий минимальных потерь

Решение Б.Н.П.

C. Критерий минимальных максимальных потерь

D. Критерий минимальной вероятности ложного срабатывания

Правильный ответ: до н.э.

@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Вариант А
В критерии минимальных потерь требуется априорная вероятность

вариант Б
При байесовском принятии решений для априорной вероятности p(y) она делится на два случая: известная и неизвестная. 
1. Если p(y) известно, вы можете напрямую использовать формулу Байеса, чтобы найти апостериорную вероятность;
2. p(y) неизвестно, поверхность решения может быть рассчитана с использованием решения Нимана-Пирсона (решение N-P). 
Решение Нимана-Пирсона (решение NP) можно резюмировать как нахождение порога a, а именно:
Если p(x|w1)/p(x|w2)>a, то x принадлежит w1;
Если p(x|w1)/p(x|w2)

вариант С
Правила максимальных и минимальных потерь в основном используются для решения задач, в которых априорная вероятность правила минимальных потерь неизвестна или ее трудно вычислить.

198 Алгоритм решения задачи прогнозирования в модели скрытой лошади () модель машинного обучения ML в
А. Прямой алгоритм
B. Обратный алгоритм
C. Алгоритм Баума-Уэлча
D. Алгоритм Витерби
Правильный ответ: Д
@Liu Xuan320, заголовок и источник анализа этого вопроса:blog.CSDN.net/column/ он…
Алгоритм A, B: прямой, обратный алгоритм предназначен для решения задачи оценки, т. е. заданной модели, нахождения вероятности наблюдения определенной последовательности, модель последовательности используется для оценки наилучшего совпадения.
C: Алгоритм Баума-Уэлча решает проблему обучения модели, то есть оценку параметров, Это метод обучения без учителя, который в основном реализуется через итерацию EM;
D: Решение алгоритма Витерби состоит в том, чтобы дать модель и конкретную выходную последовательность, а также найти последовательность состояний, которая, скорее всего, даст этот результат. Например, наблюдение за погодой (последовательность состояний) через изменения водорослей (выходная последовательность) представляет собой проблему прогнозирования и проблему декодирования при общении.

199 В целом, метод ближайших соседей k-NN работает лучше в случае ( ) Machine Learning ML Model Easy
A. Образцов много, но типичность не очень хорошая
B. Образцов немного, но типичность хорошая.
C. Образец распределяется комками
D. Проба распределяется по цепочке
Правильный ответ: Б
Анализ: Алгоритм K-ближайшего соседа в основном полагается на окружающие точки, поэтому, если выборок слишком много, они должны быть неразличимы. Так что выбирай Б
Кластерная форма выборки довольно сбивает с толку. Это должно означать, что вся выборка распределена в кластерной форме, так что kNN не может использовать свое преимущество в поиске соседей. Общая выборка должна иметь хорошую типичность и меньше выборок, что более подходит .

200 Среди следующих методов методы, которые можно использовать для уменьшения размерности признаков, включают () Deep Learning DL Model Easy
А. Анализ главных компонентов PCA
B. Линейный дискриминантный анализ LDA
C. Глубокое обучение SparseAutoEncoder
D. Матричное разложение по сингулярным числам SVD
E. Метод наименьших квадратов
Правильный ответ: АВСD
Анализ: все три распространенных метода уменьшения размерности, ABD, являются линейными. Глубокое обучение — это метод уменьшения размерности, относительно новый, на самом деле, если подумать, это тоже метод уменьшения размерности, потому что, если количество нейронов в скрытом слое меньше, чем во входном слое, приведет к уменьшению размерности, но если в скрытом слое больше нейронов, чем во входном слое, это не уменьшение размерности.

201 Метод наименьших квадратов является решением линейной регрессии, которая на самом деле является проекцией, но не выполняет уменьшение размерности. Какие из перечисленных ниже алгоритмов машинного обучения основаны на ядре? () Машинное обучение ML Models Easy
A.Максимизация ожидания (EM) (алгоритм максимального ожидания)
B. Радиальная базисная функция (RBF) (радиальная базисная функция ядра)
C. Линейный дискриминационный анализ (LDA) (анализ главных компонентов)
D. Машина опорных векторов (SVM)
Правильный ответ: БКД
Анализ: функция ядра радиального базиса является очень часто используемой функцией ядра, а обычный метод анализа главных компонентов является линейным, но когда встречается нелинейность, метод ядра также может использоваться для преобразования нелинейных задач в линейные задачи. Функции ядра также очень важны, когда SVM имеют дело с нелинейными проблемами.

202
Основы машинного обучения ML Easy

203

модель глубокого обучения DL
Подробнее см.:blog.CSDN.net/Snoopy_meta…

204 Каково реальное значение функции активации в нейронной сети? Какими необходимыми свойствами должна обладать функция активации? Какие еще атрибуты хороши, но не нужны? Основы глубокого обучения DL
@Hengkai Guo, источник анализа этого вопроса:Ууху. Call.com/question/67…
Позвольте мне рассказать о моем понимании хорошей функции активации, некоторые места могут быть не строгими, добро пожаловать на обсуждение. (Часть ссылки относится к функции активации.)
1. Нелинейный: то есть производная не является постоянной. Это условие было упомянуто многими предыдущими ответчиками, и оно является основой многослойной нейронной сети, которая гарантирует, что многослойная сеть не вырождается в однослойную линейную сеть. Это и есть функция активации.
2. Дифференцируемость почти всюду: Дифференцируемость гарантирует вычислимость градиентов при оптимизации. Традиционные функции активации, такие как сигмоида, везде дифференцируемы. Для кусочно-линейных функций, таких как ReLU, она дифференцируема почти везде (то есть недифференцируема только в конечном числе точек). Для алгоритма SGD, поскольку почти невозможно сходиться к положению, где градиент близок к нулю, конечные недифференцируемые точки не будут иметь большого влияния на результаты оптимизации [1].
3. Простой расчет: как сказал субъект, существует много нелинейных функций. В крайнем случае, многослойная нейронная сеть также может действовать как нелинейная функция, подобно тому, как она рассматривается как операция свертки в сети в сети [2]. Однако количество вычислений функции активации в прямом направлении нейронной сети пропорционально количеству нейронов, поэтому в качестве функции активации больше подходит простая нелинейная функция. Это одна из причин, по которой ReLU более популярен, чем другие функции активации, использующие такие операции, как Exp.
4. Насыщенность: Насыщенность относится к проблеме, когда градиент близок к нулю в некоторых интервалах (то есть градиент исчезает), поэтому параметры не могут продолжать обновляться. Наиболее классическим примером является сигмоида, производная которой близка к 0, когда x является относительно большим положительным значением и относительно небольшим отрицательным значением. Более крайним примером является ступенчатая функция, которая насыщается везде, потому что ее градиент равен 0 почти во всех положениях и не может использоваться в качестве функции активации. Производная ReLU всегда равна 1, когда x>0, поэтому она не будет насыщаться даже при больших положительных значениях. Но в то же время при x5. Монотонность: то есть знак производной не меняется. Этим свойством обладает большинство функций активации, за исключением sin, cos и т. д. Лично понимаю, что монотонность делает направление градиента в функции активации нечастым, что облегчает сходимость обучения.
6. Ограниченный выходной диапазон. Ограниченный выходной диапазон делает сеть относительно стабильной для некоторых относительно больших входных данных, поэтому в функциях ранней активации преобладают такие функции, как Sigmoid и TanH. Но это приводит к вышеупомянутой проблеме исчезающего градиента, а принудительный вывод каждого слоя в фиксированный диапазон ограничивает его выразительность. Поэтому этот тип функции используется только в некоторых случаях, когда требуется определенный выходной диапазон, например, выход вероятности (логарифмическая операция в функции потерь может компенсировать эффект исчезновения ее градиента [1]) и функция вентиля в LSTM. .
7. Приближающееся к тождественному преобразованию (тождество): т. е. примерно равное х. Преимущество этого заключается в том, что величина выходных данных не увеличивается значительно с глубиной, что делает сеть более стабильной, а градиенты могут быть более легко переданы обратно. Это немного противоречит нелинейности, поэтому функция активации в основном только частично удовлетворяет этому условию.Например, TanH имеет только линейную область вблизи начала координат (0 в начале координат и производная в начале координат равна 1), а ReLU только тогда, когда х>0 является линейным. Это свойство также упрощает получение диапазонов параметров инициализации [5][4]. Кроме того, природа этого преобразования идентичности также заимствована некоторыми другими конструкциями сетевой структуры, такими как ResNet [6] в CNN и LSTM в RNN.
8. Меньше параметров: Большинство функций активации не имеют параметров. Использование одного параметра, такого как PReLU, немного увеличивает размер сети. Другим исключением является Maxout [7].Хотя у него нет параметров, количество входных каналов, необходимых для k-канального Maxout, в k раз больше, чем у других функций с тем же количеством выходных каналов, что означает, что количество нейронов также должно быть изменено в k раз; однако, если не учитывать количество выходных каналов, функция активации может уменьшить количество параметров в k раз по сравнению с исходным.
9. Нормализация: это концепция, появившаяся недавно.Соответствующая функция активации SELU[8].Основная идея состоит в том, чтобы автоматически нормализовать распределение выборки до распределения нулевого среднего и единичной дисперсии, тем самым стабилизируя обучение. До этого эта идея нормализации также использовалась при проектировании сетевых структур, таких как пакетная нормализация [9].

использованная литература:
[1] Goodfellow I, Bengio Y, Courville A. Deep learning[M]. MIT press, 2016.
[2] Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013.
[3] Maas A L, Hannun A Y, Ng A Y. Rectifier nonlinearities improve neural network acoustic models[C]//Proc. ICML. 2013, 30(1).
[4] He K, Zhang X, Ren S, et al. Delving 
deep into rectifiers: Surpassing human-level performance on imagenet 
classification[C]//Proceedings of the IEEE international conference on 
computer vision. 2015: 1026-1034.
[5] Glorot X, Bengio Y. Understanding the 
difficulty of training deep feedforward neural networks[C]//Proceedings 
of the Thirteenth International Conference on Artificial Intelligence 
and Statistics. 2010: 249-256.
[6] He K, Zhang X, Ren S, et al. Deep 
residual learning for image recognition[C]//Proceedings of the IEEE 
conference on computer vision and pattern recognition. 2016: 770-778.
[7] Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout networks[J]. arXiv preprint arXiv:1302.4389, 2013.
[8] Klambauer G, Unterthiner T, Mayr A, et al. Self-Normalizing Neural Networks[J]. arXiv preprint arXiv:1706.02515, 2017.
[9] Ioffe S, Szegedy C. Batch 
normalization: Accelerating deep network training by reducing internal 
covariate shift[C]//International Conference on Machine Learning. 2015: 
448-456.

205 Нейронная сеть метода градиентного спуска легко сходится к локальному оптимуму, почему он широко используется? Основы глубокого обучения DL

@李振华,Ууху. Call.com/question/68…

Глубокая нейронная сеть, «легко сходящаяся к локальному оптимуму», вероятно, является выдумкой. Реальность такова, что мы можем никогда не найти «локальный оптимум», не говоря уже о глобальном оптимуме.

У многих людей есть мнение, что «локальная оптимизация является основной трудностью в оптимизации нейронной сети». Это происходит от интуитивного воображения задач одномерной оптимизации. В случае одномерной оптимизации наиболее интуитивно понятная сложность задачи оптимизации состоит в том, что существует множество локальных экстремумов, таких как

Люди интуитивно представляют, что таких локальных экстремумов будет больше и экспоненциально увеличится в высоких измерениях, поэтому оптимизировать до глобального оптимума сложнее. Однако важное различие между одномерной и многомерной матрицей заключается в том, что когда она одномерная, матрица Гессе имеет только одно собственное значение, поэтому независимо от того, положительный или отрицательный знак этого собственного значения, критическая точка является локальным экстремальным значением. Однако, когда есть несколько переменных, гессиан имеет несколько разных собственных значений.В это время каждое собственное значение может иметь более сложное распределение, такое как положительное и отрицательное неопределенное и несколько вырожденных собственных значений (нулевых собственных значений) полустереотип

В последних двух случаях трудно найти локальный экстремум, не говоря уже о глобальном оптимуме.

Теперь кажется, что сложность обучения нейронных сетей в основном связана с проблемой седловых точек. На практике мы, вероятно, никогда не сталкивались с локальными экстремумами. Bengio group в этой статье Собственные значения гессиана в глубоком обучении (АР Вест V.org/ABS/1611.07…

• Обучение останавливается в точке с небольшим градиентом, норма градиента не равна нулю, поэтому технически говоря, он не сходится к критической точке.
• По-прежнему существуют отрицательные собственные значения, даже если они малы по величине.

С другой стороны, хорошая новость заключается в том, что даже если есть локальные экстремумы, поле притяжения локальных экстремумов с плохими потерями невелико.На пути к пониманию обобщения глубокого обучения: перспектива ландшафтов потерь. (АР Вест V.org/ABS/1706.10…

For the landscape of loss function for deep networks, the volume of basin of attraction of good minima dominates over that of poor minima, which guarantees optimization methods with random initialization to converge to good minima.

Так вот, очень вероятно, что мы фактически остановили обучение, когда «ничего не было найдено», а затем попробовали на тестовом наборе: «Эй, эффект неплохой».

Добавляется, что это результаты экспериментальных исследований. Теоретически, при различных предположениях, количество седловых точек в Ландшафте глубоких нейронных сетей увеличивается экспоненциально, а локальных экстремумов с плохими потерями очень мало.

207 Пожалуйста, сравните алгоритм EM, HMM и CRF. модель машинного обучения машинного обучения

Не очень уместно ставить эти три вместе, но они связаны друг с другом, поэтому я соединил их здесь. Обратите внимание на идею сосредоточиться на алгоритме. 
(1) ЭМ-алгоритм
Алгоритм ЕМ используется для оценки максимального правдоподобия или максимальной апостериорной оценки моделей со скрытыми переменными и состоит из двух шагов: Е-шаг для ожидания и М-шаг для максимизации. По сути, алгоритм EM по-прежнему является итеративным алгоритмом, и текущие переменные вычисляются путем непрерывного использования параметров предыдущего поколения для оценки скрытых переменных до сходимости. 
Примечание. Алгоритм EM чувствителен к начальному значению, и EM — это алгоритм, который непрерывно решает аппроксимацию максимизации нижней границы для решения максимизации функции логарифмического правдоподобия, то есть алгоритм EM не может гарантировать нахождение глобальное оптимальное значение. Следует также освоить метод экспорта ЭМ. 
(2) Алгоритм НММ
Скрытые марковские модели — это генеративные модели для маркировки задач. Имеется несколько параметров (π, A, B): вектор вероятности начального состояния π, матрица перехода состояния A, матрица вероятности наблюдения B. Есть три элемента, называемые марковской моделью. 
Три основные проблемы Маркова:

• Задача расчета вероятности: учитывая модель и последовательность наблюдений, вычислить вероятность выхода последовательности наблюдений в соответствии с моделью. – «Алгоритм прямого-обратного
• Задача обучения: знать последовательность наблюдений, оценить параметры модели, то есть использовать оценку максимального правдоподобия для оценки параметров. – «Баум-Уэлч (то есть алгоритм EM) и оценка максимального правдоподобия.
• Задача прогнозирования: узнайте модель и последовательность наблюдений и решите соответствующую последовательность состояний. – «Аппроксимационный алгоритм (жадный алгоритм) и алгоритм Вибита (динамическое программирование для поиска оптимального пути)

(3) Условное случайное поле CRF
Плотность условного распределения вероятностей набора выходных случайных величин при заданном наборе входных случайных величин. Условное случайное поле предполагает, что выходная переменная представляет собой марковское случайное поле, а то, что мы обычно видим, представляет собой случайное поле с линейной цепью, то есть дискриминантную модель, которая предсказывает выход на основе входа. Метод решения - оценка максимального правдоподобия или регуляризованная оценка максимального правдоподобия. 
Причина, по которой HMM и CRF всегда сравнивают, заключается главным образом в том, что и CRF, и HMM используют знания о графах, но CRF использует марковские случайные поля (неориентированные графы), а HMM основан на байесовских сетях (с диаграммой). И CRF также имеет: проблемы расчета вероятности, проблемы обучения и проблемы прогнозирования. Приближенный метод расчета аналогичен HMM, за исключением того, что алгоритм EM не требуется для задачи обучения.

(4) Сравнение HMM и CRF
Принципиально то, что базовые понятия разные, одно — порождающая модель, другое — дискриминационная модель, что также приводит к разным решениям. 

Несколько моделей, обычно используемых в CNN. модель глубокого обучения DL

208 Почему SVM с ядром может классифицировать нелинейные задачи?
Суть функции ядра заключается в скалярном произведении двух функций, и эту функцию можно представить как многомерное отображение на входное значение в SVM. Обратите внимание, что ядро ​​​​не соответствует напрямую отображению, ядро ​​​​является просто внутренним продуктом. Общая функция ядра и условия функции ядра:
Выбор функции ядра следует начинать с линейного ядра, а в случае многих признаков не обязательно выбирать ядро ​​Гаусса, а модель следует выбирать от простого к сложному. Функция ядра, на которую мы обычно ссылаемся, является положительно определенной функцией суммы.Необходимым и достаточным условием является то, что для любого x, принадлежащего X, матрица Грама, соответствующая K, должна быть полуположительно определенной матрицей.
Радиальный базис ядра RBF, значение этого типа функции зависит от расстояния между конкретными точками, поэтому ядро ​​Лапласа фактически является ядром радиального базиса.
Линейное ядро: в основном используется для линейно разделимых случаев.
полиномиальное ядро

Повышение и Бэггинг

(1) Случайный лес
Случайные леса изменяют проблему склонности деревьев решений к переоснащению, которая в основном оптимизируется с помощью двух операций:

1) Boostrap вытягивает выборочные значения из мешка с заменой

2) Определенное количество признаков (обычно sqr(n)) каждый раз выбирается случайным образом. 
Проблема классификации: используйте голосование по бэггингу, чтобы выбрать категорию с наибольшей частотой
Проблема регрессии: прямое получение среднего значения результатов каждого дерева.

(2) AdaBoost усиления
Суть Boosting на самом деле заключается в аддитивной модели, которая изучает несколько классификаторов, изменяя веса обучающих выборок и выполняя некоторые линейные комбинации. Adaboost — это аддитивная модель + экспоненциальная функция потерь + алгоритм априорного распределения. Adaboost — это повторное обучение от слабого классификатора, в котором вес данных или распределение вероятностей постоянно корректируются, и одновременно увеличивается вес выборок, неправильно классифицированных слабым классификатором в предыдущем раунде. Наконец, классификатор используется для голосования (но важность классификатора другая). 
(3) GBDT бустинга
Превратите базовый классификатор в двоичное дерево, двоичное дерево регрессии для регрессии и двоичное дерево классификации для классификации. По сравнению с приведенным выше Adaboost, функция потерь дерева регрессии представляет собой квадратную потерю, а экспоненциальная функция потерь также может использоваться для определения проблем классификации. Но как рассчитать общую функцию потерь? GBDT (Gradient Boosting Decision Tree) предназначен для решения задачи оптимизации общей функции потерь с использованием отрицательного градиента функции потерь при значении текущей модели для имитации аппроксимации остатка в задаче регрессии. 
Примечание. Поскольку GBDT склонен к переоснащению, рекомендуемая глубина GBDT не должна превышать 6, а случайный лес может быть выше 15. 

(4) XgBoost
Этот инструмент имеет следующие основные функции:

• Поддержка линейных классификаторов
• Функцию потерь можно настроить, и можно использовать частную производную второго порядка.
• Добавлен термин регуляризации: количество листовых узлов, L2-норма выходного балла каждого листового узла.
• Выборка функций поддержки
• При определенных обстоятельствах поддерживается параллелизм, который используется только на этапе построения дерева, и каждый узел может искать функции разделения параллельно.

Проблемы, связанные с логистической регрессией

(1) Вывод формулы должен уметь

(2) Основная концепция логистической регрессии
Это лучше всего анализировать с точки зрения обобщенной линейной модели.Логистическая регрессия предполагает, что y следует распределению Бернулли.

(3) L1-норма и L2-норма
На самом деле фундаментальная причина разреженности заключается в том, что L0-норма, то есть количество прямых статистических параметров, не равных 0, используется как правило, но на самом деле это непросто реализовать, поэтому L1-норма введено, а L1-норма по существу предполагает, что параметр априори подчиняется распределению Лапласа, а L2-норма предполагает, что априорный параметр является распределением Гаусса, Это принцип, по которому мы обычно используем изображения, чтобы ответить на этот вопрос в Интернете. 
Однако решение L1-нормы сложнее и может быть решено методом спуска по координатной оси или методом наименьшего угла регрессии.

(4) Сравнение LR и SVM
Прежде всего, самая большая разница между LR и SVM заключается в выборе функции потерь, Функция потерь LR — это логарифмическая потеря (или логическая потеря), а функция потерь SVM — потеря шарнира. 

Во-вторых, обе являются линейными моделями. 
Наконец, SVM рассматривает только опорные векторы (то есть небольшое количество точек, связанных с классификацией).
(5) Разница между LR и случайным лесом
Алгоритмы дерева, такие как случайный лес, нелинейны, а LR — линейны. LR больше фокусируется на глобальной оптимизации, тогда как древовидная модель — это в основном локальная оптимизация. 
(6) Обычно используемые методы оптимизации
Саму логистическую регрессию можно решить по формуле, но поскольку сложность инверсии слишком высока, вводится алгоритм градиентного спуска. 
Методы первого порядка: градиентный спуск, стохастический градиентный спуск, мини стохастический градиентный спуск. Стохастический градиентный спуск не только быстрее, чем исходный градиентный спуск, но и может в определенной степени подавлять появление локальных оптимальных решений в задачах локальной оптимизации. 
Метод второго порядка: метод Ньютона, квазиньютоновский метод:
Вот подробное описание основных принципов метода Ньютона и применения метода Ньютона. Фактически, метод Ньютона заключается в постоянном обновлении позиции касательной через пересечение касательной и оси X до тех пор, пока пересечение кривой и оси X не достигается для получения раствора уравнения. В практических применениях нам часто нужно решать проблемы с выпуклой оптимизацией, то есть для решения позиции, когда первое производное функции равно 0, а метод Ньютона может обеспечить решение этой проблемы. В практических приложениях метод Ньютона впервые выбирает точку в качестве отправной точки, и выполняет расширение Taylor второго порядка, чтобы получить точку с производным 0 для обновления, пока требования не будут выполнены. В настоящее время метод Ньютона становится вторым - задача решения для решения, которая более эффективна, чем решение первого порядка. Метод быстрее. X Мы часто видим, обычно это многомерный вектор, который приводит к понятию гессианской матрицы (то есть второй производной матрицы X). Недостатки: метод Ньютона - это итерация с фиксированной длиной и не имеет никакого шагового фактора, поэтому он не может гарантировать устойчивое снижение функционального значения и даже не удается в тяжелых случаях. Кроме того, метод Ньютона требует, чтобы функция была дерьмами второго порядка. И обратная сложность расчета гессианской матрицы очень велика. 
牛 顿 法: Метод аппроксимации положительной симметричной матрицы матрицы ГЕССИАН построен, упоминается как Johon Monament. Идея игры в метод Ньютона состоит в том, чтобы использовать специальную форму выражения для имитации матрицы ГЕССИАНА или его обратной формы, чтобы выражение удовлетворяло расчету Ньютона. В основном это методы DFP (аппроксимация HESSION), BFGS (непосредственно приближается к матрице HESSION), L-BFGS (может уменьшить объем памяти, необходимый для BFGS).

209 Объясните принцип отсева с помощью байесовской вероятности

@Сюй Хань, источник:zhuanlan.zhihu.com/p/25005808

Dropout as a Bayesian Approximation: Insights and Applications

(Марокко CAM.AC.UK/ARI YOU/PDF IS/…

Почему многие лица, делающие лицо, в конце концов присоединяются к локальной подключенной беседе?

@Сюй Хань, источник:zhuanlan.zhihu.com/p/25005808

Возьмите FaceBook DeepFace в качестве примера:

Сначала DeepFace выполнил две полные свертки + одну пулинг для извлечения низкоуровневых элементов краев/текстур. Следуют три слоя Local-Conv.Причина использования Local-Conv здесь заключается в том, что лицо имеет разные черты в разных областях (положение распределения глаз/носа/рта относительно фиксировано), когда нет глобального локального признака При распределении , Local-Conv больше подходит для извлечения признаков.

210 Что такое коллинеарность и как она связана с переоснащением?

@abstractmonkey, источник:Ууху. Call.com/question/41…

Коллинеарность: в многомерной линейной регрессии оценка регрессии неточна из-за высокой корреляции между переменными.

Коллинеарность создает избыточность, что приводит к переоснащению.

Решение: исключить корреляцию переменных/добавить весовую регуляризацию.

211 Почему можно избежать плохих локальных оптимумов, когда сеть достаточно глубокая (с достаточным количеством нейронов)?

См.: Поверхности потерь многоуровневых сетей (АР Вест V.org/PDF/1412.02…

212 положительных и отрицательных образцов в машинном обучении

В задаче классификации эту проблему относительно легко понять.Например, в примере распознавания лиц легко понять положительный образец, который является изображением лица.Выбор отрицательного образца связан с проблемой В частности, если вы хотите сделать для распознавания лиц учащихся в классе, отрицательными образцами являются окна, стены и т. д. класса, то есть это не может быть грязное изображение сцены, которое не имеет ничего общего с проблемой, которую вы хотите изучить.Такие отрицательные образцы бессмысленны. Отрицательные образцы можно генерировать на основе фона, иногда нет необходимости искать дополнительные отрицательные образцы. Как правило, для обучения 3000–10000 положительных образцов требуется 5 000 000–100 000 000 отрицательных образцов.В поле взаимного золота положительные и отрицательные отношения обычно корректируются до 3: 1–5: 1 путем выборки перед входом в модель.

213 Какие существуют инженерные методы для выбора признаков в машинном обучении?

Данные и функции определяют верхний предел машинного обучения, а модели и алгоритмы лишь приближаются к этому верхнему пределу.

1. Рассчитайте корреляцию каждой характеристики и переменной отклика: обычно используемые инженерные средства рассчитывают коэффициенты Пирсона и факторы взаимной информации, а коэффициент Пирсона может измерять только линейную корреляцию, а коэффициенты взаимной информации могут иметь различную значимость.Однако расчет является относительно сложным, поэтому во многих инструментах, содержащих этот инструмент (например, Sklearn's Mine), вы можете сортировать характеристики выбора после получения релевантных;

2. Построить модель одного признака и отсортировать признаки по точности модели, тем самым отобрав признаки;

3. Выберите признаки по регулярному члену L1: Регулярный метод L1 имеет характеристики разреженного решения, поэтому он, естественно, имеет характеристики выбора признаков, но следует отметить, что признаки, не выбранные L1, не означают, что они не важны. , так как эти две функции имеют высокую корреляцию. Функция может сохранить только одну функцию, если вы хотите определить, какая функция важна, вы должны пройти перекрестную проверку обычным методом L2 *;

4. Обучение предварительно выбранной модели, которая может оценивать функции: RandomForest и логистическая регрессия могут оценивать функции модели, а затем обучать окончательную модель после получения корреляции посредством оценки;

5. Выберите функции после комбинации функций: например, идентификатор пользователя и пользовательские функции наиболее сочетаются для получения большего набора функций, а затем выбирают функции. Этот подход более распространен в рекомендательных системах и рекламных системах. Это также называется миллиардом или даже десять.Основным источником признаков уровня миллиарда является то, что пользовательские данные относительно разрежены, а комбинированные признаки могут учитывать как глобальную модель, так и персонализированную модель.Есть возможность расширить этот вопрос.

6. Выбор функций с помощью глубокого обучения: в настоящее время этот метод становится методом с популярностью глубокого обучения, особенно в области компьютерного зрения, поскольку глубокое обучение имеет возможность автоматически изучать функции, что также является причиной этого. называется неконтролируемым изучением признаков. После выбора функций нейронного слоя из модели глубокого обучения его можно использовать для обучения окончательной целевой модели.

214 В n-мерном пространстве лучший способ обнаружить выбросы — это () Machine Learning Основы машинного обучения Easy
A. Создайте карту вероятностей нормального распределения
B. Сделайте блок-схему
C. Расстояние Махаланобиса
D. Сделайте точечную диаграмму
Ответ: С

Расстояние Махаланобиса — это статистический метод измерения многомерных выбросов, основанный на распределении хи-квадрат.

Иметь M образцы к х1 ~ XM,ковариационная матрицаОбозначается как S, среднее значение обозначается как вектор μ, тогда расстояние Махаланобиса от выборочного вектора X до u выражается как:

(Каждый элемент в ковариационной матрице представляет собой ковариацию Cov(X,Y) между каждым элементом вектора, Cov(X,Y) = E{[XE(X)] [YE(Y)]}, где E — математический Ожидание)

А расстояние Махаланобиса между векторами Xi и Xj определяется как:

Если ковариационная матрица представляет собой единичную матрицу (независимую и одинаково распределенную между каждым вектором выборки), формула принимает вид:

Это евклидово расстояние.​

Если ковариационная матрица - это диагональная матрица, формула становится нормализованной евклидовой дистанцией.

(2) Преимущества и недостатки расстояния Махаланобиса: размерность не имеет значения, а помехи корреляции между переменными исключены. 

Для получения дополнительной информации см.:здесьи"различные расстояния".

215 В чем разница между логистической регрессией и общим регрессионным анализом? Основы машинного обучения ML Easy
A. Логарифмическая регрессия шансов предназначена для прогнозирования вероятности события.
B. Логарифмическую регрессию шансов можно использовать для измерения того, насколько хорошо модель подходит
C. Логарифмическая регрессия шансов может использоваться для оценки коэффициентов регрессии.
Д. Все вышеперечисленное
Ответ: Д
А: Этоэта статьяКак уже упоминалось, логарифмическая регрессия шансов на самом деле предназначена для решения проблем классификации.
B: Логарифмическую регрессию шансов можно использовать для проверки соответствия модели данным.
C: Хотя логарифмическая регрессия вероятности используется для решения задач классификации, после создания модели соответствующие коэффициенты регрессии могут быть оценены на основе независимых признаков. Насколько я думаю, это только оценка коэффициента регрессии, и ее нельзя использовать напрямую в качестве регрессионной модели.

216 Что означают данные начальной загрузки? (Подсказка: проверьте разницу между «начальной загрузкой» и «бустированием»). Модели машинного обучения ML Easy
A. Выборка m признаков из общего числа M признаков с заменой
B. Выборка m признаков из общего числа M признаков без замены
C. Выборка n проб из общего количества N проб с заменой
D. Отберите n образцов из общего количества N образцов без замены.
Ответ: Ц. Boostrap означает бутстрапирование обуви (автор романов о боевых искусствах сказал, что левая нога наступает на правую ногу и освобождается). Его процесс заключается в выборке образцов (а не признаков) с заменой, и количество образцов равно общее количество выборок Этот процесс случайной выборки определяет окончательную выборку, которая после удаления дубликатов занимает 1/e исходной выборки.

217 «Переобучение» появляется только при обучении с учителем, при обучении без учителя «переобучение» отсутствует () Machine Learning ML Foundation Easy
А. да
Б. неправильно
Ответ: Б
Мы можем оценить неконтролируемые методы обучения с помощью показателей неконтролируемого обучения, таких как: мы можем оценить модели кластеризации, изменив рандомную оценку (скорректированную рандомную оценку)

218 Для k-кратной перекрестной проверки следующее утверждение о k верно () Machine Learning ML Fundamentals Easy
О. Большее k не обязательно лучше, выбор большого k увеличит время оценки.
B. Выберите большее k, будет меньшее смещение (поскольку обучающий набор ближе к общему набору данных)
C. При выборе k, чтобы минимизировать дисперсию между наборами данных
Д. Все вышеперечисленное
Ответ: Д
Чем больше BIAS, тем меньше время обучения.При обучении необходимо учитывать принцип различий в наборах данных.Например, для двух типов задач классификации используйте 2-Fold для подтверждения, является ли тестовый набор данных классом А, а обучение централизованных данных относится к классу Б, очевидно, что эффект теста будет плохим.
Если вы не понимаете концепции BIAS и Variance, обязательно перейдите по ссылке ниже:
Gentle Introduction to the Bias-Variance Trade-Off in Machine Learning
Understanding the Bias-Variance Tradeoff

219 В регрессионной модели присутствует мультиколлинеарность. Как решить эту проблему? модель машинного обучения машинного обучения
A. Удалите две коллинеарные переменные
B. Мы можем сначала удалить коллинеарную переменную
C. Рассчитайте VIF (коэффициент инфляции дисперсии) и примите соответствующие меры
D. Чтобы избежать потери информации, мы можем использовать некоторые методы регуляризации, такие как гребенчатая регрессия и лассо-регрессия.
Какие из следующих утверждений верно:
A. 1
B. 2
С. 2 и 3
Д. 2, 3 и 4
Ответ: Д
Чтобы решить множественную общую линейность, вы можете использовать матрицу корреляции для удаления переменных с корреляцией выше 75% (с субъективными компонентами).Вы также можете использовать VIF, если значение VIF = 10 указывает на более высокую корреляцию.
Мы также можем использовать методы регрессии гребня и регрессии лассо со штрафными регулярными членами Мы также можем добавить случайный шум к некоторым переменным, чтобы сделать переменные разными, но этот метод следует использовать осторожно, что может повлиять на эффект прогнозирования.

Что означает высокое смещение на модели 220 и как мы можем его уменьшить? Основы машинного обучения ML Easy
A. Уменьшение признаков в пространстве признаков
B. Добавьте функции в пространство функций
C. Добавьте точки данных
ДБ и С
Е. Все вышеперечисленное
Ответ: Б
Если смещение слишком велико, модель слишком проста, размерность данных недостаточна, и данные нельзя точно предсказать, поэтому давайте увеличим размерность!

221 Модель дерева решений обучения, разделение узлов атрибутов, какой из следующих графиков является графиком с наибольшим приростом информации () модель машинного обучения ML легко

A. Outlook
B. Humidity
C. Windy
D. Temperature
Ответ: Прирост информации, увеличение средней чистоты подмножества, для подробного изучения, пожалуйста, нажмите на ссылку ниже:
A Complete Tutorial on Tree Based Modeling from Scratch (in R & Python)
Lecture 4 Decision Trees (2): Entropy, Information Gain, Gain Ratio

222 Для получения информации, узлы разделения дерева решений, следующее утверждение верно () модель машинного обучения ML легко
A. Узлы с высокой степенью чистоты нуждаются в большем количестве информации, чтобы отличить
B. Прирост информации может быть получен с «1-битной энтропией».
C. Если атрибут выбран со многими категориальными значениями, то этот прирост информации смещен.
A. 1
B. 2
С.2 и 3
Д. Все вышеперечисленное
Ответ: С
Для подробного исследования, пожалуйста, нажмите на ссылку ниже:
A Complete Tutorial on Tree Based Modeling from Scratch (in R & Python)
Lecture 4 Decision Trees (2): Entropy, Information Gain, Gain Ratio

223 Если модель SVM не соответствует требованиям, какой из следующих методов может улучшить модель () в моделях машинного обучения ML
A. Увеличьте значение параметра штрафа C
B. Уменьшить значение параметра штрафа C
C. Уменьшить коэффициент ядра (гамма-параметр)
@David 9, источник анализа этого вопроса:No Over Fit.com/i'M боится / 12-% E6% 9 ...
A Если модель SVM не подходит, мы можем увеличить значение параметра C, чтобы увеличить сложность модели.В LibSVM целевая функция SVM:

Однако параметр гаммы — это параметр, который приходит с радиальной базисной функцией после того, как вы выбираете радиальную базисную функцию в качестве ядра.Он неявно определяет распределение данных после сопоставления с новым пространством признаков.
Параметр гаммы не имеет ничего общего с параметром C. Чем выше параметр гаммы, тем сложнее модель. 

224 На следующем рисунке представлена ​​та же модель SVM, но используются гамма-параметры различных радиальных базисных функций ядра в порядке g1, g2, g3. Правильный размер:

A. g1 > g2 > g3
B. g1 = g2 = g3
C. g1 < g2 < g3
D. g1 >= g2 >= g3E. g1 <= g2 <= g3
Ответ: C см. вопрос Q10.

225 Предположим, мы хотим решить задачу двухклассовой классификации, мы уже установили модель, выходной сигнал равен 0 или 1, а пороговое значение изначально установлено на 0,5, если оценка вероятности превышает 0,5, она оценивается как 1, в противном случае он оценивается как 0; если мы теперь с другим порогом больше 0,5, то правильное утверждение о модели теперь:
A. Скорость отзыва модели классификации будет уменьшена или останется неизменной
B. Скорость отзыва модели классификации будет увеличиваться
C. Точность классификации модели увеличится или останется неизменной
D. Точность классификации модели будет снижена
A. 1
B. 2
С.1 и 3
Д. 2 и 4
Е. Ничего из вышеперечисленного
Ответ: С
В этой статье описывается влияние порогов на точность и полноту:
Критерии разделения достоверности могут повысить точность и полноту в классификаторах случайного леса «Проблема CTR» — это такая проблема прогнозирования, что 99% людей не нажмут, а 1% людей нажмут, так что это очень сложный сбалансированный набор данных.

226 Предположим, теперь, когда мы построили модель для классификации и с точностью предсказания 99%, мы можем заключить, что:
A. Точность предсказания модели уже очень высока, нам не нужно ничего делать
B. Точность предсказания модели невысока, нам нужно что-то сделать, чтобы улучшить модель
C. Неспособность делать выводы
Д. Ничего из вышеперечисленного
Ответ: Б
Точность предсказания 99% может означать, что ваши прогнозы точны для людей, которые не кликнули (поскольку 99% людей не кликнут, что является хорошим прогнозом). Это не означает, что ваша модель предсказывает людей, которые кликнут. , поэтому для такого несбалансированного набора данных мы хотим сосредоточиться на небольшой части данных, на людях, которые нажимают на него.
Для получения дополнительной информации, пожалуйста, обратитесь к этой статье: статья

227 Используя алгоритм knn с k = 1, задачу классификации двух классов на рисунке ниже, «+» и «o» представляют два класса соответственно, затем, используя метод перекрестной проверки, который берет только один тестовый образец, что частота ошибок перекрестной проверки? :

A. 0%
B. 100%
С. от 0% до 100
D. Ничто из вышеперечисленного не является ответом: B
Алгоритм knn заключается в просмотре k выборок вокруг выборки, большинство из которых классифицируются как класс A, и мы делим выборку на класс A. Очевидно, что knn с k=1 не является хорошим выбором на приведенном выше рисунке, классификация процент ошибок всегда 100%

228 Мы хотим обучить дерево решений на большом наборе данных, чтобы использовать меньше времени, мы можем:
A. Увеличьте глубину дерева
B. Увеличьте скорость обучения
C. Уменьшить глубину дерева
D. Уменьшить количество деревьев
Ответ: С
Увеличение глубины дерева приведет к тому, что все узлы будут продолжать разбиваться до тех пор, пока листовые узлы не станут чистыми, поэтому увеличение глубины продлит время обучения.

229 В дереве решений нет параметра скорости обучения для настройки (в отличие от ансамблевого обучения и других методов обучения с размером шага).
Дерево решений имеет только одно дерево, а не случайный лес.

Что касается утверждения нейронной сети, верно следующее:
1. Увеличение количества слоев нейронной сети может увеличить частоту ошибок классификации набора тестовых данных.
2. Уменьшение количества слоев нейронной сети всегда может снизить частоту ошибок классификации набора тестовых данных.
3. Увеличение количества слоев нейронной сети всегда может снизить частоту ошибок классификации набора обучающих данных.
A. 1
Б. 1 и 3
С. 1 и 2
D. 2
Ответ: А
Успех глубоких нейронных сетей доказал, что увеличение количества слоев нейронной сети может повысить способность модели к обобщению, то есть как набор обучающих данных, так и набор тестовых данных работают лучше.Однако большее количество слоев не обязательно гарантирует, что есть лучшая производительность (АР Вест V.org/PDF/1512.03….Поэтому нельзя стопроцентно сказать, что количество слоев хорошо или плохо, можно только выбрать A

230 Если мы используем нелинейно разделимую целевую функцию SVM в качестве объекта оптимизации, как мы можем гарантировать, что модель является линейно разделимой?
А. Пусть С=1
Б. Пусть С=0
C. Пусть C=бесконечность
Д. Ничего из вышеперечисленного
Ответ: С
C бесконечность гарантирует, что всякая линейная неразделимость допустима.

После обучения модели SVM мы можем отбросить те выборки, которые не являются опорными векторами, либо продолжить классификацию:
А. Правильно
Б. Ошибка
Ответ: А

231 В модели SVM на границу решения действительно влияет опорный вектор

Какой из следующих алгоритмов можно построить с помощью нейронных сетей:
1. KNN
2. Линейная регрессия
3. Логарифмическая регрессия шансов
А. 1 и 2
Б. 2 и 3
С. 1, 2 и 3
Д. Ничего из вышеперечисленного
Ответ: Б
1. Алгоритм KNN не требует параметров обучения, а все нейронные сети требуют параметров обучения, поэтому нейронная сеть не может помочь
2. Простейшая нейронная сеть, персептрон, на самом деле является обучением линейной регрессии.
3. Мы можем построить логарифмическую регрессию вероятности с помощью однослойной нейронной сети.

232 Выберите один из вариантов ниже, чтобы применить скрытую марковскую модель (HMM):
A. Наборы данных последовательности генов
B. Набор данных просмотра фильмов
C. Набор данных фондового рынка
Д. Все вышеперечисленное
Ответ: Д
Пока это связано с проблемами временных рядов, вы можете попробовать HMM

233 Мы строим модель машинного обучения с функциями 5000 и данными 1 млн. Как мы можем эффективно справляться с обучением таким большим данным:
A. Мы случайным образом выбираем несколько образцов и тренируемся на этих небольших образцах.
B. Мы можем попробовать онлайн-алгоритмы машинного обучения
C. Мы применяем алгоритм PCA, чтобы уменьшить размерность и количество признаков.
ДБ и С
Е. А и Б
F. Все вышеперечисленное
Ответ: Ф

234 Мы хотим уменьшить количество признаков в наборе данных, т. е. уменьшить размерность.Выберите один из следующих вариантов:

1. Используйте метод прямого выбора функции
2. Используйте исключение обратной функции
3. Сначала мы используем все функции для обучения модели и получаем производительность на тестовом наборе.Затем мы удаляем функцию, переходим к обучению и используем перекрестную проверку, чтобы увидеть производительность на тестовом наборе.Если производительность лучше чем оригинал, мы можем удалить эту функцию.
4. Посмотрите на таблицу корреляции и удалите некоторые функции с самой высокой корреляцией.
А. 1 и 2
Б. 2, 3 и 4
С. 1, 2 и 4
D. All

Ответ: Д
1. Метод прямого выбора признаков и метод обратного исключения признаков являются нашими общими методами выбора признаков.
2. Если метод выбора прямого признака и метод исключения обратного признака не подходят для больших данных, здесь можно использовать третий метод.
3. Это также хороший способ использовать меру корреляции для удаления избыточных признаков.
все буквы Д правильные

235 Для Random Forests и GradientBoosting Trees верно следующее утверждение:
1. В случайном пущем одно дерево дерево и между деревьями зависят от деревьев, среди градиентных деревьев в дереве не зависит от человека.
2. Обе модели используют случайные подмножества признаков для создания множества отдельных деревьев.
3. Мы можем генерировать одно дерево GradientBoosting Trees параллельно, потому что между ними нет зависимости, производительность модели обучения GradientBoosting Trees всегда лучше, чем у случайного леса.
A. 2
B. 1 and 2
C. 1, 3 and 4
D. 2 and 4

Ответ: А
1. Random forest основан на бэггинге, а Gradient Boosting tree основан на бустинге.Все говорят наоборот.В одном дереве random forest нет зависимости между деревьями и деревьями, а между одним деревом в GradientBoosting Trees является зависимостью.
2. Обе модели используют случайные подмножества признаков для создания множества отдельных деревьев.
Все буквы А правильные

236 Для преобразованных признаков методом PCA (анализ основных компонентов) «допущение независимости» Наивного Байеса всегда выполняется, поскольку все главные компоненты ортогональны, это утверждение выглядит следующим образом:
А. Правильно
Б. неправильно
Ответ: Б.
Это утверждение неверно, во-первых, "не зависимый" и "не связанный" - разные вещи, во-вторых, преобразованные признаки тоже могут быть связаны

237 Правильное утверждение о PCA:
1. Мы должны нормализовать данные перед использованием PCA
2. Мы должны быть выбраны так, что модель имеет максимальную дисперсию основного компонента
3. Мы должны выбрать главные компоненты, которые обеспечивают наименьшую дисперсию модели.
4. Мы можем использовать PCA для визуализации данных в низком измерении.
A. 1, 2 and 4
B. 2 and 4
C. 3 and 4
D. 1 and 3
E. 1, 3 and 4
Ответ: А
1) PCA очень чувствителен к масштабу данных, например, если изменить единицу измерения с км на см, такой масштаб данных может оказать большое влияние на конечный результат PCA (от менее важных компонентов к очень важным компонентам).
2) Мы всегда должны выбирать главные компоненты, благодаря которым модель имеет наибольшую дисперсию.
3) Иногда левое изображение нуждается в помощи уменьшения размерности PCA в малых размерах

238 Какой из главных компонентов лучше всего выбрать для следующего рисунка? :

A. 7

B. 30

C. 35

Д. Не могу сказать

Ответ: Б

• Выбор главных компонент делает дисперсию максимально возможной, и согласно этой предпосылке, чем меньше главных компонентов, тем лучше.

239 Исследователи данных могут использовать несколько алгоритмов (моделей) для одновременного прогнозирования и, наконец, интегрировать результаты этих алгоритмов для получения окончательного прогноза (обучение ансамблем).Следующие утверждения об обучении ансамблем верны:

А. Высокая корреляция между отдельными моделями

B. Низкая корреляция между отдельными моделями

C. Было бы лучше использовать «средние веса» вместо «голосования» в ансамблевом обучении.

D. Для каждой модели используется единый алгоритм

Ответ: Б

• Подробную информацию см. в следующих статьях:

  • Basics of Ensemble Learning Explained in Simple English
  • Kaggle Ensemble Guide
  • 5 Easy questions on Ensemble Modeling everyone should know

240 Как мы используем методы кластеризации в обучении с учителем? :

О. Мы можем сначала создать кластерные категории, а затем использовать контролируемое обучение для изучения каждой категории отдельно.

B. Мы можем использовать «идентификатор категории» кластера в качестве нового элемента функции, а затем использовать контролируемое обучение для отдельного обучения.

C. Мы не можем создавать новые кластерные категории до обучения с учителем

D. Мы не можем использовать «идентификатор категории» кластера в качестве нового элемента функции, а затем использовать контролируемое обучение для отдельного обучения.

А. 2 и 4

Б. 1 и 2

С. 3 и 4

Д. 1 и 3

Ответ: Б

Мы можем построить разные модели для каждого кластера, чтобы повысить точность прогноза.

«Идентификатор категории» обучается как элемент функции, который может эффективно суммировать функции данных.

Так что правильно Б

241 Какое из следующих утверждений верно:

A. Модель машинного обучения, если она имеет высокий показатель точности, это всегда означает, что классификатор хороший.

B. Если вы увеличиваете сложность модели, частота ошибок при тестировании модели всегда будет уменьшаться.

C. Если вы увеличиваете сложность модели, то частота ошибок обучения модели всегда будет уменьшаться.

D. Мы не можем использовать «идентификатор категории» кластера в качестве нового элемента функции, а затем использовать контролируемое обучение для отдельного обучения.

A. 1

B. 2

C. 3

D. 1 and 3

Ответ: С

Проблема в переобучении и недообучении.

242 соответствует алгоритму дерева GradientBoosting, верно следующее утверждение:

A. При увеличении минимального количества разбиений выборки мы можем противостоять переоснащению

B. При увеличении минимального количества разбиений выборки это приведет к переоснащению

C. Когда мы уменьшаем количество выборок для обучения одного учащегося, мы можем уменьшить дисперсию

D. Когда мы уменьшаем количество выборок для обучения одного учащегося, мы можем уменьшить погрешность

А. 2 и 4

Б. 2 и 3

С. 1 и 3

Д. 1 и 4

Ответ: С

• Минимальное количество разделений выборки используется для управления параметром «переоснащения». Слишком высокое значение приведет к «недообучению», и этот параметр следует настроить с помощью перекрестной проверки.
• Второй момент основан на концепции смещения и дисперсии.

243 Какой из следующих графов является обучающей границей алгоритма KNN:

A) B

B) A

C) D

D) C

Е)

Ответ: Б

Алгоритм KNN определенно не является линейной границей, поэтому прямые границы не рассматриваются. Кроме того, этот алгоритм рассматривает классификацию ближайших k выборок, чтобы определить классификацию, поэтому граница должна быть неровной.

244 Если обученная модель имеет 100% точность на тестовом наборе, означает ли это, что она будет работать так же хорошо на новом наборе данных? :

О. Да, это показывает, что модель достаточно обобщена для поддержки новых наборов данных.

B. Нет, в модели не учитываются другие факторы, например данные о шуме.

Ответ: Б
Ни одна модель не всегда может адаптироваться к новым данным. Мы не можем быть на 100% точными.

245 Следующие методы перекрестной проверки:

I. Метод начальной загрузки с возвратом

ii. Перекрестная проверка с одним оставшимся тестовым образцом

iii. 5-кратная перекрестная проверка

iv. Дважды повторите проверку обучения со скидкой 50 %

Когда выборка равна 1000, следующий порядок времени выполнения является правильным:

A. i > ii > iii > iv

B. ii > iv > iii > i

C. iv > i > ii > iii

D. ii > iii > iv > i

Ответ: Б

• Метод Bootstrap — это традиционная случайная выборка, метод проверки, который проверяется один раз, и для обучения модели требуется только один раз, поэтому время минимально.
• Для кросс-валидации на тестовой выборке требуется n обучающих процессов (n — количество выборок), здесь необходимо обучить 1000 моделей.
• 5-кратная перекрестная проверка требует обучения 5 моделей.
• Повторите 5-кратную перекрестную проверку дважды и обучите 10 моделей.

все Б правильно

246 Выбор переменных используется для выбора наилучшего подмножества дискриминаторов Если мы хотим рассмотреть эффективность модели, какие соображения при выборе переменных мы должны принять во внимание? :

1. Несколько переменных на самом деле имеют одинаковую полезность
2. Насколько важны переменные для интерпретации модели?
3. Информация, которую несет функция
4. Перекрестная проверка

А. 1 и 4

Б. 1, 2 и 3

С. 1, 3 и 4

Д. Все вышеперечисленное

Ответ: С

Обратите внимание, что основное внимание в этом вопросе уделяется рассмотрению эффективности модели, поэтому не рассматривайте вариант 2.

247 Для модели линейной регрессии, включающей дополнительные переменные, может быть верно следующее:

1. И R-квадрат, и скорректированный R-квадрат являются инкрементными.
2. R-квадрат постоянен, скорректированный R-квадрат увеличивается.
3. R-квадрат уменьшается, скорректированный R-квадрат также уменьшается
4. R-квадрат уменьшается, скорректированный R-квадрат увеличивается

А. 1 и 2

Б. 1 и 3

С. 2 и 4

Д. Ничего из вышеперечисленного

Ответ: Д

R-квадрат не может определить оценки коэффициентов и смещение прогноза, поэтому мы оцениваем остаточные графики. Однако у R-квадрата есть проблемы, которых нет у R-квадрата и предсказанного R-квадрата.
Каждый раз, когда вы добавляете предиктор в модель, R-квадрат увеличивается или не изменяется.

Пожалуйста, смотрите эту ссылку для деталей:discussion.

248 Для обучения следующих трех моделей верно следующее утверждение:

1. Ошибка обучения первого изображения наибольшая по сравнению с двумя другими изображениями.
2. Эффект обучения последнего изображения лучший, потому что ошибка обучения наименьшая.
3. Второе изображение более надежно, чем первое и третье изображения, и является самой эффективной моделью среди трех.
4. Третье изображение переоснащено первыми двумя изображениями.
5. Три графика работают одинаково, потому что мы еще не тестировали набор данных.

А. 1 и 3

Б. 1 и 3

С. 1, 3 и 4

D. 5

Ответ: С

249 Какое из следующих предположений следует использовать для линейной регрессии? :

1. Поиск точек обзора важен, потому что линейная регрессия чувствительна к точкам обзора.
2. Линейная регрессия требует, чтобы все переменные соответствовали нормальному распределению.
3. Линейная регрессия предполагает отсутствие множественных линейных корреляций в данных.

А. 1 и 2

Б. 2 и 3

С. 1, 2 и 3

Д. Ничего из вышеперечисленного

Ответ: Д

• Следует учитывать точки Liqun, первая точка верна
• Не обязательно, конечно, если это нормальное распределение, то тренировочный эффект будет лучше
• Это нормально иметь небольшое количество множественных линейных корреляций, но мы хотим их избежать.

250 Когда мы строим линейную модель, мы обращаем внимание на корреляцию между переменными.При поиске коэффициента корреляции в матрице корреляции, если мы обнаружим, что коэффициент корреляции 3 пар переменных равен (Var1 и Var2, Var2 и Var3, Var3 и Var1) равно- 0,98, 0,45, 1,23. Что можно заключить:

1. Var1 и Var2 очень связаны
2. Так как Var и Var2 очень связаны, мы можем удалить один из них
3. Коэффициент корреляции 1,23 Var3 и Var1 невозможен

A. 1 and 3

B. 1 and 2

C. 1,2 and 3

D. 1

Ответ: С

• Коэффициенты корреляции Var1 и Var2 отрицательны, так что это множественная линейная корреляция, и мы можем рассмотреть возможность удаления одного из них.
• В общем случае, если коэффициент корреляции больше 0,7 или меньше -0,7, он сильно коррелирован.
• Диапазон коэффициента корреляции должен быть [-1,1]

251 В очень нелинейной и сложной переменной древовидная модель может работать лучше, чем общая регрессионная модель.

А. да

Б. неправильно

Ответ: А

252 Для объектов очень низкой размерности выбрать линейный или нелинейный классификатор?
Для нелинейных классификаторов многие признаки в низкоразмерном пространстве могут работать вместе, что приводит к линейной неразделимости.
1. Если количество функций велико, аналогично количеству образцов, выберите LR или SVM Linear Kernel в это время.
2. Если количество функций относительно невелико, а количество выборок среднее, не слишком большое и не слишком маленькое, используйте SVM+Gaussian Kernel.
3. Если количество признаков относительно невелико, а количество выборок велико, вам необходимо вручную добавить некоторые признаки, чтобы они стали первым случаем.

253 Обработка пропущенных значений собственных векторов
1. Много пропущенных значений. Откажитесь от функции напрямую, иначе она может привести к большому шуму, что плохо скажется на результатах.
2. Пропущенных значений мало, а пропущенные значения остальных признаков все в пределах 10%, с ними можно бороться разными способами:
1) Возьмите NaN непосредственно как признак, предполагая, что он представлен 0;
2) Заполнить средним значением;
3) Предсказывать заполнение с помощью алгоритмов, таких как случайные леса

254 Сравнение SVM, LR и дерева решений.
Сложность модели: SVM поддерживает функции ядра и может решать линейные и нелинейные задачи; LR-модели просты и быстры в обучении, подходят для решения линейных задач; деревья решений легко переобучить, и их необходимо обрезать
Функция потерь: потеря петли SVM, регуляризация LR L2, экспоненциальная потеря adaboost
Чувствительность к данным: SVM, добавляющий допуск, не чувствителен к выбросам, заботится только о опорном векторе и должен быть сначала нормализован; LR чувствителен к дальним точкам
Объем данных: используйте LR, когда объем данных велик, и используйте нелинейное ядро ​​SVM, когда объем данных мал, а функций мало.

255 В чем проблема плохого состояния?
После обучения модели небольшая модификация тестовой выборки приведет к совершенно другому результату, что является плохо обусловленной задачей.Прогнозирующая способность модели для неизвестных данных очень плохая, то есть ошибка обобщения велика.

256 Кратко опишите процесс алгоритма классификации ближайших соседей KNN?
1. Вычислить расстояние между каждой точкой выборки в обучающей выборке и тестовой выборке (общие показатели расстояния включают евклидово расстояние, расстояние Махаланобиса и т. д.);
2. Отсортируйте все значения расстояния выше;
3. Выберите первые k образцов с наименьшим расстоянием;
4. Проголосуйте в соответствии с метками k образцов, чтобы получить окончательную классификационную категорию;

257 Каковы наиболее часто используемые методы группового деления? Перечисление представляет собой алгоритм.
1. Кластеризация на основе разделов: K-means, k-medoids, CLARANS.
2. Иерархическая кластеризация: AGNES (снизу вверх), DIANA (сверху вниз).
3. Кластеризация на основе плотности: DBSACN, OPTICS, BIRCH (CF-Tree), CURE.
4. Грид-методы: STING, WaveCluster.
5. Кластеризация на основе моделей: EM, SOM, COBWEB.

258 Что из нижеперечисленного неверно в отношении слабого ученика в модели ансамблевого обучения?
А. Они часто не подходят
B. У них обычно высокая предвзятость, поэтому они не могут решать сложные учебные задачи
C. Они обычно переобуваются
Ответ: C, Слабые ученики — это особая часть проблемы. Таким образом, они обычно не переобучаются, а это означает, что слабые ученики обычно имеют низкую дисперсию и высокую предвзятость.

259 Какой из следующих вариантов подходит для описания K-кратной перекрестной проверки?
1. Увеличение K приведет к увеличению времени для результатов перекрестной проверки.
2. Большие значения K будут иметь более высокую уверенность в структуре перекрестной проверки, чем малые значения K.
3. Если K = N, то это называется перекрестной проверкой с исключением одного, где N — количество образцов в наборе проверки.
А. 1 и 2
Б. 2 и 3
С. 1 и 3
Д. 1, 2 и 3
Ответ (D): Большое значение K означает меньшую погрешность и большее время выполнения (и как Близко к предельному случаю: перекрестная проверка с исключением одного). Нам также необходимо учитывать компромисс между K-кратной точностью и дисперсией при выборе значения K.

260 Наиболее известными алгоритмами уменьшения размерности являются PAC и t-SNE. Примените эти два алгоритма к данным «X» соответственно и получите наборы данных «X_projected_PCA», «X_projected_tSNE». Что из следующего верно в отношении «X_projected_PCA» и «X_projected_tSNE»?
A. x_projected_pca можно интерпретировать в ближайшем соседнем пространстве
B. X_projected_tSNE можно интерпретировать в ближайшем соседнем пространстве
C. Оба могут быть объяснены в ближайшем соседнем пространстве
D. Ни то, ни другое не может быть объяснено в ближайшем соседнем пространстве.
Ответ (B): Алгоритм t-SNE уменьшает размерность данных за счет учета ближайших соседей. Таким образом, после использования t-SNE уменьшенную размерность можно объяснить в ближайшем соседнем пространстве. Но PCA не может.

261 Даны три переменные X, Y, Z. Коэффициенты корреляции Пирсона для (X, Y), (Y, Z) и (X, Z) равны C1, C2 и C3 соответственно. Теперь добавьте 2 ко всем значениям X (т.е. X+2), вычтите 2 из всех значений Y (т.е. Y-2) и оставьте Z одинаковым. Тогда коэффициенты корреляции (X, Y), (Y, Z) и (X, Z) после операции равны D1, D2 и D3 соответственно. Какова связь между D1, D2, D3 и C1, C2, C3?
A. D1= C1, D2 < C2, D3 > C3
B. D1 = C1, D2 > C2, D3 > C3
C. D1 = C1, D2 > C2, D3 < C3
D. D1 = C1, D2 < C2, D3 < C3
E. D1 = C1, D2 = C2, D3 = C3
Ответ (E): Коэффициент корреляции между признаками не меняется, когда признак добавляет или вычитает число.

262 Что нужно сделать в PCA, чтобы получить ту же проекцию, что и SVD?
A. Преобразуйте данные в нулевое среднее
B. Преобразование данных в нулевую медиану
С. не могу этого сделать
Ответ (A): PCA имеет ту же проекцию, что и SVD, когда данные имеют 0-средний вектор, в противном случае вы должны иметь в виду, что данные равны 0, прежде чем использовать SVD.

263 Предположим, у нас есть набор данных, который можно обучить со 100% точностью с помощью дерева решений глубины 6. Теперь рассмотрим два момента и на их основе выберем правильный вариант.
Примечание. Все остальные гиперпараметры одинаковы, все остальные факторы не изменяются.
1. Глубина 4 будет иметь большое смещение и низкую дисперсию
2. Глубина 4 будет иметь низкое смещение и низкую дисперсию
А. только 1
Б. только 2
С. 1 и 2
Д., ни один
Ответ (A): Если вы соответствуете дереву решений глубины 4 на таких данных, это означает, что оно с большей вероятностью не соответствует данным. Таким образом, в случае недообучения вы получите высокое смещение и низкую дисперсию.

264 Какой из следующих вариантов алгоритма k-средних можно использовать для получения глобального минимума?
A. Попробуйте запустить алгоритм для разных инициализаций центроидов.
B. Отрегулируйте количество итераций
C. Найдите оптимальное количество кластеров
Д. Все вышеперечисленное
Ответ (D): Все можно использовать для отладки, чтобы найти глобальный минимум.

265 Вы используете логистическую регрессию с регуляризацией L1 для бинарной классификации, где C — параметр регуляризации, а w1 и w2 — коэффициенты x1 и x2. Что из следующего верно, когда вы увеличиваете значение C от 0 до очень большого значения?
A. Первый w2 становится 0, затем w1 также становится 0
B. Первый w1 становится 0, затем w2 также становится 0
C. w1 и w2 одновременно становятся 0
D. Даже после того, как C станет большим значением, ни w1, ни w2 не могут стать 0
Ответ (C): Функция регуляризации L1 показана ниже, поэтому w1 и w2 могут быть равны 0. В то же время w1 и w2 симметричны и не приводят к состоянию, когда один равен 0, а другой нет.

266 Предположим, вы используете функцию логарифмических потерь в качестве критерия оценки. Какой из следующих вариантов является правильной интерпретацией log-loss как критерия оценки.
О. Если классификатор уверен в неправильной классификации, журнал потерь будет жестко критиковать его.
B. Для конкретного наблюдения классификатор присваивает очень маленькую вероятность правильному классу, и тогда соответствующее распределение логарифмических потерь будет очень большим.
Чем ниже C.log-loss, тем лучше модель
Д. Все вышеперечисленное
Ответ (Д)

267 Какой из следующих вариантов является детерминированным алгоритмом?
A.PCA
B.K-Means
C. Ничего из вышеперечисленного
Ответ (A): Детерминированные алгоритмы показывают, что результат алгоритма не меняется от запуска к запуску. Если мы снова запустим алгоритм, PCA даст тот же результат, а k-means — нет.

Каковы методы нормализации 268 собственных векторов?
Преобразование линейной функции, выражение выглядит следующим образом:
y=(x-MinValue)/(MaxValue-MinValue)
Преобразование логарифмической функции, выражение выглядит следующим образом:
y=log10 (x)
Функция арккотангенса преобразует , выражение выглядит следующим образом:
y=arctan(x)*2/PI
Вычтите среднее, разделите на дисперсию:
y=(x-means)/ variance

269 ​​Алгоритмы оптимизации, их преимущества и недостатки?
Напоминание: отвечая на вопросы интервьюера, вы, как правило, отвечаете на вопросы широко, чтобы не застрять в мелких технических спорах, и в конце концов легко убить себя.
Короче
1) Стохастический градиентный спуск
Преимущества: может решить задачу локального оптимального решения в определенной степени
Недостаток: медленная сходимость
2) Пакетный градиентный спуск
Преимущества: легко попасть в локальное оптимальное решение
Недостаток: более быстрая сходимость
3) градиентный спуск mini_batch
Сочетая преимущества и недостатки стохастического градиентного спуска и пакетного градиентного спуска, нейтрализованный метод извлечения.
4) метод Ньютона
Когда метод Ньютона повторяется, ему необходимо вычислить матрицу Гессе, Когда размерность высока, вычислить матрицу Гессе сложнее.
5) Метод квазиньютона
Метод квази-Ньютона — это алгоритм, извлеченный для улучшения вычисления матрицы Гессе в итеративном процессе метода Ньютона. Метод, который он принимает, заключается в решении проблемы путем аппроксимации гессиана.

особенно
Отличие от данных каждой партии
Градиентный спуск: каждый раз тренируйтесь со всем набором данных
Преимущества: получено оптимальное решение
Недостатки: медленная работа, может не хватать памяти
Стохастический градиентный спуск: тренируйтесь с одними данными за раз
Плюсы: Быстрое обучение, нет проблем с памятью
Недостатки: легко колеблется, может не достичь оптимального решения
Мини-пакетный градиентный спуск
Преимущества: быстрая скорость обучения, отсутствие проблем с памятью, меньше колебаний
Недостаток: может не достичь оптимального решения
С точки зрения методов оптимизации:
Стохастический градиентный спуск (SGD)
недостаток
Трудно выбрать подходящую скорость обучения
Используйте одинаковую скорость обучения для всех параметров
легко сходятся к локальному оптимуму
может застрять в седловой точке
SGD+Momentum
преимущество:
Наращивайте темп и ускоряйте обучение
При колебании вблизи локального экстремума выпрыгнуть из ловушки за счет импульса
Momentum уменьшает турбулентность при изменении направления градиента.
Nesterov Mementum
Аналогичен MEMENTUM, преимущества:
Избегайте слишком быстрой
Улучшить чувствительность
AdaGrad
преимущество:
Контролируйте скорость обучения, каждый компонент имеет свою собственную скорость обучения
Подходит для разреженных данных
недостаток
Зависит от глобальной скорости обучения
Скорость обучения установлена ​​слишком большой, а ее эффект слишком чувствителен
На более позднем этапе знаменатель для корректировки скорости обучения накапливается слишком много, что приводит к очень низкой скорости обучения и досрочному завершению обучения.
RMSProp
преимущество:
Решена проблема раннего окончания позднего периода.
недостаток:
По-прежнему полагаемся на глобальную скорость обучения
Adam
Комбинация Adagrad и RMSProp
преимущество:
Сочетает в себе преимущества Adagrad, который хорошо справляется с разреженными градиентами, и RMSprop, который хорошо справляется с нестационарными целями.
Вычислить разные скорости адаптивного обучения для разных параметров
Также подходит для преимущественно невыпуклой оптимизации — подходит для больших наборов данных и многомерных пространств.
метод Ньютона
Когда метод Ньютона повторяется, ему необходимо вычислить матрицу Гессе, Когда размерность высока, вычислить матрицу Гессе сложно.
Квазиньютоновский метод
Метод квази-Ньютона — это алгоритм, извлеченный для улучшения вычисления матрицы Гессе в итеративном процессе метода Ньютона. Метод, который он принимает, заключается в решении проблемы путем аппроксимации гессиана.

Разница и связь между 270 RF и GBDT?
1) Тот же момент: все они состоят из нескольких деревьев, и конечный результат определяется несколькими деревьями вместе.
2) Отличия:
a Деревья, составляющие случайный лес, могут быть либо деревом классификации, либо деревом регрессии, в то время как GBDT состоит только из деревьев регрессии.
b Деревья, составляющие случайный лес, могут генерироваться параллельно, тогда как GBDT генерируется последовательно.
c Результатом случайного леса является большинство голосов, а GBDT — сумма нескольких деревьев.
d Случайный лес не чувствителен к выбросам, в то время как GBDT более чувствителен к выбросам.
e Случайный лес предназначен для уменьшения дисперсии модели, а GBDT — для уменьшения систематической ошибки модели.
f Случайный лес не требует нормализации признаков. GBDT требует нормализации признаков

271 Коэффициент корреляции Пирсона двух переменных равен нулю, но значения двух переменных также могут быть связаны.
А правильно
ошибка Б
Ответ (A): коэффициент корреляции Пирсона может измерять только линейные корреляции, но не нелинейные. Например, y=x^2, x и y имеют сильную нелинейную связь.

Какой из следующих 272 / HyperParameter некоторое увеличение может вызвать случайные лесные данные по поводу пригодности?
Количество A-деревьев
Глубина B-дерева
C скорость обучения
Ответ (B): В общем, увеличение глубины дерева может привести к переоснащению модели. Скорость обучения не является гиперпараметром для случайных лесов. Увеличение количества деревьев может привести к недостаточной подгонке.

273 8 фактических значений целевой переменной на обучающем наборе [0,0,0,1,1,1,1,1], какова энтропия целевой переменной?
A. -(5/8 log(5/8) + 3/8 log(3/8))
B. 5/8 log(5/8) + 3/8 log(3/8)
C. 3/8 log(5/8) + 5/8 log(3/8)
D. 5/8 лог.(3/8) – 3/8 лог.(5/8)
Ответ (А)

274 Следующее описание алгоритма последовательного анализа шаблонов неверно? (С)
И алгоритм AprioriAll, и алгоритм GSP принадлежат к классу алгоритмов Apriori и оба генерируют большое количество последовательностей-кандидатов.
B Алгоритм FreeSpan и алгоритм PrefixSpan не генерируют большое количество последовательностей-кандидатов и не требуют многократного сканирования исходной базы данных.
C С точки зрения пространственно-временной эффективности выполнения FreeSpan лучше, чем PrefixSpan.
D По сравнению с AprioriAll эффективность выполнения GSP относительно высока.
@CS Qingque, источник анализа этого вопроса:Blog.csdn.net/ Президентский дворец 312 / Ruiti ...
1. Априорный алгоритм: исходный алгоритм анализа ассоциаций, который используется для поиска часто встречающихся наборов элементов из наборов элементов-кандидатов. Два шага: самостоятельное подключение и обрезка. Недостаток: нет хронологической последовательности.
Алгоритм AprioriAll: процесс выполнения алгоритма AprioriAll такой же, как и у алгоритма Apriori, разница заключается в генерации набора кандидатов, который необходимо различать до и после последних двух элементов.
Алгоритм AprioriSome: его можно рассматривать как улучшение алгоритма AprioriAll.
Сравнение алгоритма AprioriAll и алгоритма AprioriSome:
(1) AprioriAll использует для вычисления всех кандидатов Ck, а AprioriSome будет напрямую использовать для вычисления всех кандидатов, поскольку содержит , поэтому AprioriSome создаст больше кандидатов.
(2) Хотя AprioriSome вычисляет кандидатов путем перехода, из-за того, что генерируется много кандидатов, он может заполнить память до этапа возврата.
(3) Если память заполнена, AprioriSome будет вынужден вычислить последнюю группу кандидатов.
(4) Для более низкой поддержки есть более длинные большие последовательности, алгоритм AprioriSome лучше.
2. Алгоритм GPS: априорно-подобный алгоритм. Он используется для обнаружения частых наборов элементов с временным приоритетом из наборов элементов-кандидатов. Два шага: самостоятельное подключение и обрезка. Недостатки: каждый раз, когда вычисляется опора, необходимо сканировать весь набор данных; в случае длинного шаблона последовательности алгоритм трудно обрабатывать, потому что соответствующий шаблон короткой последовательности слишком велик.
3. Алгоритм SPADE. Улучшенный алгоритм GPS позволяет избежать проблемы многократного сканирования полной таблицы набора данных D. Это примерно то же самое, что и алгоритм GSP, с дополнительной записью ID_LIST, так что каждый ID_LIST получается в соответствии с последним ID_LIST (таким образом, получая поддержку). Размер ID_LIST уменьшается по мере продолжения сокращения. Таким образом, решается задача многократного сканирования набора данных D алгоритмом GSP.
4. Алгоритм FreeSpan: последовательное извлечение паттернов из частых проекций паттернов. Основная идея — алгоритм «разделяй и властвуй». Основная идея состоит в том, чтобы использовать частые элементы для рекурсивного проецирования базы данных последовательности в меньший набор баз данных проекций и генерировать фрагменты подпоследовательностей в каждой базе данных проекций. Этот процесс разделяет данные и набор частых паттернов, которые необходимо изучить, и ограничивает каждое исследование меньшей базой данных прогнозов, которые ему подходят.
Преимущество: уменьшает накладные расходы, необходимые для создания последовательностей-кандидатов. Недостатки: может быть создано много баз данных проекций, что очень дорого и создаст много
5. Алгоритм PrefixSpan: производный от FreeSpan. Скорость усадки даже выше, чем у FreeSpan.

275 следующие функции, которые обычно не используются в алгоритме текстовых классификаций выбора? (Д)
Значение критерия хи-квадрат
B Взаимная информация
C Прирост информации
D анализ главных компонентов

276 Часто используются методы выбора признаков. Шесть общих методов выбора признаков:
1) DF (частота документа) частота документа
DF: подсчитайте количество документов, в которых появляются характерные слова, чтобы измерить важность характерного слова.
2) метод взаимной информации MI (взаимная информация)
Метод взаимной информации используется для измерения количества прямой информации между характерными словами и категориями документов.
Если частота характерного слова очень низкая, оценка взаимной информации будет высокой, поэтому метод взаимной информации имеет тенденцию к «низкочастотным» характерным словам.
Для слов с относительно высокой частотой слов оценка будет ниже, если слово несет большое количество информации, метод взаимной информации станет неэффективным.
3) (Получение информации) Метод получения информации
Важность характерного слова измеряется добавлением до и после информации в корпусе в отсутствие и при наличии характерного слова.
4) CHI (хи-квадрат) метод теста хи-квадрат
Используется основная идея «проверки гипотез» в статистике: во-первых, предполагается, что характерное слово не имеет прямого отношения к категории
Если тестовое значение, рассчитанное с использованием распределения CHI, больше отклоняется от порога, то с большей уверенностью можно отвергнуть нулевую гипотезу и принять альтернативную гипотезу нулевой гипотезы: характерные слова и категории имеют высокую степень корреляции.
5) WLLR (взвешенный логарифмический коэффициент правдоподобия) взвешенная логарифмическая вероятность
6) WFO (Weighted Frequency and Odds) взвешенная частота и вероятность
blog.CSDN.net/Президентский дворец 312/Арити…

277 В методе уравнения интерфейса класс-область, каково приближенное или точное решение проблемы классификации в случае линейной неразделимости? (Д)
A Алгоритм обучения нейронной сети псевдообратного метода радиального базиса (RBF) заключается в решении случая линейной неразделимости
B Алгоритм H-K на основе квадратичного критерия: весовой вектор получается по критерию минимальной среднеквадратической ошибки, а квадратичный критерий решает нелинейные задачи
C Метод потенциальной функции - нелинейный
Алгоритм персептрона D - алгоритм линейной классификации

278 Какие методы можно использовать при выборе признаков в машинном обучении? (Е)
А. Хи-квадрат
Б. Получение информации
C. Средняя взаимная информация
D. Ожидаемая перекрестная энтропия
Е и выше

279 Среди следующих методов методы, которые нельзя использовать для уменьшения размерности признаков, включают (E)
Анализ главных компонентов PCA
B Линейный дискриминантный анализ LDA
C Глубокое обучение SparseAutoEncoder
D Матрица сингулярное значение Разложение SVD
E Наименьшие квадраты Наименьшие квадраты
Методы уменьшения размерности признаков в основном включают:
PCA, LLE, Изомап
SVD похож на PCA и также может рассматриваться как метод уменьшения размерности.
LDA: линейный дискриминантный анализ, который можно использовать для уменьшения размерности.
AutoEncoder: структура AutoEncoder такая же, как и у скрытого слоя нейронной сети, состоит из входа L1, выхода L2, а середина представляет собой весовое соединение. Автоэнкодер получает входную реконструкцию от L3 до L2 и минимизирует разницу между L3 и L1 для обучения получению весов. При таких весовых параметрах полученный L2 может максимально сохранить информацию L1.
Размерность выхода L2 AUTOENCODER определяется количеством выходных нейронов. Когда выходное измерение больше, чем L1, необходимо добавлять редкий штрафной термин для объективной функции обучения для предотвращения непосредственного копирования L1 (веса все 1). Итак, это называется свободным (предложенным Andrew NG).
Вывод: SparseAutoencoder в большинстве случаев имеет увеличенную размерность, поэтому метод, называемый уменьшением размерности признаков, является неточным.

280 В общем, метод ближайших соседей k-NN работает лучше в случае (A).
А. Образцов много, но типичность невысокая C. Небольшая выборка, но хорошая типичность
б. Образец сгруппирован D. Образцы распределяются по цепочке

Какой из следующих методов можно использовать для уменьшения размерности многомерных данных:
A LASSO
Анализ основных компонентов B
C Кластерный анализ
D-вейвлет-анализ
E Линейный дискриминантный метод
F Лапласова карта объектов
лассо добивается уменьшения размерности за счет уменьшения параметров;
Излишне говорить, что ПК
Метод линейной дискриминации, то есть LDA, находит пространство, которое делает расстояние внутри класса наименьшим, а расстояние между классами наибольшим, поэтому его можно рассматривать как уменьшение размерности;
Вейвлет-анализ имеет некоторые операции преобразования для уменьшения других помех, которые можно рассматривать как уменьшение размерности.
Лапласа см. http://f.dataguru.cn/thread-287243-1-1.html

281 Следующее описание верно (D)
SVM — это классификатор, который находит гиперплоскость с наименьшим ребром, поэтому его также часто называют классификатором наименьшего края.
B В кластерном анализе чем больше сходство внутри кластера, чем больше разница между кластерами, тем хуже эффект кластеризации.
C В дереве решений по мере того, как вход узла в дерево становится слишком большим, хотя ошибка обучения модели продолжает уменьшаться, ошибка теста начинает увеличиваться, что является причиной недостаточной подгонки модели.
D Кластерный анализ можно рассматривать как неконтролируемую классификацию.

282 Какое из следующих утверждений неверно (С)
SVM устойчив к шуму, такому как выборки шума из других подразделений.
B В алгоритме adaboost коэффициент обновления веса всех неправильно классифицированных выборок не одинаков.
Повышение C и бэггинг — это методы объединения нескольких классификаторов для голосования, оба из которых определяют вес одного классификатора в соответствии с правильной ставкой.
D Учитывая n точек данных, если половина из них используется для обучения, а половина — для пользовательского тестирования, разница между ошибкой обучения и ошибкой теста будет уменьшаться по мере увеличения n.
Классификатор Soft margin устойчив к шуму.
B См. http://blog.csdn.net/v_july_v/article/details/40718799
Повышение C заключается в определении веса в соответствии с точностью классификатора, а не в мешках.
Изменение тренировочного набора D повысит надежность модели.

283 Что касается нормального распределения, какое из следующих утверждений неверно:
А. Нормальное распределение имеет центральность и симметрию
B. Среднее значение и дисперсия нормального распределения могут определять положение и форму нормального распределения.
C. Нормальное распределение имеет асимметрию 0 и эксцесс 1.
D. Стандартное нормальное распределение имеет среднее значение 0 и дисперсию 1.
Ответ C, стандартное нормальное распределение.

284 В следующих различных сценариях используемый метод анализа неверен:
A. В соответствии с данными о бизнесе и услугах продавцов за последний год используйте алгоритм кластеризации для определения уровня продавцов Tmall в соответствующих основных категориях.
B. Согласно данным о транзакциях продавцов за последние годы, используйте алгоритм кластеризации, чтобы соответствовать формуле возможного объема потребления пользователя в следующем месяце.
C. Используйте алгоритм правила ассоциации, чтобы проанализировать, подходят ли покупатели, которые приобрели подушки для автомобильных сидений, для рекомендации подушек для автомобильных сидений.
D. В соответствии с информацией о продукте, недавно приобретенном пользователем, используйте алгоритм дерева решений, чтобы определить, может ли покупатель Taobao быть мужчиной или женщиной.

285 Что такое градиентный взрыв?
Градиент ошибки — это направление и величина, вычисляемые во время обучения нейронной сети для обновления весов сети в правильном направлении и на правильную величину.
В глубоких сетях или рекуррентных нейронных сетях градиенты ошибок могут накапливаться в обновлениях, превращаясь в очень большие градиенты, которые затем приводят к большим обновлениям весов сети и, таким образом, делают сеть нестабильной. В крайних случаях значение веса становится настолько большим, что оно переполняется, что приводит к значениям NaN.
Экспоненциальный рост, вызванный повторным умножением градиентов (значения больше 1,0) между слоями сети, может привести к взрыву градиента.

286 Какие проблемы может вызвать взрыв градиента?
В глубоких многослойных сетях персептрона взрыв градиентов может вызвать нестабильность сети, при этом лучшим результатом будет невозможность обучения на обучающих данных, а худшим результатом будут веса NaN, которые больше не могут обновляться.
Взрыв градиентов вызывает нестабильность в процессе обучения. — «Глубокое обучение», 2016.
В рекуррентной нейронной сети взрыв градиента приведет к тому, что сеть будет нестабильной и не сможет учиться на обучающих данных, Наилучшим результатом будет то, что сеть не сможет изучить длинные данные входной последовательности.

Как определить, есть ли взрыв градиента?
Взрыв градиента во время тренировки будет сопровождаться некоторыми тонкими сигналами, такими как:
Модель не может получать обновления (например, с низкими потерями) из обучающих данных.
Модель нестабильна, что приводит к значительным изменениям потерь в процессе обновления.
Во время обучения потеря модели становится NaN.
Если вы обнаружите эти проблемы, вам нужно внимательно посмотреть на проблемы взрывающегося градиента.
Вот несколько более выраженных сигналов, которые помогут подтвердить наличие проблемы взрыва градиента.
Градиент модели быстро увеличивается во время обучения.
Веса модели становятся значениями NaN во время обучения.
Во время обучения значение градиента ошибки для каждого узла и слоя постоянно превышает 1,0.

287 Как решить проблему взрыва градиента?
Есть много способов решить проблему взрывающегося градиента, и в этом разделе перечислены некоторые из лучших способов поэкспериментировать.
1. Перепроектируйте сетевую модель
В глубине нейронной сети взрыв градиента может быть решен путем повторного проектирования меньшего слоев.
Использование меньшего размера пакета также полезно для обучения сети.
В рекуррентных нейронных сетях обновление меньшего количества предыдущих временных шагов во время обучения (усеченное обратное распространение во времени) может облегчить проблему взрывающегося градиента.
2. Используйте функцию активации ReLU
В глубоких многослойных нейронных сетях персептрона взрыв градиентов может происходить из-за функций активации, таких как ранее популярные функции Sigmoid и Tanh.
использоватьReLUФункции активации могут уменьшить взрывные градиенты. Использование функции активации ReLU — это новая практика, которая лучше всего подходит для скрытых слоев.
3. Использование длинных краткосрочных сетей памяти
В рекуррентных нейронных сетях могут возникать взрывные градиенты из-за нестабильности, присущей обучению определенной сети, например обратное распространение во времени, по существу превращающее рекуррентную сеть в глубокую многослойную нейронную сеть персептрона.
Использование клеток долговременной кратковременной памяти (LSTM) и связанных с ними структур нейронов воротного типа может уменьшить проблему взрывающегося градиента.
использоватьLSTMЯчейки — это передовые методы предсказания последовательности, подходящие для рекуррентных нейронных сетей.
4. Используйте градиентную обрезку
В очень глубоких многослойных сетях перцептронов с большими размерами пакетов и LSTM с длинными входными последовательностями все еще возможны взрывные градиенты. Если взрывные градиенты все еще возникают, вы можете проверить и ограничить величину градиентов во время тренировки. ЭтоГрадиентное усечение.
Существует простое и эффективное решение для работы со взрывающимися градиентами: если градиенты превышают пороговое значение, обрезать их.
- «Нейросетевые методы обработки естественного языка», 2017.
В частности, проверьте, превышает ли значение градиента ошибки пороговое значение, если да, обрежьте градиент и установите градиент равным пороговому значению.
Усечение градиента может в некоторой степени смягчить проблему взрывающегося градиента (усечение градиента, то есть пороговое значение градиента перед выполнением шага градиентного спуска).
- «Глубокое обучение», 2016.
В библиотеке глубокого обучения Keras вы можете использовать усечение градиента, установив параметры clipnorm или clipvalue в оптимизаторе перед тренировкой.
Значения по умолчанию: clipnorm=1.0 , clipvalue=0.5. Видеть:Доступно в RAS.IO/optimizers/…
5. Используйте регуляризацию веса
Если взрывной градиент сохраняется, можно попробовать другой подход, который заключается в проверке размера весов сети и наложении штрафа на функцию потерь, которая дает большие значения веса. Этот процесс известен как регуляризация веса и обычно представляет собой либо штраф L1 (абсолютное значение веса), либо штраф L2 (квадратный вес).
Использование штрафного члена L1 или L2 для повторяющихся весов может помочь смягчить взрывные градиенты.
——О сложности обучения рекуррентных нейронных сетей, 2013.
В библиотеке глубокого обучения Keras вы можете выполнить регуляризацию веса, установив параметр kernel_regularizer для слоя и используя регуляризатор L1 или L2.

288 Что такое вход и выход нейронной сети LSTM?
@YJango, источник анализа этого вопроса:Ууху. Call.com/question/41…
4 января 2017 г. СтатьяРекуррентные слои — Введение

• Первое, что нужно уяснить, это то, что все единицы, обрабатываемые нейронной сетью, это: векторы

Вот почему вы увидите, что тренировочные данные будут матрицами и тензорами.

• Регулярный ввод и вывод с прямой связью: матрицы

Форма входной матрицы: (n_samples, dim_input)
Форма выходной матрицы: (n_samples, dim_output)
Примечание. При реальном тестировании/обучении вход и выход сети являются просто векторами. Измерение n_samples добавляется для одновременного обучения нескольких образцов и поиска среднего градиента для обновления веса Это называется мини-пакетным градиентным спуском. Если n_samples равно 1, то этот метод обновления называется стохастическим градиентным спуском (SGD).
Вход и выход Feedforward по существу являются одним вектором.

• Обычный рекуррентный (RNN/LSTM/GRU) ввод и вывод: тензоры

Входная форма тензора: (time_steps, n_samples, dim_input)
Форма выходного тензора: (time_steps, n_samples, dim_output)
Примечание. Метод обучения мини-пакетного градиентного спуска также сохраняется, но разница в том, что добавляется измерение временного шага.
Суть входа Recurrent в любой момент времени по-прежнему один вектор, но векторы в разное время вводятся в сеть по порядку. Поэтому вы можете предпочесть понимать это как последовательность векторов или матрицу.

Код Python представляет предсказанные слова:

import numpy as np

#当前所累积的hidden_state,若是最初的vector，则hidden_state全为0
hidden_state=np.zeros((n_samples, dim_input))

#print(inputs.shape)： （time_steps, n_samples,  dim_input)
outputs = np.zeros((time_steps, n_samples, dim_output))

for i in range(time_steps):
    #输出当前时刻的output，同时更新当前已累积的hidden_state
    outputs[i],hidden_state = RNN.predict(inputs[i],hidden_state)
#print(outputs.shape)： (time_steps, n_samples, dim_output)

Но следует отметить, что выход рекуррентных сетей также может быть матрицей, а не трехмерным тензором, в зависимости от того, как вы его спроектируете.

1. Если вы хотите использовать серию последовательностей для прогнозирования другой серии последовательностей, то ввод и вывод являются тензорами (например, распознавание речи или машинный перевод, китайское предложение переводится в английское предложение (слово считается вектором) , а машинный перевод - это частный случай, т.к. длина двух последовательностей может быть разной, используйте seq2seq;
2. Если вы хотите использовать последовательность для прогнозирования значения, входные данные представляют собой тензор, а выходные данные — матрицу (например, анализ настроений заключается в использовании последовательности слов для прогнозирования настроения говорящего).

Что Feedforward может делать, так это взаимно однозначное отображение вектор-вектор,
Recurrent расширяет это до сопоставления последовательности с последовательностью.
Но один вектор также можно рассматривать как последовательность длины 1. Итак, существует несколько типов, как показано ниже:

За исключением один к одному в крайнем левом углу, который может выполнять прямая связь, правая сторона расширяется с помощью Recurrent.

Если вы хотите узнать больше

• Латеральную операцию Recurrent можно рассматривать как накопление того, что произошло, и механизм ячейки памяти LSTM выберет, запомнить или забыть накопленную информацию, чтобы предсказать результат в определенный момент.
• Если понимать с точки зрения вероятности: это постоянное условие того, что произошло, чтобы постоянно сокращать пространство выборки.
• Идея RNN такова: текущий выход зависит не только от текущего входа, но и от предыдущего состояния, можно понять, что текущий выход вычисляется из двух входов текущего входа и предыдущего скрытого состояния. И после каждого расчета будет оставаться информация в предыдущем скрытом состоянии для следующего расчета.

289 Какое из следующих утверждений о PMF (функция массы вероятности), PDF (функция плотности вероятности), CDF (кумулятивная функция распределения) неверно?
A.PDF описывает вероятность непрерывной случайной величины в определенном интервале значений.
B. CDF - это интеграл PDF на определенном интервале.
C.PMF описывает вероятность дискретной случайной величины в определенной точке значения.
D. Существует распределенная функция CDF H(x), тогда H(a) равно P(X
Правильный ответ: А
Разобрать:
Функция массы вероятности (PMF) — это вероятность дискретной случайной величины при каждом конкретном значении.
Функция плотности вероятности (PDF) определяется для непрерывной случайной величины и не является вероятностью сама по себе, это вероятность только после интегрирования значения непрерывной случайной величины.
Кумулятивная функция распределения (CDF) может полностью описать распределение вероятностей реальной случайной величины X и является интегралом функции плотности вероятности.

290 для всех действительных чисел x против pdf. Каковы основные предположения линейной регрессии? (АБДЕ)
A. Член случайной ошибки представляет собой случайную величину с ожидаемым значением 0;
B. Член случайной ошибки имеет одинаковую дисперсию для всех наблюдений объясняющей переменной;
C. Члены случайной ошибки связаны друг с другом;
D. Объясняющая переменная является детерминированной, а не случайной величиной и не зависит от члена случайной ошибки;
E. Член случайной ошибки следует нормальному распределению При работе с категориальными признаками распределение категориальных переменных в тестовом наборе заранее неизвестно. Чтобы применить однократное кодирование к категориальным функциям. Итак, каковы возможные трудности в применении одноразовых кодов к категориальным переменным в обучающем наборе?
A. Не все категории категориальных переменных присутствуют в тестовом наборе.
B. Распределение частот классов отличается в обучающей выборке и тестовой выборке.
C. Обучающая и тестовая выборки обычно имеют одинаковое распределение.
Ответ: A, B. Если категория присутствует в тестовом наборе, но отсутствует в обучающем наборе, одноразовый код не сможет закодировать категорию, что является основной трудностью. Нам нужно быть осторожными, если распределения частот тренировочного и тестового наборов не совпадают.

291 Предположим, вы используете функцию активации X в скрытых слоях нейронной сети. При любом входе в конкретный нейрон вы получите результат «-0,0001». Какой из следующих функций активации может быть X?
A. ReLU
B. tanh
C. SIGMOID
Д. Ничего из вышеперечисленного
Ответ: B, функция активации может быть tanh, потому что диапазон значений функции (-1,1).

292 Какие из следующих описаний ошибок «Тип 1 (Тип-1)» и «Тип 2 (Тип-2)» верны?
A. Тип 1 обычно называют ложноположительным классом, а тип 2 обычно называют ложноотрицательным классом.
B. Тип 2 обычно называют ложноположительным классом, а тип 1 обычно называют ложноотрицательным классом.
C. Ошибки 1-го рода обычно возникают, когда гипотеза отвергается, хотя она верна.
Ответы (A) и (C): при статистической проверке гипотез ошибка типа I относится к ложному отклонению правильной гипотезы или ложноположительной ошибке, а ошибка типа II обычно относится к ложному принятию ложной гипотезы или ложноотрицательной ошибке.

293 Какой из объектов на изображении ниже является мультиколлинеарным?
А. Особенности на рисунке 1
B. Особенности на рисунке 2
C. Особенности на рисунке 3
D. Элементы на рисунках 1 и 2
E. Особенности на рисунках 2 и 3
F. Особенности на рисунках 1 и 3
Ответ (D): на рисунке 1 признаки сильно положительно коррелированы, а на рисунке 2 признаки сильно отрицательно коррелированы. Таким образом, особенности этих двух графиков являются многомерными коллинеарными характеристиками.

Выявлены многомерные коллинеарные признаки. Итак, каковы возможные следующие шаги?
A. Удалите две коллинеарные переменные B. Вместо двух переменных удалите одну
C. Удаление коррелирующих переменных может привести к потере информации, и можно использовать регрессионную модель со штрафом (например, гребенчатую или лассо-регрессию).
Ответы (B) и (C): поскольку удаление двух переменных приведет к потере всей информации, мы можем удалить только одну функцию или также можем использовать алгоритмы регуляризации (например, L1 и L2).

294 Добавление неважной функции в модель линейной регрессии может вызвать ?
A. Увеличение R-квадрата
B. Уменьшить R-квадрат
Ответ (A): после добавления признака в пространство признаков, независимо от того, важен он или нет, R-квадрат обычно увеличивается.

295 Предположим, что классы целевой переменной сильно разбалансированы, т.е. основной класс занимает 99% обучающих данных. Теперь ваша модель на тестовом наборе имеет точность 99%. Итак, какое из следующих утверждений верно?
A. Точность не подходит для измерения проблем несбалансированного класса.
B. Точность подходит для измерения проблем несбалансированного класса
C. Точность и полнота подходят для измерения проблем несбалансированного класса.
D. Точность и полнота не подходят для измерения проблем несбалансированного класса.
Ответы (А) и (С)

296 Что такое предвзятость и дисперсия?
Ошибка обобщения может быть разложена на квадрат смещения плюс дисперсия плюс шум. Отклонение измеряет степень отклонения между ожидаемым прогнозом и фактическим результатом алгоритма обучения и описывает подгоночную способность самого алгоритма обучения.Влияние, шум выражает нижнюю границу ожидаемой ошибки обобщения, которую любой алгоритм обучения на текущем задача может быть достигнута и характеризует сложность самой проблемы. Смещение и дисперсия обычно называются смещением и дисперсией. Как правило, чем сильнее степень обучения, тем меньше смещение и больше дисперсия. Ошибка обобщения обычно имеет минимальное значение в середине. Если смещение велико, а дисперсия мала, ее обычно называют недостаточной подгонкой, а маленькое отклонение и большую дисперсию называют переобучением. отклонение:дисперсия:

297 Как решить проблему предвзятости и дисперсии? Перекрестная проверка
Решение с высоким смещением: бустинг, сложные модели (линейная модель, увеличение слоя нейронной сети), больше возможностей
Решения с высокой вариативностью: маркировка, упрощение модели, уменьшение размерности

298 Какие модели решает алгоритм EM, почему бы не использовать метод Ньютона или метод градиентного спуска?
Модели, решаемые с помощью алгоритма EM, обычно имеют GMM или совместную фильтрацию, а k-средние фактически принадлежат EM. Алгоритм EM определенно сойдется, но он может сойтись к локальному оптимуму. Поскольку количество суммируемых членов будет увеличиваться экспоненциально с увеличением количества скрытых переменных, это вызовет проблемы при вычислении градиента.

Как xgboost оценивает функции? В процессе обучения признаки точек разделения выбираются по индексу Джини, чем больше раз выбирается признак, тем выше оценка признака. [python] #важность функции
print(model.feature_importances_)  
# plot  pyplot.bar(range(len(model.feature_importances_)), model.feature_importances_)  
pyplot.show()  ==========  
# plot feature importance  
plot_importance(model)  
pyplot.show()

299 Что такое ООБ? Как рассчитывается OOB в случайном лесу и каковы его преимущества и недостатки?
При бэггинг-методе около 1/3 выборок Bootstrap не будут фигурировать в наборе выборок, каждый раз собираемом Bootstrap, и, разумеется, не будут участвовать в построении дерева решений. называется out-of-bag data oob (out of bag), который можно использовать для замены метода оценки погрешности тестового набора.
Ошибка отсутствия упаковки (oob) рассчитывается следующим образом:
Для сгенерированного случайного леса проверьте его производительность с данными из пакета Предполагая, что общее количество данных из пакета равно O, используйте данные из пакета O в качестве входных данных и введите ранее сгенерированный классификатор случайного леса, классификатор даст O Соответствующую классификацию каждых данных, поскольку тип данных O известен, правильная классификация используется для сравнения результатов классификатора случайного леса и количества неправильных классификаций классификатор случайного леса подсчитывается. Размер ошибки данных = X/O; было доказано, что это несмещенная оценка, поэтому нет необходимости в перекрестной проверке или отдельном наборе тестов в алгоритме случайного леса для получения несмещенной оценки ошибка набора тестов. 

300 Предположим, что в mp3-файле Чжан Саня 1000 песен, и теперь я хочу разработать случайный алгоритм для их случайного воспроизведения. В отличие от обычного случайного режима, Чжан Сан надеется, что вероятность того, что каждая песня будет выбрана случайным образом, пропорциональна баллу Douban (0–10 баллов) песни. Например, «Обычная дорога» Пу Шу имеет оценку 8,9 балла. Оценка «Самой яркой звезды в ночном небе» Escape Plan составляет 9,5 балла, а отношение вероятности желания послушать «Обыкновенную дорогу» к «Самой яркой звезде в ночном небе» составляет 89:95. Теперь мы знаем оценки Дубана для этих 1000 песен: (1) Пожалуйста, разработайте случайный алгоритм, чтобы удовлетворить потребности Чжан Саня. (2) Напишите код для реализации собственного алгоритма.
#include <iostream>
#include <time.h>
#include <stdlib.h>
using namespace std;

int findIdx(double songs[],int n,double rnd){
int left=0;
int right=n-1;
int mid;
while(left<=right){
mid=(left+right)/2;
if((songs[mid-1]<=rnd) && (songs[mid]>=rnd))
return mid;
if(songs[mid]>rnd)
right=mid-1;
else
left=mid+1;
}
//    return mid;
}

int randomPlaySong(double sum_scores[],int n){
double mx=sum_scores[n-1];
double rnd= rand()*mx/(double)(RAND_MAX);
return findIdx(sum_scores,n,rnd);
}

int main()
{
srand(time(0));
double scores[]={5.5,6.5,4.5,8.5,9.5,7.5,3.5,5.0,8.0,2.0};
int n=sizeof(scores)/sizeof(scores[0]);
double sum_scores[n];
sum_scores[0]=scores[0];

for(int i=1;i<n;i++)
sum_scores[i]=sum_scores[i-1]+scores[i];

cout<<"Calculate the probability of each song: "<<endl;
int totalScore=sum_scores[n-1];
for(int i=0;i<n;i++)
cout<<scores[i]/totalScore<<" ";
cout<<endl;

int counts[n];
for(int i=0;i<n;i++)
counts[i]=0;

int i=0;
int idx;
int MAX_ITER=100000000;
while(i<MAX_ITER){
idx=randomPlaySong(sum_scores,n);
counts[idx]++;
i++;
}

cout<<"After simulation, probability of each song: "<<endl;
for(int i=0;i<n;i++)
cout<<1.0*counts[i]/MAX_ITER<<" ";
cout<<endl;

return 0;
}

301 Для задачи логистической регрессии: prob(t|x)=1/(1+exp(w*x+b)) и метка y=0 или 1, укажите формулу обновления и вывод функции потерь и веса w.
Функция потерь логистической регрессии представляет собой логарифмическую потерю, и формула выражается как:

Формулу обновления w можно получить путем минимизации функции потерь, а именно:
Часть в фигурных скобках эквивалентна функции логарифмического правдоподобия модели логистической регрессии, поэтому ее также можно решить методом функции максимального правдоподобия, Согласно методу градиентного спуска, формула обновления:

302 Какая связь между энтропией родительского узла и дочернего узла дерева решений?
А. Родительский узел дерева решений больше
B. Дочерние узлы имеют большую энтропию
C. Оба равны
D. Индивидуально
Правильный ответ: Б. При выборе признаков узел с наибольшим приростом информации должен быть передан родительскому узлу, а расчет прироста информации равен IG(Y|X) = H(Y) - H(Y/X) и H(Y /X) является узлом признака Условная энтропия , тем меньше H(Y/X), то есть, чем более «простой» атрибут узла признака представляет общую информацию, и тем больше IG. Тогда атрибут может быть лучше классифицирован. Чем больше H(Y/X), тем более «неупорядоченным» является признак и тем меньше IG, что не подходит в качестве классификационного признака.

303 Каковы причины недообучения и переобучения? Как этого избежать?
Причины недостаточной подгонки: сложность модели слишком мала, она не может хорошо уместить все данные, а ошибка обучения велика;
Избегайте недообучения: увеличивайте сложность модели, например, применяя модели более высокого порядка (прогнозирование) или добавляя дополнительные функции (классификация).
Причины переобучения: сложность модели слишком высока, данные для обучения слишком малы, ошибка обучения мала, а ошибка теста велика;
Избегайте переобучения: уменьшите сложность модели, например, добавьте регулярные штрафные условия, такие как L1, L2, увеличение обучающих данных и т. д.

304 При оценке параметров языковых моделей часто используется MLE (оценка максимального правдоподобия). Одна из проблем, с которыми приходится сталкиваться, заключается в том, что вероятность того, что элементы не появятся, равна 0, что приведет к снижению производительности языковой модели. Для решения этой задачи необходимо использовать (А)
Гладкий
B. Шумоподавление
C. Случайная интерполяция
D. Увеличьте белый шум

Обновление и обслуживание этой статьи в настоящее время приостановлено, и почти 3000 других вопросов были обновлены в июльском онлайн-приложении или в июльском онлайн-разделе банка вопросов на официальном веб-сайте.Другими словами, тысячи новых письменных вопросов BAT для интервью, пожалуйста, нажмите:Банк онлайн-вопросов AI за июль.

Ошибка

• 2017.12.2, июльская команда онлайн-лекторов начала просматривать все ответы и анализ обзора, потому что эти вопросы будут запущены на июльском официальном онлайн-сайте и в приложении, перед сотнями тысяч или даже миллионами людей, поэтому нам нужно иметь каждый вопрос.Ответы и анализ, и обеспечить точность ответов и анализа. Разделение труда выглядит следующим образом: 1–20 АньЦ, 21–40 д-р Чу, 41–60 Лян Вэйци, 61–80 д-р Гуань, 81–100 Хань Сяоян, 101–120 д-р Чжао, 121–140 Чжан. Юши, 141~160 Ван Юнь, 161~180 Лян Вэйци, 181~200 АнтЦ.
• 2017.12.8, второй раунд проверки, и начал маркировать каждый вопрос классификационными метками и уровнями сложности.
• 2017.12.9~12.11, третий раунд проверки, и операционная группа начала заходить на официальный сайт и фоновую систему приложения один вопрос за другим, и она была запущена в день Двойной двенадцати.Официальный сайтиAndroid APP.
• 24.12.2017, серия вопросов из 1000 вопросов по машинному обучению BAT была увеличена до более чем 300. В дополнение к существующим вопросам на официальном веб-сайте «July Online» и Android, весь банк вопросов AI содержит тысячи вопросов. Мне нравится создание банка вопросов, и я продолжаю добавлять вопросы.
• Важное примечание: поскольку iOS 1.8 также запустила банк вопросов,Обновление и обслуживание этой статьи приостановлено, и почти 3000 других вопросов были обновлены в июльском онлайн-приложении или в разделе банка вопросов на официальном онлайн-сайте за июль..

постскриптум

Честно говоря, в отличие от разбора письменных тестовых вопросов по структуре данных/алгоритму, сложность разбора письменных тестовых вопросов по машинному обучению резко возросла, потому что таких вопросов в Интернете очень мало, а сложность сортировки одного ML вопрос эквивалентен сортировке не менее 10 вопросов о сложности структуры данных/алгоритма.

Но хорошо то, что в процессе сортировки этой серии мы также многому научились.Это процесс обучения во время сортировки.Многие проблемы понемногу понимаются во время этой сортировки RNN и многого другого. Когда я вижу вопрос в процессе решения, я намеренно или ненамеренно копаю глубже и продолжаю задавать себе связанные с ним вопросы.Таким образом, я продолжаю обдумывать вопросы один за другим, и это обучение и прогресс. для себя.

Давайте продолжать делать это, пока не будет 1000 или даже тысяч вопросов, по одной причине: это хорошо для всех и имеет долгосрочную ценность.

Наконец, вы можете прочитать эту статью или оставить сообщение для ответа на вопрос, чтобы предоставить лучшие комментарии, или поделиться своими существующими вопросами (вы можете оставить сообщение прямо под комментариями этой статьи, или вы можете отправить личное сообщение через Weibo:@ResearcherJuly), делитесь и помогайте большему количеству людей по всему миру, спасибо.

Июльская команда, не пишите дату, пожалуйста, перейдите в июльское онлайн-приложение или на июльской онлайн-официальный сайт для новых вопросов.