Некоторые пользователи сети спросили: каковы сценарии применения различных алгоритмов машинного обучения (таких как наивный байесовский алгоритм, дерево решений, K-ближайший сосед, SVM, модель максимальной энтропии логистической регрессии)?

Как часто они используются в общей работе? Какова общая цель? Чего остерегаться?

Согласно вопросу, основными ключевыми словами являются базовые алгоритмы и сценарии применения.Больше беспокоит вопрос, можно ли изучить и использовать эти базовые алгоритмы? В конце концов, вышеперечисленные алгоритмы - это те, с которыми соприкасались все. На книжной полке все еще может лежать несколько классических книг, таких как «Введение в интеллектуальный анализ данных» и «Классификация шаблонов», полных чувств.

В Интернете уже есть много контента, отвечающего основным идеям и теоретическим сценариям применения классических алгоритмов, которые больше похожи на область применения модели, которая на самом деле сильно отличается от реальной реализации промышленных алгоритмов.

С точки зрения отрасли ценность для бизнеса является золотым ключом для измерения плюсов и минусов алгоритмов, а бизнес-сценарии часто включают бизнес-цели, ограничения и затраты на внедрение. Если мы смотрим только на цель, то передовые алгоритмы имеют тенденцию доминировать, но если нам нужно принять во внимание сложность работы алгоритма, быстрые итерации методом проб и ошибок, различные налагаемые бизнес-ограничения и т. д., классические алгоритмы часто лучше, и, таким образом, занять место.

В ответ на эту проблему инженер по техническим алгоритмам отдела Tao компании написал подробный ответ в этой статье.

В фактической ценности бизнеса влияние модели алгоритма составляет примерно 10%.

В индустриальном мире алгоритм идет от идеи к реализации, вы не одиноки в битве. Я беру алгоритм рекомендаций в качестве примера, предполагая, что задача, которую мы получаем в настоящее время, состоит в том, чтобы поддерживать рекомендацию определенного потока страниц канала. Сначала мы должны понять, что для бизнеса влияние модели составляет примерно 10 %, а еще несколько важных факторов — это дизайн продукта (40 %), данные (30 %), представление и моделирование знаний в предметной области (20 %).

Это означает, что если вы модернизируете обычную модель LR до глубокой модели, даже если она увеличится на 20%, вклад в бизнес может составить только примерно 2%. Конечно, 2% — это немного, но эта скидка — головная боль.

Конечно, приведенные выше пропорции не статичны.В 2015 году, первом году работы алгоритма рекомендаций Alibaba, персонализированные рекомендации часто сравнивались с правилами эксплуатации. Затем, в дополнение к выполнению требований, ежедневная рутина инженера-алгоритма состоит в том, чтобы заниматься оптимизацией: бизнес дает мне входные журналы, функции и цели оптимизации, а все остальное остается за мной.

Но по мере того, как волна идет вверх год от года, модели, используемые всеми, естественно, становятся все более и более сложными.От LR->FTRL->WDL->DeepFM->MMOE все также идут по пути, который проложили предшественники шаг за шагом шаг. В этот момент, если вы спросите, кто все еще использует LR или обычные деревья решений, вы действительно получите смущенную улыбку.

Но постепенно все поняли, что оптимизация модели — это, в конце концов, вопрос уменьшения предельной отдачи. Когда мы ограждаем бизнес-сторону снаружи и оптимизируем только в ограниченном пространстве, потолок уже обречен. Так постепенно рекомендации Департамента Дао медленно перешли ко второму этапу, этапу алгоритма и совместного построения бизнеса. Хотя бизнес-требования и оптимизация алгоритмов по-прежнему разделены, они начали сближаться.

Меняются и требования группы к инженерам-алгоритмистам: если глубокая модель высокого уровня не может четко описать ценность для бизнеса или привести к особенно значительному улучшению, ее можно рассматривать только как самосовершенствование за закрытыми дверями. В настоящее время отличный инженер-алгоритм должен быть знаком с бизнесом, и путем неоднократных обменов мнениями с бизнесом он может выявить болевые точки бизнеса.

Учтите, что деловая сторона может быть даже фанатом власти, и будет спрашивать вас и о том, чего вы хотите, и о том, чего вы хотите, и вам нужно действительно сосредоточиться на самой стоящей проблеме. Затем следует алгоритмическое описание проблемы. После этого вы обнаружите, что не вы решаете, какая модель лучше, а выбор модели, которая следует за проблемой. Первая версия этой модели, скорее всего, является классическим алгоритмом, потому что вам нужно как можно быстрее запустить ссылку, чтобы быстро убедиться, что ваша идея верна. Последующее итеративное усовершенствование модели является лишь вопросом времени.

Примеры сценариев применения классических алгоритмов в Департаменте Дао: TF-IDF, K-ближайшие соседи, Наивный Байес, логистическая регрессия и др.

Поэтому на данном этапе в большинстве сценариев Департамента Дао алгоритмом является не управление бизнесом, а сотрудничество с бизнесом для завершения роста. Инженер-алгоритм, который разбирается только в технологиях, может получить не более 10% полной оценки. Чтобы дать вам представление о том, что делать, вот еще несколько примеров:

Например, бизнес-задача состоит в том, чтобы отметить пользователей в толпе, включая любителей рыбалки, девушек с кардамоном, любителей наушников, мужчин в стиле богов и т. д. На практике нам нужно не только учитывать возраст, пол, покупательную способность и другие атрибуты пользователя, но также необходимо учитывать долгосрочное поведение пользователя на Taobao, чтобы получить задачу множественной классификации. Если характеристикой, используемой в модели, является частота посещений в месяц, то Cardamom Girls, вероятно, привлечет много пользователей, потому что женская одежда является категорией с наиболее частым покупательским поведением.

Например, у пользователя было 4 визита к любителям наушников и девушкам с кардамоном в месяц.Предполагая, что количество посещений на одного любителя наушников составляет 3,2 раза, а девушек с кардамоном — 4,8 раза, можно увидеть, что оценка предпочтений пользователя для любителей наушников должна быть выше. Следовательно, функция модели должна не только использовать абсолютную частоту поведения населения, но и давать относительную частоту поведения по отношению к уровню воды на рынке.

На этот раз пригодился алгоритм TF-IDF, выбранный в книге Учителя Ву Цзюня «Красота математики». Внедрив TF-IDF для создания функций, можно значительно улучшить модельный эффект маркировки толпы, а TF-IDF — это очень простой алгоритм классификации текста.

В сценариях рекомендаций, основанных на Дао, часто используется повышение рейтинга кликов или коэффициента конверсии фидов. Но бизнес всегда вас удивит: например, в наличии есть только один товар (аукцион Alibaba), например, большинство рекомендуемых товаров — это новинки (новинки Tmall), например, для привлечения пользователей к повторной покупке подлинные продукты через небольшие образцы, большинство из этих пользователей приходят впервые (Tmall U в первую очередь), или при повышении эффективности необходимо учитывать богатство категорий (много сценариев).

В контексте вышеупомянутых различных бизнес-ограничений, это сценарий приложения, с которым мы действительно сталкиваемся. Столкнувшись с этой ситуацией, первое, что нужно сделать, это задать направление.Например, проблема на аукционе Ali может быть описана как «как сделать персонализированную рекомендацию в условиях незначительных ограничений запасов». Если вы решите, что это проблема регулирования потока, вам необходимо перечислить цели оптимизации и ограничения, а также выяснить, как решить ее с помощью метода множителей Лагранжа. Важно отметить, что конечный результат также необходимо сочетать с персонализированной системой рекомендаций. Видеть:Стратегия полного руководства по покупкам на аукционе Али раскрыта впервые.

Столкнувшись с описанными выше сценариями применения, вы должны понимать, что ваша стратегическая цель состоит в том, чтобы доказать, что рекомендация при неглубоких ограничениях запасов является проблемой регулирования трафика, и вы можете быстро проверить эффект. Это мудрый выбор — использовать зрелый и классический метод для быстрого проведения экспериментов, а затем постепенно повторять итерации.

Другой пример: алгоритм K ближайших соседей кажется достаточно простым, чтобы его можно было описать графом или предложением. Но может пригодиться при решении проблемы несбалансированных положительных и отрицательных образцов. Повышение дискретизации означает создание нескольких копий данных меньшинства (часто положительных выборок), но наличие повторяющихся наборов данных после повышения дискретизации может привести к переоснащению. Одной из причин переобучения является разница в доле положительных и отрицательных образцов в локальном масштабе, как показано на следующем рисунке:

Нам нужно только повышать дискретизацию локальных выборок C-класса, в которой используется алгоритм K-ближайших соседей. Хотя классический алгоритм в данном примере является лишь частью звена или даже вспомогательной ролью, без него не обойтись.

Хотя Наивный Байес проще, дальнейшее развитие байесовской теории, включая байесовские сети и причинно-следственные диаграммы, не так просто. Например, будь то модель системы показателей LR в финансовом бизнесе или глубокая модель в усовершенствованном ранжировании алгоритмов рекомендаций, перекрестные функции часто настраиваются вручную, что является даже наименее автоматической частью алгоритма.

Используя структурное обучение в байесовской сети и комбинируя отраслевые знания, введенные бизнесом, постройте байесовскую карту вероятностей и выясните, что соответствующие функции пересекаются, что принесет определенное улучшение по сравнению с ручной настройкой, а также имеет лучшую интерпретируемость. . Это отличный пример объединения знаний в области бизнеса с алгоритмическими моделями. Но если байесовская теория ненадежна, до этого пункта добраться сложно.

Независимо от того, насколько популярно глубокое обучение, LR является запасным вариантом для большинства сценариев. Например, в сценарии двойного продвижения 11, если в пиковый период, например, с 0:00 до 0:30, все сценарии используют модель глубины, а машинных ресурсов определенно недостаточно.В это время необходимо выполнить перейти на план LR или FTRL.

Как стать отличным инженером-алгоритмом в отрасли?

В Департаменте Дао алгоритмы не существуют изолированно, и инженер-алгоритм — это не просто закрытый фехтовальщик. Чтобы выявить болевые точки бизнеса, быстро проверить свою идею и выбрать подходящий алгоритм, необходимо иметь хорошие базовые навыки работы с алгоритмами и широкое видение алгоритмов. Независимо от того, насколько сложна модель, окончательный ответ — ценность для бизнеса.У инженера-алгоритма, обладающего хорошими базовыми навыками, способного быстро учиться и умеющего находить ценность для бизнеса, будет много возможностей для роста.

Ну, если предположить, что вышеизложенное является нашей карьерной целью, как мы можем ее достичь? Юань (е) Фан (цзе), что вы думаете? На самом деле, есть только одна фраза,Сочетание теории и практики.

теория

Чтобы понять основную идею алгоритма, вам может понадобиться всего 20 минут, чтобы проверить Zhihu, но если вы забудете, это может занять всего 2 недели. Теория здесь заключается в вашем восприятии алгоритма изнутри.Например, когда дело доходит до дерева решений, вы, кажется, в состоянии смоделировать в уме его расчет прироста информации, выбор признаков и процесс разделения узлов и знаете его преимущества и недостатки. В конечном счете, все дело в том, чтобы быстро определить на практике, что это лучшая модель для решения проблемы.

Получение прочных базовых навыков — это медленная работа.Метод может заключаться в чтении классических оригиналов, обучении обмену видео или использовании языков высокого уровня. Важен менталитет, быть спокойным, не строить ожиданий, быть воодушевленным, а также, если у вас есть группа по интересам, с которой можно поделиться, то поздравляю. Потому что процесс изучения книг или чтения статей на самом деле довольно скучный, но если у вас есть мотивация поделиться, вы можете пойти дальше.

упражняться

Все мы знаем, что практика приносит истинное знание, но практика часто бывает жестокой. Поскольку существует так много потребностей и ограничений, проблема должна быть обнаружена вами, и временное окно, оставшееся для вас, очень короткое. То есть алгоритм — это детерминированная, применимая граница и стандартизированная вещь, в то время как бизнес — дивергентная, многоцелевая и управляемая опытом вещь.

Во-первых, нужно иметь зоркий взгляд, чтобы найти самую достойную точку, для этого нужен анализ данных и бизнес-опыт, оставляя самые важные цели оптимизации и ограничения, и максимально упрощая задачу; во-вторых, есть Чжан Нэн может хорошо говорить, иначе как бизнес может быть готов дать вам это временное окно, чтобы вы попробовали; наконец, после того, как вы сделали ставку на свою личность, вам нужно как можно скорее произвести эффект в этот период окна, и под этим давлением, испытать вас Пришло время для основ алгоритма.

Эпилог

Наконец, пусть каждый отгадает загадку: это жадный парень с низкой вычислительной сложностью, и он может динамически выбирать признаки, независимо от того, являются ли они дискретными или непрерывными; он также может обрезать сначала или позже, чтобы избежать переобучения; он интегрирует вычисление информационная энтропия, а также может необоснованно вводить случайные факторы; он может существовать изолированно, он также может выполнять интегрированное обучение, а также может сотрудничать с LR для решения проблемы комбинации признаков; для небольших выборок, положительных и отрицательных выборок Обучение на неравномерных , онлайн-потоки данных также могут поддерживаться, результирующие правила легко интерпретируются. Это дерево решений.

Каждый базовый алгоритм подобен зернышку с мудростью, это не обычная вишенка на торте, а новаторское оригинальное мышление. Иногда можно глупо вернуться в прошлое и пройти оригинальными шагами мастера, и эта оригинальная мудрость принесет большую пользу долгосрочному алгоритмическому пути в будущем. Нейронным сетям потребовалось почти 50 лет, чтобы расцвести от семени до расцвета; байесовский подход также находится на пути к расцвету. Кто будет следующим?