Эта статья была впервые опубликована в публичном аккаунте WeChat"Техническая команда Shopee".

Резюме

По разным причинам, таким как разные языки, отсутствие корпуса и слабая географическая информация ГИС, развитие терминальной логистики в Юго-Восточной Азии все еще находится на начальном этапе опоры на ручной труд, что приводит к низкой эффективности, ограниченной точности и ограниченному расширению. скорость. Этот обмен расскажет о том, как Shopee реализует автоматизацию и интеллектуальную сортировку терминальной логистики на различных рынках Юго-Восточной Азии на основе таких технологий, как большие данные и искусственный интеллект, чтобы поддержать передовую практику быстрого развития Shopee.

На конференции ArchSummit 2021 в Шэньчжэне, состоявшейся на прошлой неделе, Цзеву, руководитель группы интеллектуальной сортировки Shopee, поделился опытом Shopee в повышении эффективности логистики интеллектуальных терминалов в Юго-Восточной Азии. Эта статья организована в соответствии с содержанием выступления.

1. Боль логистики в Юго-Восточной Азии

Shopee — это платформа электронной коммерции с предприятиями, охватывающими Сингапур, Малайзию, Бразилию и другие рынки. Во время распродажи 11.11 в этом году Shopee продал более 2 миллиардов товаров. Какие конкретные проблемы возникают при доставке крупных заказов в Юго-Восточную Азию? Как Shopee решит и повысит эффективность?

1.1 Предыстория

Давайте сначала посмотрим на бизнес-модель Shopee Express. Из-за разных рынков и разных типов бизнеса весь бизнес-поток усложняется. После абстрагирования бизнес-потока весь процесс можно разделить на три части: продавцы, Shopee Express и покупатели. Среди них продавцы включают трансграничных продавцов, крупных местных продавцов (как правило, с собственными складами) и мелких местных продавцов (с относительно небольшими складами).

Shopee Express обычно делится на три процесса: первое путешествие, среднее путешествие и последнее путешествие.

Этап первой мили (сокращенно FM) заключается в основном в сборе и сортировке товара у продавца транспортными средствами, а затем въезде в SOC средней мили по маршруту. Для мелких продавцов первый путь также может выбрать услугу самовывоза: после того, как продавец доставит товар в пункт самовывоза, сотрудник заберет его и отправит в Хаб для сортировки.

Этап средней дальности в основном предназначен для сортировки и упаковки товаров, доставленных в первый рейс в сортировочном центре, чтобы попасть в следующий сортировочный центр или войти в конечный пункт.

После старта со средней дистанции товары поступают на Последнюю Милю (LM) и прибывают в Хаб (Last Mile Hub, LH), после распаковки сортируются в соответствии с маршрутной информацией и доставляются водителю для доставки . Разумеется, доставка тоже делится на разные способы, включая доставку на дом, или доставку в пункты самовывоза, и какие-то мобильные сортировочные пункты. В общем, сцена и бизнес сложнее.Далее мы в основном разделяем терминальную логистику, то есть получение и доставку «последней мили».

Сразу после Double 11 вы можете себе представить, как товары прибывают к вашему порогу после того, как вы сделаете заказ в торговом центре. Через какие процессы или операции будет проходить этот процесс? Его можно условно разделить на следующие пункты:

• После того, как покупатель размещает заказ в торговом центре, продавец получает заказ, упаковывает товар, распечатывает лицевой лист по адресу, указанному покупателем, и ждет, пока водитель заберет товар;
• После того, как водитель получит инструкцию, он забирает товар и отправляет его в First Mile Hub (сокращенно FH); после того, как FH получит партию товара, подобранного водителем, он будет упакован в соответствии с адресом, а затем вступит промежуточный этап;
• После того, как посылка будет доставлена ​​в LH на средней дистанции, она будет распакована и водитель будет организован для доставки.

Может быть несколько FH/LH, соответствующих пакету, и может быть несколько драйверов концентратора, соответствующих пакету. Для общей маршрутизации посылки выбор LM определяется несколькими факторами, такими как своевременность посылки и экономическая стоимость, а для FH/LH выбор водителя для получения/доставки также определяется своевременностью посылки и экономической стоимостью. много факторов.

Для первой и последней поездки важным вопросом является то, какой водитель на каком хабе забирает или доставляет товар? Все, что у нас есть, это адрес, введенный пользователем, поэтому проблема превращается вКак сопоставить наиболее подходящий Хаб и наиболее подходящий драйвер под этот Хаб по тексту адреса.

1.2 Анализ текущей ситуации

Перед оптимизацией мы провели небольшое исследование и анализ объема услуг и траектории активности некоторых сайтов и водителей на определенном рынке.

На первом рисунке показан диапазон доставки драйверов, видно, что диапазон доставки разных драйверов сильно перекрывается.

Второе изображение - проверка точек доставки водителей.Помимо того, что точки доставки многих водителей очень похожи, точки доставки некоторых водителей фактически охватывают диапазон 8 км.

Обнаружив эту проблему техническими средствами, мы проанализировали бизнес-процесс. С точки зрения Hub объем его услуг разделен в соответствии с административным делением. Объем административных единиц в некоторых регионах Юго-Восточной Азии относительно обширен, и некоторые полные стандартные административные единицы делятся только на три уровня: штат, город и район. Это приведет к относительно большому диапазону обслуживания для каждой станции, и управление водителями в хабе также относительно затруднено.Операция сортировки часто выполняется опытными операторами, которые проверяют подробный текст адреса и сортируют в стопки в соответствии со своими собственный опыт.Тогда устроить водителя для доставки в соответствии с кучей.

Это, очевидно, вызывает некоторые проблемы:

• Каждому пакету требуется около 10 секунд, чтобы прочитать текст адреса вручную, что неэффективно для сортировки;
• Полагаясь на ручное и существующее знание опыта, человеческие ошибки и когнитивные искажения неизбежны;
• Рассчитывая на опытных сортировщиков, затраты на обучение персонала высоки, особенно если сложно временно увеличить сортировщиков при продвижении по службе;
• Поскольку диапазон доставки драйвера перекрывается, а диапазон доставки отдельного драйвера охватывает большой диапазон, это влияет на эффективность доставки драйвера.

В «Богатстве народов» Адама Смита упоминается важное понятие — разделение труда. Для любой работы, которая может быть разделена на труд, после использования системы разделения труда производительность может быть соответственно увеличена. Если производительность промышленности и труда страны чрезвычайно высока, то и разделение труда в различных отраслях обычно может достигать чрезвычайно высокого уровня. Нет сомнения, что эта теория в равной степени применима и к сфере логистики.

2. Терминальные логистические решения в Юго-Восточной Азии

Согласно теории разделения труда, для решения этой проблемы общепринятой практикой в ​​отрасли является планирование меньшего объема услуг концентратора, чтобы повысить эффективность сортировки сайта; повысить эффективность доставки водителей.

2.1 Проблемы бизнеса

Как упоминалось ранее, административное деление во многих частях Юго-Восточной Азии очень обширно и даже часто меняется, поэтому нам трудно настроить станции или зоны доставки водителей в соответствии с административным делением.

В случае, когда у нас есть только текст адреса пользователя и записи о доставке, наша идея состоит в том, чтобы начать с адреса. Но в чем проблема в Юго-Восточной Азии, начиная с адреса?

Очень простое мышление — взять адресный текст на карту для поиска соответствующей широты и долготы, а затем доставить в соответствии с диапазоном обслуживания хаба и водителя.

Наиболее заметной трудностью является нестандартное заполнение адресов, особенно для специфических текстов, написанных на диалектах.Из-за отсутствия специального тезауруса эффект сопоставления текстов относительно слаб. Чтобы привести два примера, пользовательский адрес один:Jalan Petinggi Umar, RT.23, Depan Kantr Desa Loa Duri Ilir, Loa Janan.. перевести на китайский даJalan Petinggi Umar, RT.23，位于 Loa Janan 的 Loa Duri Ilir 村办公室前. Этот адрес не смог сопоставить действительно действующую адресную информацию (Джалан Петинги Умар, RT.23) с результатом, найденным Google Map, и вместо этого использовал вспомогательную информацию (Депан Кантр Деса Лоа Дури Илир, Лоа Джанан) в качестве результата сопоставления, отклонение относительно большой, для логистической доставки это сильно повлияет на сортировку заказов и планирование персонала.

Второй адрес пользователя:Jl marsma r iswahyudi RT 15 (masuk 75 M dari Jembatan sungai sepinggan rumah didepan sungai tingkat warna pink biru). перевести на китайский даJl marsma r iswahyudi RT 15（从河桥 sepinggan 房子入口 75M 在河面，粉蓝色）. Результаты поиска этого адреса с Google Map показывают, что соответствие информации находится в состоянии путаницы, основная информация и вспомогательная информация переплетены, ее трудно различить, и она затрудняется для доставки посылки.

Помимо этого, мы также сталкиваемся с другими проблемами:

• Многоязычность при отсутствии корпусов;
• Административная единица обширна или изменена, что приводит к тому, что пользователи путаются в административной единице, к которой они принадлежат, и вводят неправильный адрес;
• Как в отсутствие тезауруса идентифицировать и исправить ошибочный адрес пользователя?
• Из-за различной степени выполнения СОП, как судить о достоверности адреса для большого количества существующих исторических адресов?
• Когда диапазон обслуживания сайта или диапазон обслуживания водителя постепенно уточняется, как устранить сбой позиционирования адреса, вызванный смещением широты и долготы?
• Как заблокировать и подтвердить адрес с разной широтой и долготой для повторных заказов?

2.2 Бизнес-архитектура

Возвращаясь к первоначальному замыслу, давайте сначала вспомним способы и методы решения задач людьми. Обычно делится на следующие этапы:

• Прочитайте адресный лист;
• В соответствии с существующими знаниями ищите в мозгу географическое местоположение, соответствующее тексту адреса;
• В соответствии с существующими знаниями, поиск и уточнение соответствующего объема услуг в соответствии с географическим положением;
• Завершите сортировку и договоритесь о доставке с водителем для этой зоны обслуживания.

Согласно приведенным выше шагам, наше наивное решение выглядит следующим образом:

В основном включает две части:

(1) Офлайн-обучение

• Очистка в соответствии с историческими порядками адресов для формирования библиотеки доверенных адресов;
• По данным проверки выполняется обучение на основе библиотеки доверенных адресов для получения подходящей модели сопоставления.

(2) Онлайн-рассуждения

• Получить онлайн-адрес при размещении заказа и предварительно обработать его для формирования стандартного текста адреса;
• В соответствии с библиотекой адресов для обучения в автономном режиме и моделью сопоставления выполнить онлайн-вывод и получить результаты вывода;
• Сортировка и доставка в соответствии с результатом вывода.

Видно, что в основе лежит библиотека доверенных адресов и модель сопоставления, полученная путем офлайн-обучения.

Кроме того, перед лицом вышеуказанных проблем мы документально подтверждаем два факта и два преимущества.

Два факта:

• Хотя существует множество факторов, таких как непоследовательная реализация SOP и смещение адресов, с точки зрения вероятности широта и долгота, собранные во время подписания, являются относительно точными;
• Тексты адресов, географически близкие друг к другу, имеют относительно высокое сходство.

Два преимущества:

• Имея большой объем исторических данных о заказах, он также имеет большой объем адресных данных;
• С сильной офлайн-командой адреса можно проверить и исправить.

Поэтому, исходя из этих условий, структура нашего бизнеса выглядит следующим образом:

Существует два основных источника данных: исторические адреса заказов торговых центров и адресная база данных вкладов офлайн-команд.

Во-первых, после форматирования и другой предварительной обработки этих адресных текстов получается стандартный унифицированный адресный текст.

Во-вторых, максимально используйте такую ​​информацию, как административное деление, чтобы сегментировать форматированный стандартный текст для формирования форматированного текста адреса, объединять форматированные адреса с помощью AOI для формирования набора AOI и выполнять очистку адресов в соответствии с политиками для формирования библиотеки надежных адресов.

В-третьих, на основе набора AOI и библиотеки доверенных адресов используйте библиотеку адресов обучения для обучения с учителем, чтобы получить соответствующую модель.

2.3 Техническая архитектура

В соответствии с приведенной выше бизнес-архитектурой система естественным образом делится на две основные системы: онлайн-сервис вывода адресов и автономный сервис обучения.

Онлайн-сервис рассуждений в основном состоит из трех частей:

• адресная служба: в основном предоставляет удобную базу данных адресов и модель сопоставления, использует различные стратегии для адресных служб, включая службы административного деления, сопоставление на основе правил, сопоставление на основе сходства, сопоставление на основе ключевых слов и сопоставление данных локальной маркировки, а также необходимо сопоставлять результаты сопоставления. , Оценивайте, сравнивайте и рекомендуйте. Получение этой части является ядром онлайн-сервиса рассуждений;
• Сортировка: Предоставление услуг OpenAPI внешнему миру, включая услуги распределения порядка адресов, услуги сегментации текста и т. д. Клиенты, с которыми он сталкивается, — это не только собственная логистика Shopee, но и внешняя 3PL (сторонняя логистика, сторонняя логистика);
• Операционная платформа: Внешние функции, такие как инструменты генерации зон, загрузка локальных данных аннотаций, мониторинг системы, настройка политик и т. д.

Сервис офлайн-обучения:

• В основном для различных источников данных (собственные данные Shopee, картографические данные, сторонние данные и т. д.), адресное обучение по различным правилам, включая очистку адресов и услуги агрегации AOI, в основном обучение на основе правил, обучение на основе подобия, ключевое слово- базовое обучение;
• После обучения формируется доверенная библиотека адресов и набор AOI, которые сохраняются на уровне хранилища, а также для того, чтобы онлайн-служба адресов могла непрерывно оптимизировать библиотеку адресов и модель сопоставления с течением времени, а также отделить онлайн-службу рассуждений от автономной. служба обучения, онлайновая служба логического вывода и офлайновая служба обучения используют очереди сообщений для передачи данных.

После того, как определена техническая архитектура, в соответствии с возникшими проблемами, также определяется наш технический выбор. Как показано ниже:

2.4 Передовой опыт

2.4.1 Создайте библиотеку надежных адресов

Создание библиотеки доверенных адресов сталкивается с относительно большими проблемами.

Во-первых, как определить достоверность адреса?

• Для одного и того же текстового адреса долгота и широта одного и того же текстового адреса имеют определенное дискретное явление Как выделить точки с низкой достоверностью? Как выбрать степень дисперсии?
• Мы считаем, что если один и тот же адрес доставляется несколько раз, надежность будет выше. Как определить доставку несколько раз?
• Для одного и того же адреса, как выбрать надежность последней доставки и многократной доставки?
• Как выбрать достоверность центрального узла и случайного узла для разных дискретных точек с одним и тем же адресом?

Типичная схема распределения выглядит следующим образом:

Во-вторых, если пользователь вводит неправильный адрес:

• В случае отсутствия или путаницы административных единиц, как заполнить неполный адрес, введенный пользователем?
• В случае отсутствия административных единиц или путаницы административных единиц, как определить и исправить неправильный адрес, введенный пользователем?
• Как отличить, ввел ли пользователь неправильный адрес или новый адрес?

В-третьих, использование данных, отмеченных местным персоналом:

• Чтобы обеспечить его точность и охват, как выбрать пороги плотности адресов в разных регионах?
• Как эффективно идентифицировать данные, отмеченные локальными?
• Как можно эффективно использовать локальные размеченные данные?

Кроме того, при отсутствии корпуса, как тренировать несколько языков?

С этой целью мы разработали процесс очистки, как показано на рисунке ниже. Исходные данные могут попасть в библиотеку доверенных адресов после препроцессинга, очистки движка, проверки движка и вывода в несколько шагов.

(1) Центр стратегии: Предварительная обработка при очистке данных. Существуют различные стратегии очистки двигателя, он настраивается через центр конфигурации, а затем результаты, полученные механизмом проверки, формируют обратную связь с центром конфигурации для внесения корректировок.

(2) Предварительная обработка: в основном включает стандартизированный формат, сегментацию текста, пакетную обработку и т. д. Его алгоритмы и стратегии могут быть выполнены через центр конфигурации. Вывести данные формата, требуемые механизмом очистки;

(3) Очистка двигателя: В основном существует множество технических школ, в том числе основанных на правилах, основанных на глубоком обучении, основанных на машинном обучении и т. д. Использование одного или нескольких определяется центром конфигурации;

(4) Механизм проверки: В основном проверяйте точность и охват результатов очистки, выводите плохие случаи для анализа и отправьте отзыв в центр конфигурации на основе производительности точности и охвата;

(5) Библиотека надежных адресов: управление версиями для библиотеки адресов, выходные данные которой соответствуют требованиям, включая измерение времени, измерение региона и т. д., чтобы их можно было обновить и выполнить откат.

Здесь для некоторых региональных адресов в качестве примера используется стратегия очистки на основе расстояния, а соответствующие пороги в основном настраиваются в соответствии с обучением, включая пороги расстояния, пороги дублирования адресов и т. д.

2.4.2 AOI vs POI

Поскольку административное деление относительно велико, объем услуг станции и водителя должен быть намного меньше, чем минимальное административное деление. Так как же он формируется? Один из способов — провести демаркацию на карте, а другой — сгенерировать ее автоматически каким-либо методом. Здесь есть две степени детализации: POI или AOI. То есть, когда мы выполняем сопоставление адресов, чтобы сопоставить текст POI или текст AOI. POI — это точка на карте, а AOI — это область на карте.

У создания POI и AOI есть свои плюсы и минусы. В следующей таблице анализируются сложность сбора, точность сопоставления адресов, стоимость обслуживания и ориентировочная ценность:

	AOI	POI
Collection Difficulty	Middle	High
Matching Performance	High	Middle
Maintenance Costs	Middle	High
Guidance Value	Middle	High

Для нашего сценария логистики нам не нужно точно сопоставлять точку, а нужно только сопоставить диапазон услуг сайта и диапазон услуг водителя, поэтому AOI становится приоритетным вариантом.

Извлечение информации на основе входного адреса может сформировать некоторые ключевые слова для формирования AOI. В зависимости от извлеченной широты могут быть сформированы различные уровни АОИ. При извлечении ключевых слов мы специально использовали такие методы, как tfidf, BM25 и textRank.

В то же время существует проблема многоязычности и многомодальности. Из-за различных административных единиц и языков в каждом регионе используются разные алгоритмы приложений, что вызовет проблемы с управлением и обслуживанием нескольких моделей. В настоящее время нами управляют отдельно, и наша постоянная попытка эффективно интегрироваться.

После получения AOI разных широт можно выполнить агрегацию на уровне AOI в соответствии с потребностями бизнеса:

• В соответствии с потребностями бизнеса может быть сгенерирована различная степень детализации сайтов и драйверов, например, в некоторых местах ADO относительно высока, и можно использовать AOI более низкого уровня, а AOI более высокого уровня можно использовать, когда ADO относительно небольшой;
• Для изменений в зоне обслуживания станции или водителя ее можно очень просто отрегулировать через AOI или агрегированную широту AOI, что намного эффективнее, чем широта POI.

Сама AOI также должна знать свое местоположение на карте. Как это определить? Мы используем метод агрегирования долготы и широты POI, содержащийся в AOI. Поскольку положение AOI не требует особой точности, этот метод в основном может удовлетворить потребности.

Для запланированных вручную станций или зон обслуживания водителей способ согласования с AOI требует вмешательства бизнеса. Например, на приведенном выше рисунке специальная область (Зона) может добавлять методы оптимизации.В дополнение к агрегации вы также можете добавить точку минимального расстояния данных, заданную локальным, и сверить друг друга с точкой центра агрегации. в то же время, если он попадает в Зону, сопоставление успешно.

После подтверждения Зона в основном не меняется, и ошибок в последующем почти не будет.

В соответствии с приведенной выше схемой не только существующий объем услуг может быть выделен в соответствии с различными драйверами, но также область может быть разделена на более мелкие части в соответствии с объемом заказа, тем самым увеличивая разделение труда и повышая эффективность.

Кроме того, с точным диапазоном деления можно установить некоторое высокоскоростное оборудование автоматизации для дальнейшего повышения эффективности.

3. Будущие перспективы терминальной логистики в Юго-Восточной Азии

Взгляд Shopee на терминальную логистику в основном делится на четыре аспекта: «люди, товары, материалы и поля».

Первая — эффективность и безопасность персонала; вторая — товары, такие как путь движения и сохранность товаров; третья «вещь» включает в себя безопасность перевозки и эффективность перевозки самого транспортного средства; четвертая «поле "Энергоэффективность объекта, включая коэффициент использования кренеля, использование объекта и условия безопасности и т. д.

Помимо вышеизложенного, Shopee предпримет больше попыток с технологией искусственного интеллекта.

автор этой статьи

Зеву, руководитель группы интеллектуальной сортировки Shopee из команды Shopee Supply Chain Express (SPX).

Присоединяйтесь к нам

Shopee Express — это наш самостоятельный экспресс-продукт, предназначенный для предоставления высококачественных экспресс-услуг, соответствующих местному рынку Юго-Восточной Азии. В настоящее время он развернут на многих рынках Юго-Восточной Азии и Латинской Америки, поддерживая доставку десятков миллионов заказов в день, что является одной из основных возможностей для построения эффективных и недорогих услуг цепочки поставок Shopee.

В настоящее время команда постоянно набирает большое количество вакансий, а массивный HC охватывает back-end, front-end, продукты, тестирование, алгоритмы и т. д. Заинтересованные студенты могут отправлять свои резюме по адресу:karen.lin@shopee.com(Также доступно для консультации со ссылкой на технический блог Shopee).