Лю Цзян, директор по управлению рисками отдела финансового управления Ctrip, отвечает за общее управление рисками Ctrip Group. Обладая почти 15-летним опытом управления рисками, он занимал важные руководящие должности в таких компаниях, как China Guangfa Bank, OperaSolutions, Alibaba и Tencent, и занимался политикой контроля рисков, моделями контроля рисков, кредитной отчетностью по большим данным и другой связанной работой. .
После более чем 10 лет разработки и накопления антифрод-система Ctrip стала очень зрелой для параллельных вычислений больших данных в реальном времени и многомерного корреляционного анализа в реальном времени, что является основой для стабильной и эффективной работы вся система.
За последние два года мы инвестировали ресурсы НИОКР в направление больших данных и искусственного интеллекта, а также разработали ряд инновационных проектов, таких как отпечатки пальцев устройства, CDNA, механизм расчета сложных переменных в реальном времени и т. д., и добились хороших результатов. Результаты. В 2017 году общий БП карты снизился более чем на 50%, что намного ниже среднего уровня аналогов, что обеспечило благоприятные условия для развития бизнеса Ctrip и процесса глобализации.
Производительность и сложность могут быть объединены
Система управления рисками Ctrip, как и большинство сторонних платежных платформ, также основана на системах управления рисками в режиме реального времени:
-
Ссылка для оплаты обычно оставляет не более 1 с для проверки контроля рисков.Для точек контроля бизнес-рисков предполагается, что контроль рисков может быть пройден в течение 100 мс; стремление к производительности также является стремлением к максимальному пользовательскому опыту.
-
За последние два года ежегодные заказы Ctrip увеличились более чем на 50%, а количество вмешательств по контролю бизнес-рисков, таких как маркетинговая деятельность и злонамеренное использование ресурсов, увеличилось более чем в 10 раз каждый год.
-
Количество правил увеличилось в пять раз за два года, при этом использование большего количества данных в правилах больше не ограничивается информацией о продукте, платежной информацией, информацией об учетной записи, данными о поведении и другими слабо связанными данными.
-
Большое количество сложных моделей развертывается в сценариях управления рисками в режиме реального времени, поэтому модели могут напрямую отклонять транзакции, такие как правила; в среднем ресурсы, необходимые для выполнения модели и расчета связанных переменных, могут быть эквивалентны 200 обычным правилам. производительность - большие проблемы.
-
Технологии мошенников также постоянно совершенствуются и становятся все более коварными.Нам нужно больше данных для идентификации, таких как идентификация симуляторов и идентификация прокси-серверов, во все из которых вложено много ресурсов исследований и разработок.
Позвольте мне показать вам некоторые данные:
За платежным запросом вычислительная сложность правил управления рисками Ctrip:
Количество переменных, сгенерированных расчетом за период, приближается к 2000, и более 90% переменных являются переменными Velocity и Ratio, и еще большая часть является точной для текущей транзакции; после выполнения полной проверки правила, контроль риска возвращается платежной системе для прохождения или отклонения инструкций, среднее время составляет менее 150 мс, а линия 99,9% составляет всего около 500 мс.
Краткая история изменений архитектуры управления рисками Ctrip
Самостоятельная система управления рисками Ctrip была запущена примерно в 2011 году. До 2015 года, как раз к тому времени, когда технологический стек компании изменился с платформы .Net на платформу Java, система управления рисками также была полностью переписана.
Архитектура, сложность конструкции и ожидаемая вычислительная мощность новой системы также полностью учитывали ожидания компании в отношении развития бизнеса и впервые позволили технологиям опережать бизнес. После большой версии итерации каждый год, технический уровень управления рисками Ctrip был на первом эшелоне отрасли.
Обзор архитектуры и основные службы
Давайте взглянем на реализацию архитектуры управления рисками Ctrip:
Приведенная выше картинка может быть немного абстрактной, давайте рассмотрим конкретный пример:
Понятия: вход/регистрация, оформление заказа, оплата, уведомление о результате оплаты, выдача билета и т. д. Мы называем это точками доступа к управлению рисками.
Некоторые точки доступа используются для проверки в режиме реального времени, а некоторые используются для сбора данных.Во всей крупной системе Ctrip имеется более 400 точек доступа для контроля рисков, которые проверяют или отслеживают каждое звено транзакций Ctrip, гарантируя, что каждый транзакция и выгода пользователя.
Управление рисками ежедневно собирает более 5 миллиардов единиц данных, из которых более 100 миллионов запросов требуют управления рисками для проверки рисков в режиме реального времени и возврата в бизнес-систему информации о возможности продолжения текущей операции.
Контроль рисков был задействован с момента входа пользователя в систему. В процессе просмотра и размещения заказа продолжается оценка и расчет рисков этого пользователя. Когда пользователь инициирует платежный запрос, тепловые данные контроля рисков уже существуют. данные об этом портрете пользователя, механизм управления рисками может рассчитать и вывести переменные, требуемые правилами и моделями, в режиме реального времени на основе этих данных.
Поддержка высокой доступности и высокой производительности системы управления рисками неотделима от надежной инфраструктуры.Позвольте мне показать вам несколько основных услуг и компонентов управления рисками Ctrip:
Мы назвали его Матрица, что означает гибкий, как кубик Рубика. Тысячи правил распределяются и выполняются параллельно, чтобы гарантировать отсутствие очевидной положительной корреляции между количеством правил и временем выполнения, а механизм управления рисками может быть динамически сгруппирован по бизнесу, что не только обеспечивает хорошую изоляцию вычислительных ресурсов между бизнесами. , также обеспечивает достаточную гибкость.
двигатель правил:
Первоначальная версия основана на drools, но после двух версий итеративной оптимизации он был полностью заменен на движок собственной разработки, новый движок совместим со скриптами drools, а переход на новый движок практически не требует затрат. После миграции производительность выполнения правил повышается более чем на порядок и имеет лучшую стабильность.
двигатель исполнения модели:
Механизм управления рисками поддерживает прямое развертывание моделей, обученных с помощью таких инструментов, как SAS или SPARK, в системе управления рисками, а также поддерживает несколько форматов, таких как DOT и PMML.
Мы самостоятельно реализовали интерпретатор файлов модели DOT, и эффективность выполнения более чем в 20 раз выше, чем у Python.
служба трафика в режиме реального времени:
Внутренне называемый Counter Server, он отвечает за расчет всех переменных Velocity и Ratio. Важность очевидна. Производительность Counter напрямую влияет на время и точность всей транзакции.
Мы построили окно Slide на основе кластера Redis. Реализация на самом деле очень легкая, но очень проста в использовании. Масштаб временного окна отображается на ключ Redis. В настоящее время он поддерживает точность секунд, минут, часов , дни, месяцы и т.д. Различные статистические элементы в режиме реального времени могут быть гибко и динамически настроены в соответствии с изменяющимися требованиями. Текущая емкость кластера составляет от 2 до 5 ТБ.
Сервис Counter поддерживает более 10 миллиардов запросов в день, а среднее время одного запроса трафика составляет всего около 1 мс, что обеспечивает надежность вывода переменных.
отпечаток пальца устройства:
Традиционно IP используется для идентификации устройства, но с ростом популярности мобильных сетей IP в основном утратил эту функцию.Многие из получаемых вами IP-адресов являются IP-адресами базовых станций и экспортными IP-адресами.Блокировка IP-адреса может привести к ошибочному уничтожению устройства.
Идентификатор оборудования IMEI или IDFA можно использовать для идентификации устройства в приложении, но для ПК и H5 требуется более точная идентификация устройства, чем IP. Некоторые компании уже взяли на себя инициативу, например, известная в отрасли ThreatMetrix, а также в Китае есть несколько поставщиков услуг, которые специализируются на снятии отпечатков пальцев устройств.
Снятие отпечатков устройств является ключевой технологией контроля рисков для выявления мошеннических транзакций. Такие основные технологии должны находиться в их собственных руках. Служба снятия отпечатков устройств, разработанная Ctrip Risk Control, была развернута на сайтах Ctrip и на нескольких сайтах Ctrip Group. в точности извлечения правил очень очевидна.
Архитектура и ключевые показатели отпечатков пальцев устройства:
CDNA:
Нам необходимо полное и глубокое понимание «пожизненного» поведения и «следа» одного и того же человека или одного и того же типа мошеннической банды на Ctrip.
Исходя из этой цели, был разработан сервис CDNA, который агрегирует данные одного и того же человека, выполняя многомерную корреляцию с бесконечной конвергенцией всех данных, проходящих через контроль рисков; сервис CDNA ежедневно обрабатывает более 100 ТБ данных.
Использование CDNA очень полезно для обнаружения новых характеристик мошенничества и повышения точности сбора правил.
Идентификация агента и эмулятора:
Технологии мошенников также постоянно развиваются, и преступления становятся более скрытными.Прокси-серверы и симуляторы являются очень хорошими средствами сокрытия, что можно увидеть во многих сценариях, таких как считывание транзакций и мошенничество с кредитными картами.
Мы изучили TCP Signature, Time Gap, поведение пользователей, экспериментальные данные для различных симуляторов и т. д. и имеем собственную методику и схему идентификации.
Человеческие правила против моделей
Дополнительный смысл модели к правилам очень важен, он может компенсировать слепое пятно ручных правил, модель может хорошо охватывать исторические характеристики мошенничества и может значительно сократить количество правил.
Будь то правило или модель, оно должно основываться на полном понимании бизнес-контекста. Признаки, извлеченные из бизнес-контекста и только для анализа самих данных, зачастую необъективны и неполны, на самом деле онлайн-эффект не будет идеальным..
Краткое введение в наш метод извлечения переменных признаков:
Методы вывода переменных:
заключительные замечания
«Сделать путешествие более свободным и безопасным» — это внутренняя культура и миссия Ctrip Risk Control. С непрерывным продвижением глобализации Ctrip и растущим объемом транзакций отечественные и зарубежные технологии черного производства также становятся все более и более зрелыми, а ситуация с мошенничеством становится все более и более серьезной.
Ctrip является лидером в отрасли OTA, и техническая команда Ctrip по борьбе с мошенничеством также будет руководить технологическим прогрессом в области борьбы с мошенничеством, исследованиями и освоением применения передовых инструментов, таких как большие данные и искусственный интеллект, заранее, поэтому чтобы справиться с более серьезными задачами в будущем и предоставить пользователям лучшие решения, хороший сервис.
【Рекомендуется к прочтению】