Введение
Ресурсы создания относятся к ресурсам, созданным дизайнерами, таким как реквизит, шаблоны и небольшие программы, которые будут применяться к различным байтовым приложениям, таким как Douyin, Volcano, Xianying, Qingyan и Awakening. С развитием модели пользовательского контента все больше и больше пользователей пополняют ряды создателей, предлагая большое количество новых идей и игрового процесса. Увеличение создателей также привело к резкому увеличению количества ресурсов, и вопросы безопасности и качества стали все более заметными, а ручное обнаружение также имеет такие проблемы, как большая эффективность и пропущенные отзывы. Чтобы повысить эффективность и охват тестированием, а также предоставить создателям лучшую среду для творчества и лучший пользовательский опыт, мы создали профессиональную вертикальную сервисную платформу тестирования — Creation Quality Platform (сокращенно CQ), чтобы защитить качество производственных ресурсов создателей.
Введение в платформу
задний план
Традиционный процесс обнаружения творческих ресурсов грубо делится на этапы отправки пользователем, обнаружения контента, определения качества, онлайн или возврата. Среди них большинство проверок качества контролируются вручную, что, скорее всего, вызовет такие проблемы, как низкая эффективность, пропущенные проверки и неправильные проверки. Эти проблемы могут привести к несчастным случаям в сети или снизить энтузиазм авторов, что приведет к потере группы высококлассных авторов. Платформа CQ использует метод автоматизации и алгоритм двойного действия для обеспечения контроля качества. Например, автоматическое создание шаблонов, автоматическое определение производительности, классификация и распространение политик, классификация и маркировка алгоритмов, обнаружение содержимого алгоритма и т. д. В то же время он предоставляет функции повторной проверки и обратной связи, оптимизирует стратегию автоматизации и модель алгоритма, а также повышает доверие к платформе. Схема архитектуры системы платформы показана на следующем рисунке:
поток задач
Существует много видов задач обнаружения.Мы абстрагируем работу, чтобы описать задачу, которая может представлять любой тип задачи. Задача представляет собой подзадачу задачи и является наименьшей единицей автоматизированного выполнения.Правила создания могут быть сформулированы в соответствии с бизнес-требованиями. Бизнес-приложение представляет различные типы обнаружения, такие как обнаружение шаблонов, обнаружение производительности специальных эффектов и т. д., упомянутые ниже. Модуль управления задачами обрабатывает общую логику управления задачами. Ход выполнения задачи показан на следующем рисунке:
Тип контроля качества
Обнаружение шаблона
Объекты обнаружения шаблона в основном включают один и тот же шаблон для обрезки и затенения, шаблон для восстановления того же стиля для привлекательных изображений и шаблон для съемки фотографий со светлым цветом. Он характеризуется большой магнитудой и сложными точками обнаружения. Один срез одного и того же шаблона имеет порядок около 3,5 Вт + в день.
Процесс показан на рисунке выше, и с технологической платформой была сформирована связь с обратной связью. Созданный шаблон нарезки одного стиля загружается на технологическую платформу, выделяются высокие и низкие очереди, а задача регистрируется в CQ. CQ делит задачи по приоритету шаблонов и создает соответствующие автоматизированные задачи. Автоматически выполняйте такие операции, как применение материалов, синтез видео и экспорт видео. После получения того же видео он будет использовать соответствующий алгоритм, чтобы проверить, соответствуют ли правила шаблона и качество видео ожиданиям, и одновременно пометить видео. Наконец, результаты продукта и этикетки будут отправлены обратно на платформу процесса, и соответствующий персонал подтвердит результаты испытаний.
разгрузка задач
Из-за большой задачи по резке одного и того же шаблона трудно полностью поддерживать только локальную стойку.Обнаружение одного и того же шаблона использует стратегию распределения задач.Во-первых, задачи имеют приоритет, и разные шаблоны для резки одного и того же шаблона предоставляется в соответствии с различными приоритетами. В основном он включает в себя три возможности: локальный пул ресурсов, стоечный сервис GTF и то самое облако.
| Приоритет шаблона | Проверьте свои способности | преимущество | недостаток | величина |
|---|---|---|---|---|
| Высококачественный шаблон и некачественный шаблон в оттенках серого | локальный пул ресурсов | SDK-версия мобильного клиента такая же, как и онлайн-версия, и эффект самый надежный. | Локальная стойка, автоматизация пользовательского интерфейса, менее эффективная | 15 для iOS 20 для Android |
| Высококачественный шаблон и некачественный шаблон в оттенках серого | Служба стеллажей GTF | SDK-версия мобильного клиента такая же, как и онлайн-версия, и эффект самый надежный. | Локальная стойка, автоматизация пользовательского интерфейса, менее эффективная | 20 андроидов |
| некачественный шаблон | Сократите те же облачные возможности | SDK на основе ядра Linux с высочайшей эффективностью выполнения | Отстает от онлайн-версии SDK, достоверность эффекта меньше 100%, справляется только с некачественными задачами. | Развертывание распределенного кластера |
Маркировка классификации алгоритмов
В дополнение к обнаружению шаблона, маркировка шаблона и классификация также являются чрезвычайно трудоемкой частью. Согласно оперативной статистике, шаблоны с пиковым накоплением около 560 000 находятся в немаркированном состоянии, что оказывает большое негативное влияние на общий коэффициент экспозиции шаблонов и качество рекомендаций однотипных фидов. Таким образом, эффективная и точная классификация алгоритмов и маркировка очень важны для эффективности человека и онлайн-бизнеса от маркировки шаблонов. Мы извлекли функции из заголовка шаблона, видео шаблона и аудио шаблона и объединили их через структуру мультимодальной единицы Gate, чтобы получить мультимодальную модель функций. Среди них, в вертикальной классификации тематической классификации уровень точности достиг 91%, что очень близко к эффекту ручной классификации.
эффект приземления
В настоящее время компания разработала шаблоны для нескольких направлений бизнеса, таких как Clipping, CapCut, Douyin, Qingyan и Xingtu. На начальном этапе обнаружение одинакового стиля вырезания шаблона в основном зависит от полностью ручного управления Операторам необходимо вручную создать и обрезать видео того же стиля на мобильном телефоне в соответствии с шаблоном и вручную проверить. В среднем каждый человек может обнаружить только около 60 шаблонов в день. После доступа к обнаружению шаблона среднесуточный шаблон обнаружения составляет 3,8 Вт+, среднесуточный шаблон проблемы фильтрации составляет 2000+, кумулятивный шаблон обнаружения составляет почти 350 Вт, а уровень стабильности и точности поддерживается выше 99%. Алгоритм и модуль маркировки сокращают первоначальное время обнаружения с 3 дней до 4 часов, что значительно снижает эффективность человеческого труда.
обнаружение апплета
Объект, обнаруженный апплетом, является апплетом на основе байтов. Особенности:
- Образцов много, и каждый апплет имеет большое количество страниц;
- Существует много точек обнаружения, и необходимо обнаружить более 20 точек, таких как имя, значок, введение и содержимое каждого апплета.
Процесс показан на рисунке выше, и с технологической платформой была сформирована связь с обратной связью. После того, как создатель создаст апплет и загрузит его на платформу процесса, служба снимков экрана пройдет через апплет, чтобы получить снимки экрана содержимого, и зарегистрирует задачу в CQ. После того, как CQ классифицирует образцы скриншотов, он использует возможности алгоритма CV&NLP для обнаружения соответствующих точек обнаружения, а затем визуализирует результаты и отправляет их обратно на платформу процесса, что удобно стороне алгоритма для настройки алгоритма и повышения точности. и уверенность.
Расширение возможностей алгоритма
В настоящее время на основе алгоритмов CV и NLP для апплета предусмотрено более 20 точек обнаружения, в основном охватывающих имя, значок, введение, безопасность контента, аномалии страницы, текстовые аномалии, информацию о побуждении, категории услуг и т. д. апплета. Для разных точек обнаружения проблемная область будет отмечена непосредственно на образце, что удобно для операторов при устранении неполадок.
Механизм отбора проб
Из-за большого количества образцов, если требуется обратная связь от операторов, это значительно увеличит нагрузку на операторов.Однако, если обратная связь предоставляется только по неудовлетворительным результатам, в пройденных случаях могут быть скрыты ошибки, и модель будет иметь длинный хвост.проблема. Таким образом, платформа CQ будет оценивать все точки обнаружения в соответствии со следующими тремя параметрами:
- Точность исторических результатов: чем ниже точность, тем выше оценка
- Время последнего розыгрыша: чем дольше не разыгрывается, тем выше оценка
- Случайный фактор: случайная оценка для обеспечения разнообразия выборки
Для пройденных образцов будет извлечено фиксированное количество подробных образцов, соответствующих точкам обнаружения с максимальной оценкой n, которые будут возвращены на технологическую платформу для ручной маркировки.
эффект приземления
В настоящее время созданный нами процесс обнаружения мини-программ предусматривает ежедневное обнаружение мини-программ на основе байтов, и каждый день проверяется в среднем более 500 программ. Задержка обнаружения апплета также была уменьшена с 24 часов до менее чем 5 часов, а текущая степень точности составляет более 95%. Сторонний апплет также открыл весь процесс предъявления обвинения-обнаружения-распределения на основе результатов CQ, и ручное вмешательство в течение этого периода больше не требовалось.
Обнаружение производительности спецэффектов
Объектом определения производительности спецэффектов являются ресурсы спецэффектов каждого приложения. Особенность в том, что существует множество видов спецэффектов, включая реквизит, стили, грим, наклейки, фильтры, переходы, анимацию и т. д. Из-за различий в типах будут отличия в процессе.
Процесс показан на рисунке выше, и с платформой спецэффектов была сформирована замкнутая связь. Создатель делает спецэффекты и загружает их на платформу спецэффектов, в процессе тестирования задача регистрируется в CQ. CQ планирует соответствующий пул ресурсов оборудования в соответствии с различными типами бизнеса + типами ресурсов, создает автоматизированную задачу, и после завершения автоматического выполнения платформа выполняет анализ данных, отображение визуального отчета и интеллектуальную сигнализацию о результатах и отправляет их обратно в платформа спецэффектов, и студенты QA вызывают спецэффекты. В то же время он также выбирает причину, и CQ используется для оценки точности результата. В настоящее время обнаружение спецэффектов в основном включает определение производительности (память, ЦП, FPS и т. д.), определение основных функций (черно-белый экран, сбой), индивидуальное обнаружение (проверка логики пакета ресурсов) и т. д. Выполнение автоматизированных задач охватывает основной процесс использования ресурсов спецэффектов, а также охватывает сценарии с множеством онлайн-проблем для некоторых направлений бизнеса.
Обнаружение триггера
Триггерные реквизиты относятся к реквизитам, которые требуют определенных действий для запуска соответствующих эффектов, таких как моргание или срабатывание от сердца к сердцу. На ранней стадии обнаружения спецэффектов учитывались только статические эффекты лица, но по мере того, как геймплей со спецэффектами становился более разнообразным, количество спецэффектов триггерного типа резко возрастало. обнаружение может иметь такие проблемы, как отклонения и ложноотрицательные результаты. Чтобы получить более точные данные тестирования производительности и повысить эффективность тестирования стикеров, CQ необходимо поддерживать возможность запуска автоматизации спецэффектов.
Прежде всего, учитывая, что существует много типов триггерных действий, и в непрерывной итерации, если портретное изображение, обращенное к камере тестовой машины, заменить видео, показывающим соответствующее действие, стоимость обслуживания материала увеличится для Студенты QA, и много инвестиций потребуются аппаратное оборудование, и последующее обслуживание оборудования также требует много рабочей силы.
После исследования и обсуждения CQ наконец принял метод моделирования данных алгоритма для завершения обнаружения реквизитов триггера. Сначала будет проанализирован пакет ресурсов специального эффекта, и будут получены триггерные действия, требуемые пакетом ресурсов. В настоящее время это в основном включает в себя выражения, жесты, сенсорный экран и другие действия. Затем, в соответствии с согласованным форматом протокола, pb создается и прозрачно передается в SDK через клиент. После того, как SDK получит сообщение и заменит данные реального алгоритма, может быть запущен соответствующий эффект алгоритма.
Процесс оценивания
Разница в частоте кадров ресурсов спецэффектов на разных моделях очень очевидна.Для лучшего взаимодействия с пользователем некоторые эффекты будут потеряны, чтобы обеспечить производительность и сделать пользователей более плавными при использовании. Обнаружение спецэффектов также выполнит оценочный тест для пакета ресурсов. Текущая стратегия состоит в том, чтобы выбрать несколько репрезентативных моделей, разделить их на младшие, средние и высокопроизводительные модели и начать тестирование с младших моделей по очереди. до моделей среднего уровня и т. д. Модельный ряд, для которого рекомендуется распределять ресурсы спецэффектов.
эффект приземления
В настоящее время тест производительности спецэффектов подключен к Douyin, Volcano, Cut Ying, Qingyan, FaceU, Wake Map и другим сервисам. В настоящее время он открыт с платформой спецэффектов, и некоторые предприятия полностью доверяют результатам производительности спецэффектов без ручного вмешательства в процесс тестирования спецэффектов. В настоящее время стабильность превышает 99%, а скорость обнаружения проблем составляет около 22%.
Суммировать
Платформа Creation Quality Platform нацелена на создание набора эффективных, точных и полностью автоматических процессов обнаружения ресурсов, а также на предпосылку обеспечения качества, чтобы улучшить пользовательский опыт и энтузиазм создателей при отправке. В то же время вводится расширение возможностей алгоритма для интеллектуального решения содержимого обнаружения, которое не может быть охвачено автоматизацией.В будущем мы будем улучшать возможности обнаружения алгоритма, охватывать больше уровней и лучше согласовывать со сценариями использования байтовых продукты.С точки зрения энергоэффективности, это сопровождение продукта на уровне компании.
Присоединяйтесь к нам
Мы являемся научно-исследовательской командой ByteDance Interactive Entertainment. Interactive Entertainment R&D отвечает за исследования и разработку многих популярных продуктов, таких как Douyin, Douyin Volcano, Jianying, FaceU, Qingyan, прямые трансляции и музыка. В настоящее время Douyin Daily Active (DAU ) Он превысил 600 миллионов и продолжает поддерживать быстрый рост.
Команда по эффективности исследований и разработок фокусируется на сервисе + аналитике, стремясь расширить возможности различных бизнес-сценариев взаимного развлечения с помощью инструментальных платформ + алгоритмов Функции команды включают, помимо прочего, повышение эффективности исследований и разработок, обеспечение качества контента, оптимизацию взаимодействия с пользователем и обеспечение безопасности бизнеса. .
Команда имеет различные функциональные должности, такие как алгоритм, проектирование (внешняя часть, внутренняя часть и клиент), данные (большие данные, DA), продукт, тестирование и т. д., которые могут эффективно проектировать и разрабатывать продукты интеллектуальной платформы в самостоятельном порядке. -замкнутый цикл с многочисленными влияниями на уровне компании. Успешный опыт внедрения интеллектуальных продуктов платформы.
Команда быстро развивается, молода и энергична, уделяя особое внимание созданию технической атмосферы, активно участвуя в ведущих отраслевых технических конференциях в стране и за рубежом, выпуская высококачественные технические патенты и связанные с ними документы и работая в Шэньчжэне, Ханчжоу и Пекине.
Присоединяйтесь к нам и сделайте так, чтобы каждая строка вашего кода служила миллиардам пользователей по всему миру.
Электронная почта для доставки резюме:iesep@bytedance.com; Тема письма: Имя — Стек технологий — Эффективность НИОКР.