Опыт решает все: от оптимизации видео до QoE, пути к практике машинного обучения.

Источник контента:7 сентября 2018 г. Сун Ли, профессор Шанхайского университета Цзяо Тонг, выступил с докладом на тему «Практика применения машинного обучения в QoE» на «Интернет-конференции в реальном времени RTC 2018». IT big coffee сообщил, что как эксклюзивный видео-партнер, он был выпущен с разрешения организатора и спикера.

Количество слов для чтения:3112 | 8 минут чтения

Получите видео с гостевой речью и PPT,Пожалуйста, нажмите:t.cn/EwQ9od6

В прошлом мы часто говорили о QoS в сфере услуг, но теперь мы больше говорим о QoE, то есть об эпохе, когда опыт является королем.С точки зрения контента измерение QoE выше.

Есть три основных фактора, влияющих на QoE. Во-первых, это, конечно, предмет.Взятие людей в качестве основного тела является признаком QoE.Если оно основано на объективных вещах, это QoS. Второй — система, то есть инфраструктура, коммуникационная сеть и кодек, несущие услуги QoE. В-третьих, это контекст, который переводится на сцену, и QoE будет разным в разных сценах.

В прошлом мы обычно ставили QoE на более низкую позицию. Проще говоря, это эквивалентно отношениям между инженерами-испытателями и инженерами-разработчиками. После того, как инженеры-разработчики разработали систему, инженеры-испытатели будут тестировать и давать отзывы. В дополнение к тестированию и обратной связи, управление QoE также включает процесс моделирования, который автоматизирован с помощью моделей.

Мы можем смотреть на QoE с разных сторон. Первая - горизонтальная перспектива.На приведенном выше рисунке показан типичный базовый процесс от головного узла до пользовательского.После того, как исходные данные собраны и закодированы, они достигают терминала через сеть и, наконец, представляются пользователю. Все эти элементы повлияют на окончательный опыт, и рассмотрение только одного из этих факторов будет пагубным для последующей оптимизации.

Другая — вертикальная перспектива, которая преобразует QoE в количественные показатели, а затем дает их количественную характеристику для формирования системы оценки. Приведенный выше рисунок представляет собой широко используемый метод классификации индикаторов в области связи.Нижний уровень представляет собой исходный параметр данных, и передается некоторая основная информация, такая как пропускная способность, джиттер, сеть и т. д. Второй уровень — это KPI, которые представляют собой индикаторы, зафиксированные во время мониторинга, такие как индикаторы ошибок и индикаторы задержки. Верхний уровень — это KQI, основанный на ключевых показателях качества, генерируемых KPI, а KPI — это задействованная часть, такая как аудио, видео, взаимодействие с пользователем и т. д. В конце концов, их комбинация и есть QoE.

Если QoS абстрагироваться от определенного показателя, то его связь с QoE будет примерно такой, как показано на рисунке выше. Эта строка описания не должна сильно отличаться от ощущения в повседневной жизни.В качестве примера возьмем потерю пакетов.Когда в начале есть только небольшое количество, оно почти не ощущается.По достижении определенной стадии оно постепенно уменьшается и образует изгиб.

Есть много способов описать кривую, перечисленные выше являются наиболее часто используемыми. С точки зрения количества кликов в сети, скорости загрузки и т. д. кривые, построенные по закону Вебера-Фехнера, относительно точны. IQX будет лучше с точки зрения потери сетевых пакетов и качества сети. Эти методы в основном применимы к случаю одного индикатора, и эффект не очень уверен, когда есть несколько измерений.

С QoE в области видео связан VQA, VQA-оценка качества видео делится на субъективную оценку и объективную оценку. Перед QoS требуется субъективная оценка, а при крупномасштабном развертывании или коммерческих приложениях требуется объективная оценка.

До создания искусственного интеллекта академическими кругами в области мультимедиа было опубликовано значительное количество статей VQA. Интересно, что в этой области существует большая разница между академическим сообществом и промышленностью, и промышленность редко использует результаты академического сообщества. Лично я думаю, что одна из причин кроется в наборе данных и направленности.Академическое сообщество может проводить больше тестовых исследований на небольших наборах данных, которые трудно удовлетворить различным сценариям в отрасли.

На приведенном выше рисунке показаны различные методы оценки.Для крупномасштабного развертывания наиболее ценным является строка оценки без ссылок.

uVES предлагается в связи с текущим быстрым развитием видеосервисов, акцентом людей на пользовательский опыт. Судя по текущей внутренней ситуации, видеоиндустрия переходит от подчеркивания пользовательского масштаба к повышению качества обслуживания.

Однако существуют и различные проблемы, например, различен пользовательский опыт видеосервисов, предоставляемых разными поставщиками услуг и контент-провайдерами, и отсутствуют единые стандарты для предпринимательских приложений; пользовательский опыт видео сверхвысокой четкости услуги лучше, чем видеоуслуги высокой и стандартной четкости.Больший разрыв, новые проблемы для технологий кодирования (AVS2, HEVC и т. д.) и новые типы услуг (HDR, AR, VR и т. д.).

На самом деле МСЭ проделал большую работу до этого, и некоторые операторы, такие как Huawei, ZTE, и некоторые операторы также внесли определенный вклад в МСЭ, поэтому мы многому научились из организационной структуры МСЭ.

В ITU, в соответствии со сложностью и сценариями применения, QoE и QoS далее делятся на несколько уровней, включая модель планирования, модель оболочки, модель генерации битового потока и модель уровня мультимедиа. Помимо индивидуального применения, они также могут смешиваться и применяется. .

Кратко охарактеризуйте эти модели. Модель медиа-уровня предсказывает качество видео (контрастность, размытость, оттенок) посредством анализа контента, а входными данными является PVS, то есть обработанный контент аудио- и видеопоследовательности.

Модель уровня битового потока предсказывает качество видео (сложность, потери пакетов и параметры размытия) путем извлечения и анализа информации о кодировании уровня передачи видео и ввода информации о кодировании и декодировании или информации о передаче в мультимедийной полезной нагрузке видео.

Модель пакетного уровня предсказывает качество видео (тип кадра, размер, битрейт, замораживание) с помощью информации заголовка пакета, а входными данными является передаваемая информация заголовка пакета. Модель сетевого планирования повышает качество видео с помощью ключевых показателей эффективности услуг и требований к ним.

Альянс Video Experience основан на фактическом развитии отечественной отрасли, с практичностью и эффективностью в качестве фундаментальных принципов, и стремится к эффективному соединению национальных стандартов и международных стандартов, чтобы создать комплексную систему оценки пользовательского опыта видеоуслуг. в Китае и залить отечественный видеосервис.Стандартный бланк.

После создания рабочей группы была запущена базовая структура, которую мы называем uVES 1.0, описывающая QoE по трем параметрам: качество отображения видео, взаимодействие с видео и качество просмотра видео. В uVES 1.1 добавлена ​​работа, связанная с 4k.

Это первые три индикатора с вертикальной точки зрения: качество видео включает в себя источник и кодирование, впечатления от просмотра — качество передачи и инкапсуляции, а качество взаимодействия — отображение терминала и взаимодействие сигналов. В итоге мы можем получить формулу расчета ниже на рисунке С помощью этой модели мы можем охватить три сценария применения: VoD, BTV и видеовызов.

На этом рисунке показан метод и процесс оценки всей модели и алгоритма. Во-первых, необходимо собрать выборочные данные для обучения, затем поместить данные в модель, выполнить итерацию в соответствии с результатами проектирования модели и, наконец, выполнить крупномасштабную оценку и проверку.

Факторы, влияющие на качество видеоисточника, включают три модели: качество отображения Qs, качество сжатия Qcod и качество воспроизведения Qv.

Параметры Mode 0 очень простые, только PPi, размер экрана, битрейт. Режим 1 извлекает относительно больше информации и учитывает проблему кодирования и декодирования. Параметры режима 2 включают размытие, контраст и шум.

(Формула расчета модели режима 0)

(формула расчета модели режима 1)

(формула расчета модели режима 2)

(Формула расчета модели)

На качество интерактивного опыта в основном влияет скорость отклика видеосистемы, скорость отклика операций меню и другие показатели. В связи с этим можно сослаться на так называемый «закон 2-х секунд», то есть допустимо, чтобы видео загружалось в течение 2 секунд.После более чем двух секунд около 10% пользователей предпочтут дать за каждую 1 секунду загрузки. Когда время достигает 10 секунд, большинство пользователей предпочитают сдаться.

Влияние на впечатления от просмотра оказывает, с одной стороны, размытие экрана, вызванное потерей пакетов, а с другой стороны, явление заикания. Тем не менее, согласно исследованиям пользователей, было обнаружено, что из-за влияния инерции прошлого использования пользователи по-разному воспринимают просмотр на терминалах разных размеров.Влияние относительно невелико.

(Формула расчета модели потери пакетов)

(Расчетная формула модели корпуса Caton)

Для оценки качества видео сетевой уровень и некоторые простые модели, упомянутые выше, в основном являются сетевым уровнем.На самом деле, идеальная ситуация - смотреть видео напрямую.В этом отношении машинное обучение прошло три типичных этапа. Первоначально это был признак плюс классификатор, а позже была разработана статистика признаков.В последнее время CNN используется для извлечения признаков.

Мы также использовали метод «функция плюс классификатор» в сцене с низкой сложностью в первые дни.Преимущество этого заключается в том, что проблема может быть легко обнаружена.

Вышеупомянутый контент был опубликован на этот раз, спасибо всем! (Из-за ограниченного места, пожалуйста, посмотрите видео для полного содержания)