Сегодня я хотел бы поделиться с вами открытым курсом на платформе InfoQ - экстремальное видеосвязь в реальном времени в слабой сети.Что касается экстремального исследования видеосвязи в реальном времени, спикером является профессор Ма Чжан из Нанкинского университета.
1. Предыстория предмета
Прежде всего, давайте поговорим об истории вопроса. Обычно точность и своевременность информации, получаемой сетевыми устройствами, такими как мобильные телефоны и компьютеры, связаны с общением в реальном времени. Взяв в качестве примера видеосвязь в реальном времени, мы не всегда может гарантировать постоянную стабильность сети.В это время слабое Существование сетевой среды будет играть важную роль в улучшении качества передачи.
Официальное объяснение заключается в том, что слабая сетевая среда существует уже давно, особенно во многие критические моменты, связанные с жизнью, производством и даже бытом, сеть связи часто ограничена большими физическими условиями, такими как морские операции, помощь при чрезвычайных ситуациях, сценарии с высоким параллелизмом и т. д. Поэтому нам необходимо изучить новые теории и новые методы для эффективного анализа, точного моделирования и точного прогнозирования, чтобы реализовать экстремальные условия слабой сети (например, чрезвычайно низкая пропускная способность
Профессор Ма впервые представил свои собственные исследования в области обработки видео около семнадцати лет. В настоящее время он в основном занимается двумя аспектами работы. С одной стороны, речь идет о сборе информации, интеллектуальной транспортировке и других технологиях обработки видео, таких как реконструкция. для людей.
2. Каков лимит видеосвязи при слабой сети?
Ввести слабую сеть
слабая сетьВ отличие от обычного интернета, обычный интернет вполне хорош с точки зрения текущего лимита. Например, будь то прямая трансляция или трансляция по запросу, независимо от того, с точки зрения обработки сигнала, сжатия видео или с точки зрения сети, сетевое оборудование способно удовлетворить требования высокой четкости и сверхвысокой четкости. - определение и даже больше. Однако в случае масштабных селевых и других ситуаций базовую станцию использовать нельзя, если дело морское, то можно использовать только спутники связи. Но нам также необходимо своевременное и точное понимание онлайн-среды в режиме реального времени.В настоящее время очень важно изучить экстремальную структуру видео, то есть слабую сеть.
3. Архитектурный дизайн и преимущества экстремальной коммуникации
три аспекта
1. С точки зрения самого простого инженерного проектирования мы действительно можем пройти весь путь.Движение данных.
Используйте оригинальный метод, основанный на данных, аналогичный AlphaGo-Go, который использует обучение с подкреплением. Используйте обучение с подкреплением для управления пропускной способностью сети, чтобы контролировать некоторые из наших сложных параметров, таких как видеокодеки. Соответственно, эти параметры и параметры кода редактирования этих сетей — все числа. Поэтому, если мы создадим его эмпирическим путем, в наших сердцах всегда может быть узкое место.
Во-вторых, во-вторыхэмпирический дизайн, от управляемого данными до интеллектуального.
Профессор Ма взял здесь титул, названный «Откуда».альфа перейти к альфа ноль. Когда дело доходит до дизайна AlphaGo, он сделает простой старт для многих таких вещей, но когда дело доходит до Alpha Zero, он будет начинать с начального состояния по собственной модели, а затем медленно учиться. Поэтому также предлагается, чтобы для сквозной видеосвязи онлайн-обучение можно было использовать для изучения различных состояний всего межсетевого соединения. Затем предоставьте актуальную модель онлайн-обучения или решение о персонализированном обучении для одного пользователя.
3. ИспользуйтеВидео центра такжепередача данныхформа. В сочетании с видеоконтентом или изображением сама коммуникационная информация действительно может перейти от данных к искусственному интеллекту в понимании пользователя или в таком понимании контента, которое мы называем семантическим уровнем. Эквивалентно восприятию, даже если видео теряет кадр или изображение теряет несколько пикселей или даже несколько больших блоков, это можно восстановить с помощью некоторых методов компенсации.
4. Интеллектуальное кодирование видео
С точки зрения обработки видеосигнала, как мы можем использовать такую нейронную сеть, вдохновленную мозговым зрением, для кодирования видео со сжатием видео или обработки сигнала с более низкой скоростью передачи данных?
Сжатие видео на самом деле представляет собой процесс, очень похожий на предыдущую структуру конвейера. От пикселя до конца кодирования, от пикселя до потока размещения и декодирования от бинарного потока до пикселя — на самом деле это процесс, основанный на информации. Таким образом, в рамках этого процесса информатизации у нас есть несколько новых теорий и новых методов, которые следует исследовать и продолжать изучать.
Упоминаются две системы, начиная счеловеческая точка зренияГлядя на него, мы идем от сетчатки, а затем к середине вот так. называется зрительным нервом. Затем к такому латеральному коленному двойному слою и, наконец, к нашему мозгу, который мы называем первичной зрительной корой. Тогда это также пошаговое извлечение и перцептивное понимание информации.
В другом ракурсе предлагается использовать этотбиологическое зрение или старое зрениевдохновлять, используя самые основныеПоток информации, сетевое изображение трехмерного мира, воспринимаемого человеческим глазом. Это называется проходной путь.К середине-это поглощать нижний слой извне,а потом проходить через разные клетки в нашу первичную кору,а потом во внутреннюю воздушную,а дальше у каждой части много такой функции . . . В настоящее время в дополнение к теоретическим исследованиям, которые мы называем этим стимулирующим экспериментом, существует множество таких анатомических экспериментов на приматах. Поэтому и со стороны доказывает, каков такой процесс передачи информации.
Технические проблемы — сложность
При обработке некоторых предыдущих видеоизображений одной из проблем является их сложность. Его сложность также является очень важной частью того, может ли быть реализован дизайн чипа.
решение
Предлагается новый метод, заключающийся в том, можем ли мы объединить такую модель, основанную на таком мозговом зрении, с текущим традиционным сжатием видео. Для этого есть две основные причины, как правило, связанные с производительностью. С точки зрения производительности, хотя наше текущее сжатие изображений превышает последние международные стандарты. Но когда дело доходит до видеочата, еще многое предстоит сделать, и в то же время должны быть миллиарды устройств. Огромное количество этого уже существует. Таким образом, наиболее эффективный метод заключается в том, можем ли мы сделать некоторые старые данные, вдохновленные некоторыми простыми преобразованиями на этих существующих устройствах, и можем ли они действительно использоваться в обработке видео.
Пять, сетевая адаптивная передача
Адаптация скорости передачи видео на основе обучения с подкреплением
Описание проблемы и сложность
Джиттер задержки сети вызовет изменения в доступной полосе пропускания в реальном времени. Существующие алгоритмы в основном предназначены для поля/эвристики VoD. Будущая видеоинформация не может быть получена в сценариях реального времени, а большие буферы недопустимы.
Решения
1. Разработайте эффективный и надежный алгоритм адаптации скорости для прогнозирования полосы пропускания и динамической настройки кодирования видео и скорости передачи.
2. Структура системы адаптивной стратегии битрейта в реальном времени, автоматическое изучение адаптивного алгоритма битрейта в реальном времени на основе исторического опыта потокового видео.
Позже, на основе передового опыта обучения интернационализации, это было использовано в реальной системе реального времени. Затем используйте эту систему реального времени для выполнения распределенного обучения в любой игре в Интернете. Итак, здесь мы предлагаем адаптивную потоковую передачу времени в автономном режиме. Собрали много такой сетевой вертикали, в том числе как и Европы, как дали другие лаборатории, а потом предложили стандарт сигнала обратной связи сети, в котором была проведена эволюция.
Адаптивная эволюция скорости передачи видео на основе обучения с подкреплением
Существует проблема
1. Ограниченные образцы во время офлайн-обучения
2. Смоделированное заполнение кольца может не соответствовать реальной среде.
3. Учитывайте потерю производительности, вызванную производительностью обобщения модели.
Решения
1. Кластеризация и классификация состояния сети
2. Категория и классификация услуги видеоконтента
3. Обучайте автономные модели отдельно для сетевых условий и видео
4. Онлайн-настройка модели дополнительно охватывает неучтенные условия окружающей среды.
6. Сквозная демонстрационная платформа экстремальной видеосвязи
Сделал две демки. В первую очередь то, что мы делаем с любой игрой, — это текущее состояние целого, восприятие сети и такой облачной игры.
ДЕМО-игра в облаке
Другой — использовать такую программу под названием Cloud-in-Line, и на самом деле такой рабочий стол можно вернуть обратно в виде видео.
ДЕМО — удаленный рабочий стол
Выше приведено все содержимое этой заметки, на этот раз совместное использование соответствующего видеоконтента, вы можете нажать «здесь" смотреть.