Shengwang Agora Native SDK 3.4.0 был официально запущен в этом месяце. Новая версия не только добавляет более богатые красивые голосовые эффекты в реальном времени, совместное использование экрана, виртуальный метроном и другие функции, но также значительно повышает стабильность, совместимость и соответствие требованиям безопасности SDK, надеясь обеспечить более плавный, удобный интерактивный новый опыт.
новые возможности
1. Ход воспроизведения аудиофайла
В процессе аудио- и видео-взаимодействия в реальном времени, когда мы хотим улучшить атмосферу и добавить интереса, мы обычно выбираем воспроизведение звуковых эффектов (например, добавление боевых звуков в игре, добавление аккомпанемента при пении и т. д.) взаимодействовать. Но иногда, если вам нужно отрегулировать позицию воспроизведения после воспроизведения файла звукового эффекта, воспроизвести только определенный сегмент полной звуковой дорожки или хотите быстро пропустить определенную часть аудиоконтента, версия 3.4.0 обеспечивает управление воспроизведением. прогресс файла звукового эффекта. В частности, добавлены следующие методы: playEffect3: установите позицию воспроизведения при воспроизведении файла звукового эффекта с помощью параметра startPos. setEffectPosition: после воспроизведения файла звукового эффекта установите позицию воспроизведения файла звукового эффекта. getEffectDuration: получить общую продолжительность файла локального звукового эффекта. getEffectCurrentPosition: получение хода воспроизведения файла звукового эффекта.
2. Виртуальный метроном
Чтобы удовлетворить потребности метронома в онлайн-обучении музыке и других сценариях, в версии 3.4.0 были добавлены следующие методы: startRhythmPlayer: запуск виртуального метронома. stopRhythmPlayer: отключить виртуальный метроном. configRhythmPlayer: после включения виртуального метронома перенастройте виртуальный метроном.
Оптимизация функций
1. Беглость видео и баланс качества при слабой сети
Когда полоса пропускания ограничена, чтобы обеспечить плавность видео, кодирование видео обычно сначала выбирает снижение частоты кадров видео, чтобы сохранить то же качество видео, или выбирает снижение качества видео, чтобы обеспечить частоту кадров видео. Однако при звонках один на один, обучении один на один или конференциях с несколькими людьми на самом деле трудно разделить качество изображения и беглость. Поэтому в версии 3.4.0 мы оптимизировали деградациюPreference и установили новую поддержку на AgoraDegradationBalanced, что снизит частоту кадров видео и качество видео при слабых сетевых условиях для достижения баланса между плавностью и качеством видео.
2. Необработанные видеоданные (C++)
Чтобы облегчить разработчикам получение исходных видеоданных на различных этапах передачи и удовлетворить потребности большего количества сценариев, в версиях до 3.4.0 мы поддерживали обратные вызовы C++ getRotationApplied и getMirrorApplied для поворота и зеркалирования исходных видеоданных. Чтобы улучшить взаимодействие с пользователем, новая версия расширяет формат видеоданных, поддерживаемый этими функциями обратного вызова, с RGBA на RGBA и YUV 420.
3. Оптимизация функции совместного использования экрана
Совместное использование экрана в интерактивных сценариях в реальном времени относится к технологии совместного использования контента на экране для реализации обмена информацией. Такие приложения распространены в игровых трансляциях, видеоконференциях или сценариях онлайн-обучения (совместное использование экрана файлов, данных, веб-страниц, учебных программ, заметок и т. д.), когда пользователи могут делиться содержимым своего мобильного телефона или экрана ПК с другими в режиме реального времени. просмотр. Новая версия SDK в настоящее время поддерживает совместное использование области экрана, совместное использование области окна, совместное использование в полноэкранном режиме, совместное использование переднего плана, обратный вызов для минимизации окна и другие функции, а также поддерживает выбор режима «сначала беглость» или «сначала резкость». Удобство использования и опыт совместного использования экрана были значительно улучшены.
4. Запись клиента
Для того, чтобы пользователю было удобнее и гибче настраивать записываемый контент при записи, в этой версии добавлен метод startAudioRecordingWithConfig.Через конфиг-параметр startAudioRecordingWithConfig пользователь может самостоятельно выбрать для установки качество записи, контент, частоту дискретизации и объем памяти путь к файлу записи. В то же время в этой версии также добавлен код ошибки AgoraErrorCodeAlreadyInRecording(160). Если startAudioRecordingWithConfig вызывается еще раз до воспроизведения музыкального файла, SDK сообщит об этом коде ошибки.
Agora Native SDK 3.4.0 — это интегрированная версия с более богатыми функциями и повышенной стабильностью. Для пользователей, чтобы иметь лучший опыт в новой версии. Мы сделали много оптимизаций от SDK 3.0 до SDK 3.4 и внесли соответствующие улучшения в обработку аудио, видео, оптимизацию задержки, соответствие требованиям безопасности и т. д. Поэтому версия 3.4 не только добавляет и оптимизирует некоторые функции, но также сохраняет и оптимизирует отличные функции и возможности предыдущей версии.
1. Алгоритм 3A + эффективное шумоподавление AI
Будь то видеоинтервью или сценарии видеоконференций, мы сталкивались с ситуациями, когда взаимодействие между двумя сторонами было временно приостановлено из-за шума, эха и т. д. или они снова присоединялись к видеокомнате.
Благодаря алгоритму 3A (AEC, ANC, AGC) SoundNet он может интеллектуально адаптироваться к различным средам, полностью устранять эхо и обеспечивать превосходную производительность в режиме двойного разговора, он может эффективно устранять все виды шума без ущерба для качества голоса; Может быть реализовано автоматическое усиление звука, и пользователи могут получить хороший интерактивный опыт в реальном времени даже в шумной среде.
В то же время SDK звуковой сети предварительно устанавливает модуль классификации сигналов в передней части модуля шумоподавления, который может точно определять тип сигнала и настраивать тип и параметры алгоритма шумоподавления в соответствии с типом сигнала. Общие типы сигналов включают общую речь, пение а капелла, музыкальный сигнал и т. д. Благодаря алгоритму шумоподавления AI SoundNet технология глубокого обучения используется для обработки звука в реальном времени посредством извлечения признаков, нейронной сети и регулировки усиления для подавления шума, устраняя узкое место в производительности традиционных решений для обработки сигналов, тем самым обеспечивая четкое голосовая среда для аудио и видео в реальном времени. Он может достичь хорошего эффекта шумоподавления и решить проблему шумоподавления, реализуя разделение человеческого голоса и шума в реальном времени, обеспечивая при этом точность человеческого голоса.
*Для тех, кто хочет узнать больше об этой части, пожалуйста, обратитесь к "Подробное объяснение низкой задержки и высокого качества звука: эхоподавление и шумоподавление."
2. Более богатые звуковые эффекты красоты
Звуковые эффекты в реальном времени относятся к добавлению определенного стиля к звуку, усиливая ощущение многослойности и пространства звука. Чтобы улучшить качество звука для пользователей, мы переместили традиционные профессиональные звуковые карты, тюнеры и автономные плагины стоимостью 10 000 юаней в онлайн с помощью программных алгоритмов.Пользователи могут использовать эффекты бельканто, виртуальное стерео и украшать звуки, не загружая плагины. ins., автоматическое изменение голоса и другие звуковые эффекты, которые значительно снижают порог использования, улучшая пользовательский опыт и зрелищность сцены. В настоящее время реализовано 3 вида бельканто для речи, 6 видов пения бельканто, 8 видов преобразования тембра, 18 видов вокальных эффектов, 7 видов эффектов изменения голоса и 4 вида основных эффектов изменения голоса. .
Демонстрационное прослушивание:woohoo.agora.IO/talent/audio-of…
Если вы хотите понять принцип бельканто в реальном времени, вы можете прочитать нашу предыдущую публикацию. Для конкретного использования интерфейса вы можете посетить Центр документации SoundNet, найти и просмотреть расширенное руководство «Изменение голоса и реверберация».
3. Оптимизация красоты - как "натуральной", так и "красивой"
В социальных развлекательных или образовательных сценариях пользователи часто хотят представить друг другу хорошее состояние и умственное состояние при совершении видеозвонков или прямых трансляций. Сосредоточив внимание на таких областях, как портретная кожа, волосы и фон, он помогает разработчикам легко добиться более реалистичных и «естественных» эффектов отбеливания и розового цвета. Разработчики также могут настраивать эффект красоты, настраивая параметры.
Даже в условиях экстремально темного освещения, применяя собственный алгоритм улучшения темного света SoundNet, он может адаптивно регулировать значение яркости темной области, восстанавливать и выделять подробную информацию об изображении, улучшать визуальный эффект видеоизображения. , и сделайте видеоизображение более естественным премиум-качества. Эта функция подходит для таких сценариев, как низкая общая яркость, подсветка, облачность, неравномерное освещение и т. д. Dark Light Enhancement в настоящее время поддерживает платформу iOS и уравновешивает эффект использования и производительность устройства.Он может поддерживать обработку 720P@30fps в реальном времени на iPhone 6s и выше.
4. 80%-ная способность защиты от потери пакетов, частота сбоев SDK «1 на 10 000». При оптимизации качества передачи данных в реальном времени, на основе передачи SoundNet SD-RTN™, SD-RTN™ ничем не отличается от выделенной линии по скорости поступления пакетов, а скорость поступления джиттера 200 мс составляет 99,9%. . Стабильность достигла уровня выделенной линии. В то же время, в ответ на слабую передачу по сети и потерю пакетов, которые могут возникнуть при голосовом взаимодействии в реальном времени, Agora имеет набор профессиональных алгоритмов защиты от слабой передачи по сети и защиты от потери пакетов. В процессе итерации SDK мы также постоянно оптимизировали показатели защиты от слабых сетей, стоящих за ним.В настоящее время граница защиты от слабых сетей видео увеличена с 60% до 70%, а аудио увеличена до 80%. , В такой слабой сетевой среде можно гарантировать бесперебойную работу аудио и видео. В то же время, согласно данным, предоставленным пользователями из Северной и Южной Америки, Азии, Юго-Восточной Азии, Ближнего Востока и других регионов, время первого кадра изображения и звука SDK было полностью оптимизировано, а результаты проверки клиента с обратной связью в полном соответствии с результатами лабораторных испытаний.
5. Соблюдение техники безопасности Shengwang следует международно признанным стандартам информационной безопасности и защиты конфиденциальности, а также отраслевым требованиям и стремится применять лучшие международные практики для создания системы управления конфиденциальностью и безопасностью. В настоящее время Shengwang прошла сертификацию системы ISO/IEC 27001, ISO/IEC ISO27017, ISO/IEC 27018 и получила отчет о сертификации услуг SOC2 Type I, выпущенный сторонней профессиональной организацией, чтобы доказать свою способность соблюдать конфиденциальность и управлять безопасностью.