Открытые онлайн-курсы, предлагаемые Ascension College«Простая в использовании платформа с открытым исходным кодом MindSpore»Шестой урок завершен, и лектор Ван Юэ предлагает вам тему, чтобы поделиться «Руководством пользователя инструмента визуализации MindSpore». Видео-обзор урока 6 выглядит следующим образом:woooooooo. Scale Proportion.com/video/BV1 Лоб…
Урок 6 Избранные вопросы и ответы
На сеансе контроля качества урока 6 некоторые вопросы были широко упомянуты всеми.Лектор Ван Юэ снова сделал выборку и правки для вашего ознакомления.
В: Импульс — это SGD?
Импульс — это метод оптимизации SGD, основная идея которого состоит в том, чтобы ввести информационный импульс, который аккумулирует исторические градиенты для ускорения SGD. Я думаю, что это в основном решает две проблемы SGD, одна из которых связана с шумом, вносимым методом стохастического градиента, а другая заключается в том, что в процессе сходимости SGD по сравнению с желаемым градиентом будет относительно большое колебание.
В настоящее время mindspore предоставляет как SGD, так и импульс.
В: В чем разница с TensorBoard?
Я думаю, что основные отличия заключаются в следующем:
С точки зрения дизайнерской мысли TensorBoard в основном построен в виде плагинов, его преимущества в том, что разработка более удобна, а развязка функций относительно понятна. Разработайте новую функцию, которая скоро добавит новую вкладку в TensorBoard. Но я думаю, что недостатком этого режима является то, что отдельные функции постоянно добавляются, и отсутствует общее руководство по использованию, чтобы направлять пользователей, как шаг за шагом работать в сети. MindInsight предназначен для предоставления пользователям методологии отладки и настройки сети. Видно, что вход в MindInsight начинается со списка обучения. После нажатия на обучение он надеется дать пользователям четкое руководство: какую функцию следует использовать при встрече проблема на каждом этапе.
Что касается компонентов, я думаю, что MindInsight теперь имеет некоторые функции, которых нет в TensorBoard, такие как отслеживаемость, отображение графика данных и так далее. Конечно, MindInsight все еще находится в стадии относительно быстрого создания и разработки, и многие новые компоненты будут запускаться один за другим.
Экологически TensorBoard и Tensorflow в настоящее время в основном обслуживают GPU/TPU, тогда как MindInsight и MindSpore необходимо адаптировать к чипам Ascend. Различные чипы приведут к различиям в функциях.Например, Profiling и MindInsight необходимо учитывать отображение производительности сценариев обучения, таких как поглощение данных.
В: Поддерживает ли mindspore динамические графики?
В настоящее время MindSpore поддерживает динамические графы. Мы называем этот режим выполнения Pynative. Как использовать режим динамического графа для обучения и отладки, можно прочитать в третьей лекции. MindInsight выпустит компонент Debugger в будущем. Мы можем использовать режим Pynative для отладки скрипта. Если во время выполнения графического режима возникает исключение, мы можем использовать отладчик MindInsight для отладки.
В: В источнике данных говорится, что все тренировки — это одни и те же данные?
В только что показанном видеоролике отслеживаемость данных, которую мы видели, представляет собой прямую линию, указывающую на то, что все обучающие задачи используют один и тот же процесс конвейера данных. Если пользователь обнаружит, что аномалия обучения может быть вызвана операцией улучшения данных, и изменит операцию улучшения данных, разница между двумя тренировками будет отражена в отслеживаемости данных.
В: Есть ли какой-нибудь другой профильный режим?
В настоящее время при обучении или выводе микросхем Ascend вы можете использовать компоненты в пакете запуска для профилирования, но для его использования требуются некоторые элементы конфигурации, а анализ результатов должен выполняться сценариями. MindInsight сначала предоставит простые в использовании возможности профиля и отображения результатов на основе чипов Ascend, а затем постепенно перенесет возможности на GPU и CPU.
В: Может ли nvprof работать с mindspore?
Я не пробовал это лично, но из принципа можно сделать вывод; если есть заинтересованные студенты, которые могут попробовать, мы можем обсудить это в группе.
В: Обучение визуализации среднего уровня?
Если визуализация среднего уровня относится к информации среднего уровня вычислительного графа, ее можно просмотреть с помощью визуального компонента вычислительного графа в MindInsight. Вы можете щелкнуть график расчета, найти интересующий слой и просмотреть имя узла, тип и другую информацию;
Если визуализация среднего слоя относится к тренду изменения веса среднего слоя, для его записи можно использовать оператор HistogramSummary, а для просмотра использовать функцию распределения параметров MindInsight;
Если визуализация среднего уровня означает, что вы хотите видеть результаты вычислений среднего уровня во время обучения, можно использовать пинативный режим с pdb для непосредственного просмотра, когда оператор выполняется и возвращается, а режим графика может полагаться на Отладчик последующего выпуска MindInsight для просмотра. Отладчик может приостановить обучение после выполнения определенного шага.Пользователи могут найти интересующий промежуточный слой на графике вычислений и щелкнуть узел, чтобы просмотреть вывод соответствующего оператора.
В: Доступен ли в настоящее время mindinsight в облаке?
MindInsight как пакет Python, естественно, поддерживает использование в облаке; в будущем мы предоставим официальную поддержку и инструкции для облачных сценариев.
В: Может ли minsight выводить оптимизированные графики?
Да, график вычислений, записанный в итоговом файле, является оптимизированным графиком внешнего интерфейса MindSpore.Если вы хотите просмотреть график большего количества этапов, вы можете включить переключатель save_graphs в контексте, чтобы вы могли получить некоторые расчеты файлы графиков различных этапов оптимизации (суффикс имени)..pb), эти вычислительные графики можно визуализировать в MindInsight.
В: Можете ли вы привести пример загрузки карты GE в будущем?
В настоящее время функция загрузки карты GE (ge_ir.proto) все еще находится в стадии тестирования.После того, как функция будет зрелой, мы будем рассматривать открытый исходный код, и соответствующие документы будут предоставлены в это время.
Шестой урок PPT выглядит следующим образом: