Всем привет, меня зовут Чжан Цюаньши, научный сотрудник Калифорнийского университета в Лос-Анджелесе. В настоящее время в лаборатории г-на Чжу Сунчуня, возглавляющего команду, занимающуюся объяснимым направлением ИИ. Название этой статьи немного великовато.В этой короткой статье я лишь кратко рассказываю о своих личных чувствах по поводу развития глубокого обучения и двух моих недавних темах исследований: пояснительный граф для CNN и интерпретируемая CNN. Надеюсь, вы меня покритикуете и поправите.
Когда глубокое обучение только зарождалось в кругу CV, я впервые не уделял ему должного внимания, пока через несколько месяцев не была взята огромная волна изменений, скорость смерти старого направления и ритм рождения новых технологий были значительно превышены, как я и ожидал. Я уверен, что многие люди чувствуют то же самое. С одной стороны, сверхпроизводительность глубокого обучения положила конец пакету старых алгоритмов. С другой стороны, по сравнению с традиционными методами на основе графов, глубокое обучение значительно уменьшает разнообразие алгоритмов и упрощает их разработку. На какое-то время идея проведения исследования CV стала очень ясной: спроектировать новый убыток, предложить новую структуру сети и усложнить традиционный эвристический метод. закодированы в структуру сети для достижения сквозного обучения. Одна-две технологии могут изменить область CV до такой степени, а глубокое обучение вносит огромные изменения в ИИ.
Однако, когда сквозное обучение нейронных сетей развивается быстро, как масло в огне, многие ученые вокруг меня и я время от времени будут испытывать небольшое беспокойство: будет ли сквозное обучение черного? коробочная модель продолжает неуклонно развиваться вниз? Поскольку дизайн сетевой структуры и функции потерь становится все более и более сложным, будет ли нейронная сеть честно выражать знания, которые люди хотят, чтобы она выражала в соответствии с дизайном? С таким беспокойством многие ученые посвящают себя визуализации знаний CNN, чтобы знание каждой единицы в CNN можно было четко отображать перед людьми. Сделав еще один шаг, @周博雷 определил ряд критериев для оценки интерпретируемости знаний CNN.
Но в конечном счете, помимо сквозного обучения, я считаю необходимым найти новый набор инструментов работы нейронной сети, то есть пусть нейронная сеть будет иметь четкое символическое внутреннее выражение знаний, соответствующее человеческому. рамки знаний, чтобы люди могли диагностировать и модифицировать нейронные сети на семантическом уровне. От логических экспертных систем до графических моделей и глубоких нейронных сетей гибкость и производительность моделей постепенно улучшаются. Но, в обратном направлении, преобразование внутренней логики нейронной сети в графические представления или на основе логики. правил, тем самым улучшая интерпретируемость представления знаний. При четком внутреннем выражении может ли обучение нейронных сетей быть не только сквозным, но и сквозным, средним и средним? Когда некоторые блоки в сети имеют определенную семантику, то трансферное обучение может быть назначено непосредственно на семантическом уровне, без необходимости больших данных для обучения? Когда сетевое обучение сможет углубиться во внутреннюю семантику сети, возможно, появится больше возможностей для будущего развития глубокого обучения.
Я хочу, чтобы CNN не только сообщала мне, что она обнаружила птицу на определенном изображении, но я также хочу, чтобы CNN явно сообщала мне, что она использует первый фильтр для обнаружения птичьих голов, а второй фильтр — для обнаружения птичьих хвостов. Поскольку эти два фильтра срабатывают на этом изображении, определяется, что на изображении есть птица. Кроме того, когда я знаю, что классификационный балл птицы равен 0,7, я также хочу, чтобы CNN дал балл 0,3 для головы птицы и 0,2 для хвоста птицы. Когда внутренняя логика CNN достаточно ясна, нужно ли нам выполнять сквозное обучение с помощью больших данных? Можем ли мы отлаживать CNN прямо на семантическом уровне?
В соответствии с этим направлением мысли в статье «Интерпретация знаний CNN с помощью пояснительного графа» я в основном рассказал, как преобразовать внутренние знания конв-уровня CNN (предварительно обученного для классификации объектов) в графическую модель. Алгоритм автоматически изучает пояснительный граф с десятками тысяч узлов, чтобы объяснить иерархическую структуру знаний внутри CNN. пояснительный Каждый узел в графе строго представляет шаблон части объекта конв-уровня в CNN. Таким образом, я могу разделить знание запутанной CNN на подшаблоны из сотен тысяч частей объекта. Каждый подшаблон имеет сильную переносимость, например, при локализации многокадровой части ошибка может быть уменьшена на 1/3-2/3.
Далее, основываясь на семантическом выражении пояснительных графов, можем ли мы естественным образом интегрировать традиционные технологии, основанные на графах, в обучение CNN? Я понятия не имею.
В другой статье «Интерпретируемые сверточные нейронные сети» я рассказал, как изучать CNN сквозным образом, чтобы каждый фильтр ее внутреннего высокоуровневого конв-уровня автоматически представлял часть объекта. Алгоритму не нужно вручную маркировать части объекта или текстуры в качестве дополнительного контроля, но он добавляет ограничение приоритета к этим фильтрам, что делает некоторые части объекта автоматически регрессивными в процессе обучения.
Я также напишу две короткие статьи, посвященные техническим деталям двух статей.
Под огромными волнами времени, где будет развиваться глубокое обучение в будущем? Я понятия не имею. Я могу пересечь реку, только чувствуя камни с трепетом в сердце и видя, как я иду.