Для получения дополнительных галантерейных товаров, пожалуйста, обратите внимание на публичный аккаунт WeChat «AI Frontline» (ID: ai-front)
Понимание того, как работают нейронные сети, имеет решающее значение для объяснения их механизмов принятия решений и создания более надежных систем. Например, представьте, как сложно было бы построить часы, не понимая, как работают отдельные механизмы. Один из способов понять нейронные сети, будь то в нейробиологии или исследованиях глубокого обучения, — это изучить роль отдельных нейронов, особенно тех, которые легко интерпретировать.
Вдохновленные десятилетиями исследований в экспериментальной нейронауке, наши выводы о важности отдельных направлений для обобщения будут представлены на 6-й Международной конференции по представлению обучения (ICLR) путем тестирования влияния нарушений для определения: важности групп нейронов в нейронных сетях ? Насколько важны простые для интерпретации нейроны для вычислительной мощности сети?
Ссылка на результаты: https://arxiv.org/abs/1803.06959
Мы измеряем его влияние на производительность сети, удаляя отдельные нейроны, а также группы нейронов. В ходе эксперимента мы обнаружили два удивительных вывода:
В то время как многие предыдущие исследования были сосредоточены на понимании легко интерпретируемых одиночных нейронов (таких как «кошачьи нейроны» или нейроны в скрытых слоях глубоких сетей, которые реагируют только на изображения кошек), мы обнаружили, что эти объяснимые нейроны были не более мощными, чем нейроны кошек. труднообъяснимые смешанные нейроны.
Сеть, которая правильно классифицирует тестовые изображения, лучше адаптируется к удалению нейронов, чем сеть, которая может классифицировать только обучающие изображения. Другими словами, хорошо обобщающая сеть гораздо меньше зависит от одного направления, чем сеть с памятью.
Интерпретируемые нейроны («селективные» нейроны), которые реагируют только на один класс изображений (например, собаки), хорошо изучены в области нейробиологии и глубокого обучения. В области глубокого обучения это привело к исследованиям нейронов кошек (https://www.wired.com/2012/06/google-x-neural-network/), эмоциональных нейронов (https://blog. openai.com/unsupervised-sentiment-neuron/) и скобочный нейрон (http://karpathy.github.io/2015/05/21/rnn-efficientness/); в неврологии основное внимание уделяется нейрону Дженнифер Энистон Юань (https ://www.newscientist.com/article/dn7567-why-your-brain-has-a-jennifer-aniston-cell/) и др. Однако по сравнению с очень немногими высокоселективными нейронами большинство нейронов низкоселективны и их трудно интерпретировать, а их значение остается неизвестным.
Чтобы оценить важность нейронов, мы измерили, как производительность сети в задаче классификации изображений изменилась, когда нейроны были удалены. Если нейрон очень важен, его удаление может сильно нарушить работу сети и значительно ухудшить производительность сети, в то время как удаление неважного нейрона не должно иметь большого эффекта. Нейробиологи часто проводят подобные эксперименты, хотя они не могут достичь необходимой для своих экспериментов точности, которую можно сделать в искусственных нейронных сетях.
В демонстрации моделирования, удаляя произвольные нейроны, вы можете визуально увидеть влияние потери этих нейронов на сеть.Заинтересованные друзья могут посетить https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/ попробуй.
Удивительно, но мы обнаружили небольшую связь между избирательностью и важностью. Другими словами, «кошачьи нейроны» не более важны, чем сбивающие с толку нейроны. Это открытие перекликается с недавней работой в области неврологии, показывающей, что запутывающие нейроны на самом деле могут быть информативными, предполагая, что мы должны расширить наши горизонты за пределы простых для интерпретации нейронов, чтобы получить более глубокое понимание глубоких нейронных сетей.
Ссылка на анимированную демонстрацию:
https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/
Хотя объяснимые нейроны интуитивно легче понять («он любит собак»), они не более важны, чем запутанные нейроны без явного предпочтения.
Мы неустанно пытаемся построить интеллектуальные системы, и только системы, которые могут обобщаться на новые сценарии, могут называться интеллектуальными системами. Например, сеть классификации изображений, которая может классифицировать только определенные изображения собак, которые она видела раньше, но не новые изображения той же собаки, была бы бесполезна. Только способность классифицировать новые изображения дает интеллектуальным системам полезность. Недавняя совместная работа Google Brain, Berkeley и DeepMind, получившая награду Best Paper на ICLR 2017 (https://arxiv.org/abs/1611.03530), показывает, что глубокие сети могут просто запоминать каждое изображение, на котором они обучаются, не обучаясь, как человека (например, понимание абстрактного понятия «собака»).
Однако часто неясно, научилась ли нейронная сеть способности обобщать в новых условиях. Постепенно удаляя все большие и большие группы нейронов, мы обнаружили, что сеть, которая хорошо обобщается, гораздо более устойчива к удалению, чем сеть, которая имеет только память, чем сеть, которая просто запоминает тренировочные изображения. Другими словами, сети, которые хорошо обобщаются, трудно сломать (хотя в конечном итоге они сломаются).
Демонстрационная ссылка:
https://storage.googleapis.com/deepmind-media/research/understanding-through-neuron-deletion/videos/chart_combined.webm
Измеряя надежность сети таким образом, мы можем оценить, «обманывает» ли сеть нежелательную память. Понимание того, как они меняются по мере того, как сети запоминают, поможет нам построить новые сети с меньшим объемом памяти и большей степенью обобщения.
Анализ исследований, вдохновленных нейронаукой. Взятые вместе, эти результаты показывают, что можно использовать методы, вдохновленные нейробиологией, для понимания нейронных сетей. Используя эти методы, мы обнаружили, что высокоселективные нейроны не более важны, чем неселективные нейроны, и что те сети, которые лучше обобщают, меньше зависят от отдельных нейронов, чем те, которые полагаются исключительно на запоминание тренировочных данных. Эти результаты подразумевают, что отдельные нейроны могут быть не такими важными, как мы думали.
Объясняя, что делают все нейроны, а не только те, которые легко объяснить, мы надеемся лучше понять внутреннюю работу нейронных сетей и, что более важно, использовать наше понимание их для создания более интеллектуальных и общих систем.
Полный текст статьи читайте здесь:
О важности отдельных направлений для обобщения (https://arxiv.org/abs/1803.06959).
Эту работу выполнили Ари С. Моркос, Дэвид Г.Т. Барретт, Нил С. Рабиновиц и Мэтью Ботвиник.
Визуализация была создана Полом Льюисом, Адамом Каином и Дугом Фрицем.
Оригинальная ссылка:
https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/
Для получения дополнительных галантерейных товаров, пожалуйста, обратите внимание на публичный аккаунт WeChat «AI Frontline» (ID: ai-front)