Первоначально GAN были предложены как неконтролируемая (безусловная) генеративная структура: например, в синтезе изображений, сопоставлении случайного шума с реалистичными целевыми изображениями.
Позже CGAN является условной GAN, и входные данные добавляются с предварительной информацией, такой как метки (или особенности изображения), а не генерируются только шумом.GAN в настоящее время можно рассматривать как контролируемую (условную) структуру генерации.
Обе структуры использовались различными способами для синтеза определенных типов медицинских изображений.
Генерация изображений с безусловной GAN
В последнее время было проведено много работ в области неконтролируемого создания медицинских изображений с использованием GAN, которые могут решить такие проблемы, как нехватка данных и дисбаланс классов (Frid-Adar, 2018), а также помочь понять природу распределения данных и их основную структуру. .
Существующая работа показывает, что DCGAN можно использовать для синтеза реалистичных бляшек поражений простаты (Kitchen and Seah, 2017), изображений сетчатки (Schlegl, 2017) или узлов рака легких (Chuquicusma, 2018). Искусственные узлы рака легкого неотличимы от настоящих даже для рентгенологов.
Frid-Adar (2018) также использовал DCGAN для синтеза различных классов бляшек поражения для КТ печени: для каждого класса, то есть кист, метастазов и гемангиом, была обучена независимая генеративная модель. Поскольку набор обучающих данных был слишком мал, они использовали большое количество дополненных данных для обучения GAN. Авторы демонстрируют, что в дополнение к расширению данных синтетические образцы из GAN могут улучшить классификаторы CNN. \
Bermudez (2018) также показал, что DCGAN также могут генерировать данные МРТ с довольно высоким разрешением даже с небольшим количеством образцов. После обучения на 1500 эпох авторские эксперименты достигают больших генеративных результатов (человеческий глаз не может различить реальные и поддельные изображения).
Baur (2018b) сравнил влияние DCGAN, LAPGAN на синтез изображений кожных повреждений. Из-за большой дисперсии обучающих данных небольшого количества выборок недостаточно для обучения надежной DCGAN. Однако каскадная ЛАПГАН и ее варианты работают хорошо, а синтетические образцы также успешно использовались для обучения классификатора кожных поражений. Baur (2018a) использовал прогрессивную PGAN (Karras 2017) для синтеза изображений поражений кожи с высоким разрешением с превосходными результатами, по которым даже профессиональные дерматологи не могли определить, синтетические они или нет.
Генерация изображений с условными GAN
1. Создание КТ из изображений MR
КТ-изображения получают во многих клинических условиях, но КТ-визуализация подвергает пациентов радиационному риску повреждения клеток и рака. Это побудило нас попытаться синтезировать КТ-изображения с помощью МРТ. Ни (2017) использует каскадные трехмерные полностью сверточные сети для синтеза КТ-изображений из соответствующих МРТ-изображений. Чтобы повысить реалистичность синтетических КТ-изображений, в дополнение к состязательному обучению они обучают модель с попиксельной потерей реконструкции и потерей градиента изображения. Nie (2017) требует для обучения набор данных взаимно однозначного соответствия изображений КТ и МРТ.
Wolterink (2017a) использовала cycleGAN для преобразования 2D-изображений MR в изображения CT без обучения на совпадающих парах изображений. А поскольку парные обучающие наборы данных не идеально согласованы, их обучение на это не влияет и даже приводит к лучшим результатам. Deep-supGAN Чжао (2018a) сопоставляет трехмерные МРТ-данные головы с ее КТ-изображениями, чтобы облегчить сегментацию черепно-лицевых костных структур. Чтобы получить лучшие результаты перевода, они предлагают «дискриминатор с глубоким наблюдением», аналогичный «потере восприятия», который использует представления признаков, извлеченные с помощью предварительно обученной модели VGG16, чтобы различать реальные и синтетические КТ-изображения. .
2. Генерация MR из изображений CT
Подобно (Wolterink, 2017a), Chartsias (2017) использовала cycleGAN для преобразования непарных изображений в изображения для создания «МР-изображений сердца и масок сегментации» из «срезов КТ сердца и изображений сегментации». Авторы показывают, что при дополнительном обучении модели на синтетических данных производительность модели сегментации может быть улучшена на 16%, модель, обученная на синтетических данных, всего на 5% хуже, чем модель, обученная на реальных данных.
Коэн (2018) указал, что трудно сохранить особенности частей опухоли/поражения во время преобразования изображения в изображение. С этой целью Цзян (2018) предложил функцию потерь «с учетом опухоли» для цикла GAN, чтобы лучше синтезировать МРТ-изображения из КТ-изображений.
3. Создайте изображение сетчатки глаза
Коста (2017a) основан на Pix2Pix с небольшими изменениями для создания изображений глазного дна с высоким разрешением из бинарных изображений сосудистого дерева.
В последующей работе Коста (2017b) дополнительно представляет состязательный автоэнкодер (AAE), который обучен сжимать изображения дерева сосудов в многомерные нормальные распределения и может непрерывно реконструировать их. Полученная модель синтезирует произвольные изображения дерева сосудов с высоким разрешением путем выборки из многомерного нормального распределения. Синтезированные изображения сосудистого дерева, в свою очередь, могут быть загружены в модель преобразования изображения в изображение, формируя сквозную структуру для синтеза изображений сетчатки с высоким разрешением.
Точно так же Guibas (2017) предложил двухэтапный подход, состоящий из GAN и сети Pix2Pix, обученной синтезировать изображения дерева сосудов из шума для создания реалистичных изображений сегментации сосудов с высоким разрешением и соответствующих карт глазного дна. Авторы обнаружили, что использование U-Net, обученного на реальных изображениях, для сегментации было лишь немного хуже, чем использование только синтетических образцов.
4. Синтез изображений ПЭТ из изображений КТ
ПЭТ-изображения часто используются для диагностики и стадирования в онкологии, а комбинированное получение ПЭТ-и анатомических КТ-изображений является стандартной процедурой в рутинной клинической практике. Но оборудование для ПЭТ дорогое и связано с радиоактивностью. Поэтому сообщество специалистов по анализу медицинских изображений работает над синтезом ПЭТ-изображений непосредственно из данных КТ.
Ben-Cohen (2017) использовал условную GAN для синтеза ПЭТ-изображений печени из данных КТ, но его производительность была плохой в «недопредставленных» областях опухоли. Напротив, сети FCN способны синтезировать опухоли, но часто создают размытые изображения. Смешивая соответствующие синтетические ПЭТ-изображения из условного GAN и FCN, они достигают высокой эффективности обнаружения опухолей.
Точно так же Bi (2017) синтезировал ПЭТ-изображения высокого разрешения из парных КТ-изображений и карт бинарных меток. Авторы подчеркивают, что добавление меток к карте меток приводит к более реалистичным синтетическим эффектам в глобальном масштабе, а модель обнаружения опухолей, обученная на синтетических данных, проверяет свои синтетические ПЭТ-изображения, достигая результатов, сравнимых с моделями, обученными на реальных данных. Они утверждают, что синтетические данные полезны, когда помеченных данных мало.
5. Синтез изображений ПЭТ из изображений МРТ
Измерение содержания миелина в изображениях ПЭТ головного мозга человека важно для мониторинга прогрессирования заболевания, понимания физиопатологии и оценки лечения рассеянного склероза (РС). Но ПЭТ-визуализация при рассеянном склерозе стоит дорого и требует инъекции радиоактивного индикатора. Wei (2018) синтезировал ПЭТ-изображения из MR с каскадом из двух условных GAN, генератора на основе 3D-сети U-Net и дискриминатора на основе 3D-CNN. Авторы утверждают, что один cGAN создает размытые изображения. Разбивка задачи синтеза на более мелкие и более стабильные подзадачи может улучшить результаты.
6. Генерация ультразвуковых изображений
Моделирование синтеза ультразвукового изображения. Такие, как статьи «Моделирование ультразвукового изображения от руки с пространственно обусловленными генеративными состязательными сетями», «МОДЕЛИРОВАНИЕ ПАТО-РЕАЛИСТИЧНЫХ УЛЬТРАЗВУКОВЫХ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ГЛУБОКИХ ГЕНЕРАТИВНЫХ СЕТЕЙ С ПРОГРАММНЫМ ОБУЧЕНИЕМ»
7. Создание рентгеновских изображений
Махапатра (2018) обучил cGAN сочетать возмущенные карты сегментации для синтеза рентгенографии грудной клетки и байесовскую нейронную сеть для активного обучения.
8. Нормализация окрашивания
Существуют очень значительные различия в цвете цифровых изображений патологии из-за различий в процессе окрашивания предметных стекол и сканеров патологии, что может повлиять на систему CAD. Чо (2017) указал, что классификаторы опухолей не только плохо обобщают данные с разным окрашиванием, но и существующие методы нормализации окрашивания не могут сохранить важные особенности изображения. С этой целью они предлагают cGAN с «сохранением характеристик» для переноса стиля окрашивания: сначала сопоставьте гистопатологические изображения с каноническими представлениями в градациях серого, а затем используйте cGAN для преобразования этих изображений в градациях серого в изображение RGB.
Bentaieb и Hamarneh (2018) попытались решить проблему раскраски, одновременно обучая условную GAN и сеть для конкретной задачи (модель сегментации или классификации). Совместная оптимизация генератора, дискриминатора и сети для конкретной задачи может заставить генератор генерировать изображения с соответствующими функциями, сохраненными для модели для конкретной задачи.
Вышеупомянутые методы основаны на парных обучающих данных (окраска от источника к цели), такие наборы данных часто трудно получить и требуют предварительной обработки, такой как регистрация. Шабан (2018) решает эту проблему с помощью CycleGAN.
9. Создание изображений микроскопии
Хан и Инь (2017) предложили платформу, подобную Pix2Pix, для преобразования типов DIC и типов PC в изображениях микроскопа.
10. Создайте изображение кровеносных сосудов
Для обнаружения атеросклеротических бляшек или стенозов при коронарной КТ-ангиографии (ККА) методы на основе машинного обучения часто требуют больших объемов данных. Чтобы восполнить недостаток размеченных данных, Wolterink (2018) создает правдоподобные трехмерные изображения формы сосудов на основе WGAN. Olut (2018) предложил управляемую GAN для синтеза изображений MRA (магнитно-резонансная ангиография).
Эпилог
Существует множество методов на основе GAN как для безусловного, так и для условного создания изображений. Но насколько эффективны эти методы? По-прежнему отсутствует осмысленный и общий метод количественной оценки, позволяющий судить о подлинности синтетических изображений. Тем не менее, приведенная выше работа показывает, что GAN успешно используются для моделирования и увеличения данных в задачах классификации и сегментации.
Примечание:Все документы, упомянутые в этой статье, а также их классификация и структура повествования в основном даны в:
живой обзор.в.размазывании./Ган is_foru_me…
И документ: GAN для анализа медицинских изображений
Чтобы скачать соответствующие статьи, вы можете найти тему «Синтез» после сортировки по «теме» по первой ссылке.
Связанное чтение на официальном аккаунте:
GAN существует уже 6 лет! Пришло время для инсульта!\
Виртуальная переодевание! Взгляните на то, что делают эти последние газеты!\
Миграция макияжа лица! Краткий обзор нескольких статей с использованием GAN\
01-Краткий принцип формулы GAN - Маленькие сокровища в железной броне\
Для более актуального обмена знаниями, пожалуйста, обратите внимание на общедоступную учетную запись WeChat: Learn Poetry and AI Knowledge.