Обзор проблем классификации с несколькими метками и мысли о классификации медицинских изображений

Недавно я занимался многоуровневой классификацией изображений глазного дна и прочитал обзор Лю Вэйвэя из Уханьского университета.The Emerging Trends of Multi-Label Learning¹, я также прочитал небольшую статью о классификации медицинских изображений и многокомпонентной классификации естественных изображений. Эта статья в основном суммирует понимание проблемы классификации с несколькими метками (MLC) после прочтения, а также некоторые мысли о характеристиках проблемы с несколькими метками в медицинской визуализации.

Резюме обзора

Дабы не лениться, я не буду здесь перечислять цитаты каждого метода.Я добавил немного своего понимания на основе обобщения содержания обзора.Прочитал на ходу,поэтому есть только часть контент.

Структура обзора

Направленность исследований проблем MLC включает несколько аспектов:

Extreme MLC: XMLC — это сцена MLC с очень большим количеством категорий. С наступлением эры больших данных изучение этого сценария приобретает большое значение.
- Большая часть работы основана на SLEEC, в основном на трех идеях классификатора «один против всех», дерева и встраивания.
- На теоретическом уровне необходимо разобраться с проблемой длиннохвостого распределения для разреженных меток.
MLC with missing/nosiy label: MLC-версия обучения без полностью контролируемого обучения, которое в основном касается проблемы меток.
- отсутствует метка: предустановленная категория не имеет метки
- полуконтролируемое: передача традиционного полуконтролируемого обучения, некоторые данные имеют метки, некоторые нет.
- частичная мульти-метка: частичные метки не вызывают доверия, то есть сцены с нечеткими метками
online MLC for stream data: Поскольку в настоящее время Интернет производит большой объем потоковых данных в режиме реального времени, MLC для онлайн-сценариев в реальном времени привлекло большое внимание.
- Потоковые данные не могут быть предварительно считаны в память для получения общей картины, обычно необходимо обрабатывать каждую метку времени в режиме реального времени.
- Влияние существующей автономной модели MLC на данные последовательности является общим.
- В настоящее время нет особенно хорошего эффекта в области онлайн-MLC в экспериментах и теории (очень ограниченный)

§4 Глубокое обучение для MLC

BP-MLL

Самым ранним использованием структуры NN в MLC является BP-MLL, который предлагает следующую попарную функцию потерь:

E_{i}=\frac{1}{\left|y_{i}^{1}\right|\left|y_{i}^{0}\right|} \sum_{(p, q) \in y_{i}^{1} \times y_{i}^{0}} \exp \left(-\left(F\left(x_{i}\right)^{p}-F\left(x_{i}\right)^{q}\right)\right)

в $p,q$ - это классы, которые, по прогнозам, будут равны 1 и 0 соответственно, используя $e^{-x}$ Срок штрафа за форму делает разницу между различными категориями как можно больше.В целом идея потери ранга.

В последующих исследованиях было обнаружено, что BP-MLL может использовать кросс-энтропийную потерю, а также небольшую хитрость, такую как ReLu/Dropout/AdaGrad, для получения новой SOTA в крупномасштабных текстовых сценариях классификации, которые классический BP-MLL не может применить к производительности.

C2AE

Классический метод Embedding может получить только семантическую зависимость самой метки, и невозможно получить многомерные связи C2AE (Canonical Correlated AutoEncoder) — первый метод MLC, основанный на Embedding (каноническом корреляционном анализе) извлекает взаимосвязь между метками на основе признаков и принадлежит слою внедрения.

Общая целевая функция C2AE определяется следующим образом:

\min _{F_{x}, F_{e}, F_{d}} \Phi\left(F_{x}, F_{e}\right)+\alpha \Gamma\left(F_{e}, F_{d}\right)

$F_x, F_e, F_d$ карта признаков, функция кодирования, функция декодирования соответственно, $\alpha$ является весовым термином, который уравновешивает два штрафных термина. $\Phi, \Gamma$ Это потери в скрытом пространстве (между функцией и кодированием) и выходном пространстве (между кодированием и декодированием).

Опираясь на идею CCA, C2AE делает связь между экземпляром и меткой максимально возможной (минимизируя разрыв).

\begin{aligned} \min _{F_{x}, F_{e}} &\left\|F_{x}(X)-F_{e}(Y)\right\|_{F}^{2} \\ \text { s.t. } & F_{x}(X) F_{x}(X)^{T}=F_{e}(Y) F_{e}(Y)^{T}=I \end{aligned}

Автоэнкодер использует ту же потерю ранга, что и выше, чтобы сделать коды разных категорий как можно более разными.

\begin{array}{l} \Gamma\left(F_{e}, F_{d}\right)=\sum_{i=1}^{N} E_{i} \\ E_{i}=\frac{1}{\left|y_{i}^{1}\right|\left|y_{i}^{0}\right|} \sum_{(p, q) \in y_{i}^{1} \times y_{i}^{0}} \exp \left(-\left(F_{d}\left(F_{e}\left(x_{i}\right)\right)^{p}-F_{d}\left(F_{e}\left(x_{i}\right)\right)^{q}\right)\right) \end{array}

Последующая работа, такая как DCSPE и DBPC, еще больше повышает производительность SOTA и скорость вывода при классификации текста.

patial and weak-supervised MLC

ЦВПР 2020D. HuynhизInteractive multi-label cnn learning with partial labelsи ЦВПР 2019T. DurandизLearning a deep convnet for multi-label classification with partial labels(Следующее обозначено аббревиатурой D и T в соответствии с названием сидящего) для проведения соответствующих исследований.

T обучается с помощью частей меток с использованием BCE Loss, а затем использует GNN для извлечения связей между метками. Эксперименты показывают, что частично помеченный большой набор данных лучше, чем полностью помеченный малый набор данных, что еще раз доказывает исследовательскую значимость частичной метки в области MLC.

D На основе T, используя идею многообразного обучения, многообразная гладкость метки и признака используется в качестве стоимости функции потери BCE, а затем, используя полууправляемую идею, синхронизируются обучение и сходство CNN ( Я не читал эту статью. , слушая это описание обзора похоже на $\pi$ модель или структура учитель-ученик).

Усовершенствованный MLC от SOTA

цепочка категорий: ADIOS делит метку на цепочку марковских бланкетов, которая может извлекать взаимосвязь между метками, а затем добавлять их в обучение DNN.

CRNN: есть 2 статьи, которые рассматривают категории как последовательности и используют для обработки CRNN или C-LSTM. Кроме того, используйте внимание/RL, чтобы узнать порядок последовательности категорий, чтобы найти оптимальный порядок. У CVPR 2020 и AAAI 2020 есть статьи по этой идее.Идея использования оптимальной дистилляции завершения + многозадачное обучение/минимальное выравнивание состоит в том, чтобы попытаться динамически настроить порядок (без порядка) последовательности меток.

связанный с графиком

²Постройте ориентированный граф между классами, а затем тренируйтесь с GCN.
SSGRL⁶Используйте встраивание для семантической развязки, а затем используйте GNN для изучения -семантики, состоящей из метки+функции, и усильте функции экземпляра и метки, чтобы изучить связь между многомерными метками.
³Добавьте связи между некоторыми слоями GCN и CNN, чтобы добиться обучения классификации с учетом меток.
⁴Используйте GCN для получения богатой семантической информации, а затем используйте нелокальное внимание для получения длинных семантических ассоциаций.
⁵Используйте глубокий лес, метод ансамбля деревьев, который не зависит от механизма обратной связи. Предлагается MLDF (глубокий лес с несколькими метками), который, как говорят, может лучше решать проблему переобучения и достигать эффекта SOTA по 6 индикаторам, что представляет собой исследование облегченного дизайна.

MLC думает о медицинской визуализации

В предыдущей статье о сегментации медицинских изображений (DeepIGeoS) специальные точки Cathay Pacific для медицинских изображений резюмируются следующим образом:

Низкий контраст, высокий уровень шума, полости
Огромные различия в масштабе и характеристиках между пациентами
Неоднородная характеристика заболеваний
Различные определения врачей приведут к противоречивым характеристикам достоверности.

Это в основном для сегментации, потому что изображения КТ и МРТ общих задач сегментации представляют собой изображения в градациях серого с высокой интенсивностью, и кажется, что 1 и 2 в основном не применимы в сценах MLC.

3 В MLC это проявляется как неравномерность разных категорий признаков, например, некоторые заболевания могут иметь наблюдаемые симптомы, охватывающие большую площадь, а некоторые - только наблюдаемые симптомы на небольшой части, что похоже на мультишкалу FPN, Стратегия будет иметь некоторую помощь для извлечения признаков, но это очень общее предположение, и конкретный эффект требует большего количества экспериментов в конкретных сценариях.

4. Вы можете обратиться с проблемой частичной метки в MLC.Если суждения о болезни неопределенны, например, у врача есть несколько возможных симптомов пациента, и нет дальнейшего обследования в это время, то, возможно, метод может быть предназначен для предсказания каждой метки.Уровень достоверности, хахаха, я чувствую, что это бумажная идея, но, к сожалению, требования к сценам и данным кажутся немного жесткими.

Также стоит отметить, что категория несбалансированная, из-за малого количества случаев некоторых заболеваний в собранных данных могут быть только однозначные положительные случаи, в настоящее время эта категория, скорее всего, вообще ничего не узнает. Текущее мышление не очень ясное, у меня будет время изучить этот вопрос через несколько дней.

Последний — это полуконтролируемые медицинские изображения.Если есть некоторые немаркированные данные и некоторые помеченные данные, полуконтролируемое использование также может улучшить производительность.Хотя это не ограничивается медицинскими изображениями, получить медицинские метки сложно. Приложение тоже очень широкое, можно сказать, что есть чем заняться.

использованная литература

В. Лю, С. Шен, Х. Ван и И. В. Цанг, «Новые тенденции многоэтапного обучения», arXiv: 2011.11197 [cs], декабрь 2020 г., доступ: 08 января 2021 г. [Онлайн]. Доступный:АР Вест V.org/ABS/2011.11….↩
З. Чен, С. Вэй, П. Ван и Ю. Го, «Распознавание изображений с несколькими метками с помощью графовых сверточных сетей», в CVPR, 2019, стр. 5177–5186.↩
Т. Чен, М. Сюй, С. Хуэй, Х. Ву и Л. Лин, «Изучение семантически специфичного представления графа для распознавания изображений с несколькими метками», в ICCV, 2019, стр. 522–531.↩
Ю. Ван, Д. Хе, Ф. Ли, X. Лонг, З. Чжоу, Дж. Ма и С. Вен, «Многометочная классификация с наложением графа меток», в AAAI, 2020, стр. 12 265–12 272 .↩
П. Тан, М. Цзян, Б. Н. Ся, Дж. В. Питера, Дж. Велзер и Н. В. Чавла, «Многометочная категоризация патентов с помощью нелокальной сверточной сети графа на основе внимания», в AAAI, 2020.↩
Ян Л., Ву С., Цзян Ю. и Чжоу З., «Обучение с несколькими метками в глубоком лесу», CoRR, т. abs/1911.06557, 2019.↩