Я участвую в творческом конкурсе «Праздник середины осени».Творческий конкурс «Праздник середины осени»
1. Общие механизмы внимания, объясняющие принципы внимания канала и внимания к себе.
отвечать:
самовнимание, канальное внимание, пространственное внимание, многоголовое внимание, трансформер
Механизм само-внимания — это вариант механизма внимания, который снижает зависимость от внешней информации и лучше улавливает внутренние корреляции данных или признаков.
1. Формула потери ce, после разговора о потере BCE просто запомните формулу
сигмоид и softmax, функция потерь BCE и CE
2. На что следует обратить внимание в тренировке тройного выпадения
отвечать:
Создание наборов данных с большими различиями внутри класса и небольшими различиями между классами
3. Вывод софтмакс
отвечать:
4. КЛ-дивергенция,
отвечать:
Расхождение KL можно использовать для измерения сходства между двумя распределениями вероятностей.Чем ближе два распределения вероятностей, тем меньше расхождение KL.
5. Зачем использовать smoothL1 для регрессии bbox в модели обнаружения
отвечать:
Из приведенных выше производных видно, что градиент потери L2 содержит (f (x) - Y). Когда прогнозируемое значение f (x) сильно отличается от целевого значения Y, легко произвести взрыв градиента, в то время как градиент L1 Loss является постоянным. , Используя Smooth L1 Loss, когда прогнозируемое значение сильно отличается от целевого значения, преобразование из L2 Loss в L1 Loss может предотвратить взрыв градиента.
6. Передовая парадигма обнаружения DETR, трансформатор и т.д.
отвечать:
В отличие от традиционных методов компьютерного зрения, DETR рассматривает обнаружение объектов как простую задачу предсказания ансамбля. Он состоит из глобальных потерь на основе ансамбля и структуры кодера-декодера Transformer, которая обеспечивает уникальные предсказания посредством двустороннего сопоставления. Учитывая фиксированный набор запросов объектов обучения, DETR рассматривает взаимосвязь между объектами и глобальным контекстом изображения, чтобы напрямую выводить окончательный набор прогнозов параллельно. Благодаря этому параллелизму DETR работает очень быстро и эффективно.