вопрос о реванше
Каждой команде необходимо использовать данные тренировочного набора, предоставленные оргкомитетом, для разработки и реализации моделей и алгоритмов, которые могут прогнозировать типы обычных электрокардиограмм в течение времени, указанного в матче-реванше. Прогнозы команды по тестовому набору будут использоваться для подсчета оценок. Обычные категории ЭКГ, используемые на соревнованиях, в основном включают нормальную ЭКГ и восемь патологических ЭКГ, включая фибрилляцию предсердий, атриовентрикулярную блокаду первой степени, полную блокаду правой ножки пучка Гиса, блокаду левой передней ветви, преждевременное сокращение желудочков, преждевременное сокращение предсердий, ранние изменения паттерна реполяризации. и изменения зубца T.
Данные реванша
Данные рематча разделены на три части: тренировочный набор, проверочный набор и тестовый набор, среди которых тренировочный набор и проверочный набор видны участвующим командам. Учебный набор в основном используется для построения моделей и алгоритмов; набор проверки не имеет меток, и каждая команда отправляет результаты прогнозирования в наборе проверки на веб-сайт подсчета очков в интрасети, который может подтвердить правильность формата файла результатов прогнозирования. а также может оцениваться во всех командах-участниках.Набор тестов используется для расчета результатов матчей-реваншей и рейтингов команд-участников, которые не будут разглашаться во время и после игры, и всегда будут использоваться для оценки работы алгоритма .
Чтобы облегчить команде чтение данных, все ЭКГ хранятся в формате MAT. В этом файле хранятся сигналы напряжения 12 отведений (включая I, II, III, aVR, aVL, aVF, V1, V2, V3, V4, V5 и V6), а также такие переменные, как пол и возраст. Единица измерения данных ЭКГ — милливольты, частота дискретизации — 500 Гц. Метки, соответствующие обучающим данным, хранятся в файле REFERENCE.csv, а номера категорий и английские сокращения показаны в следующей таблице.
| 0 | нормальный | Normal |
|---|---|---|
| 1 | мерцательная аритмия | AF |
| 2 | атриовентрикулярная блокада первой степени | FDAVB |
| 3 | полная блокада правой ножки пучка Гиса | CRBBB |
| 4 | левая передняя фасцикулярная блокада | LAFB |
| 5 | преждевременные желудочковые сокращения | PVC |
| 6 | предсердная экстрасистолия | PAC |
| 7 | Ранние изменения паттерна реполяризации | ER |
| 8 | Изменения зубца T | TWC |
система реванша
Основная информация о системе соревнований представлена в таблице ниже.
| с 5 по 8 мая в 18:00 | Команды, вышедшие в полуфинал, будут проинформированы об учетной записи облачного рабочего стола и пароле, предоставленных JD Cloud. Все команды знакомы с использованием облачных рабочих столов и устанавливают необходимое им программное обеспечение на облачные рабочие столы. | Облачный рабочий стол подключен к Интернету, и в системе нет данных о рематче; доступ к учетной записи облачного рабочего стола может быть получен только с одного компьютера одновременно. |
|---|---|---|
| 9 мая по 12 мая | Оргкомитет монтирует диск данных для каждой облачной настольной системы. | Команды не могут войти в облачный рабочий стол в течение этого периода. |
| с 10:00 13 мая до 10:00 10 июня | Команды-участницы официально соревнуются друг с другом. В течение этого периода времени они могут представить свои результаты в наборе проверки на rating.jdworkspace.com для просмотра рейтинга. | Облачный рабочий стол отключен от Интернета, и файлы не могут быть загружены локально с облачного рабочего стола. |
| 10 июня по 30 июня | Оргкомитет проводит тесты алгоритмов на каждой команде через набор тестов | Команды не могут войти в облачный рабочий стол |
Каждая участвующая команда получит учетную запись JD Cloud и пароль, отправленные оргкомитетом 5 мая, а «Руководство пользователя Contest Cloud Desktop» можно загрузить на веб-сайте. После получения номера учетной записи и пароля команды-участники могут войти в систему и ознакомиться с системой облачных рабочих столов до 18:00 8-го числа. Согласно требованиям к программному обеспечению, заполненным командами-участницами в период регистрации, оргкомитет установил наиболее востребованное программное обеспечение и сформировал общую версию системы облачного рабочего стола. Если командам необходимо использовать неустановленное программное обеспечение, они должны выполнить его до 18:00 8-го числа. После 18:00 8 числа оргкомитет смонтирует облачный диск с данными для каждого облачного рабочего стола.
Скачать здесьРуководство пользователя Contest Cloud Desktop
С 10:00 13 мая до 10:00 10 июня — официальное игровое время матча-реванша. Обратите внимание, что облачный рабочий стол не сможет получить доступ к Интернету во время официального матча-реванша. Каждая команда может получить доступ к тренировочному набору для матча-реванша через «/media/jdcloud/Train» и получить доступ к данным проверочного набора через «/media/jdcloud/Val». Чтобы помочь командам понять относительный уровень модели алгоритма, организационный комитет создал веб-сайт в интрасети с доменным именем «ranking.jdworkspace.com», чтобы команды могли загружать результаты прогнозирования в набор проверки. Производительность алгоритма рассчитывается на основе результата прогноза, и команда может проверить рейтинг на этом веб-сайте (рекомендуется отправить хотя бы один раз, чтобы подтвердить правильность формата; обратите внимание, что этот результат не включен в расчет). полуфинального результата).
Все команды-участники, обратите внимание:
- С 5 мая по 10 июня команды могут загружать файлы локально на облачный рабочий стол.
- Каждая команда должна создать резервную копию кода на облачном диске кода или облачном диске данных, чтобы предотвратить случайную потерю кода.
- В целях обеспечения честности и беспристрастности конкурса оргкомитет будет проверять код каждой команды в процессе тестирования; в целях защиты прав интеллектуальной собственности каждой команды оргкомитет не будет разглашать код; никому не давайте код для использования.
- Чтобы обеспечить стабильность ранжирования веб-сайта, пожалуйста, не отправляйте результаты прогнозов на набор проверки слишком часто.
После матча-реванша 10 июня оргкомитет будет использовать набор тестов для оценки алгоритмов каждой команды-участницы. Результаты реванша будут объявлены после 30 июня. Оргкомитет порекомендует командам-участницам представить свои рукописи на семинар конференции MICCAI 2019 «Машинное обучение и медицинская инженерия для сердечно-сосудистой системы (MLMECH-MICCAI)», который состоится в Шэньчжэне в октябре этого года. Подробности ждите на сайте конкурса. или официальный аккаунт DLAB.information.
счет
В этом конкурсе используется метод подсчета очков, основанный на классификации с несколькими метками.[1]. Этот метод измеряет точность прогнозирования алгоритма для каждого типа ЭКГ. Основная причина использования многоуровневой классификации заключается в том, что на ЭКГ может быть показано более одной аномалии. Результатом полуфинала каждой команды является среднее арифметическое всех категорий. Этот метод подробно описан ниже.
Сначала определим следующие четыре переменные для j-й категории, где 0≤j≤8,
Исходя из этого, рассчитайтеТочность, отзыви оценка F1:
Средний балл F1 представляет собой среднее арифметическое 9 вышеуказанных баллов, а именно:
Оценка алгоритма
Оргкомитет оценил алгоритм для каждой команды, и результаты были рассчитаны через тестовый набор. Чтобы содействовать организационному комитету для проведения алгоритма тестирования на 100 команд в течение короткого периода времени, пожалуйста, обратитесь к образцу кода и следующую процедуру (в качестве примера Python):
- На основе тренировочного набора используйте Pycharm для исследования алгоритма;
- На основе проверочного набора формируется результат прогнозирования, соответствующий образцу формата «answers.csv»;
- Войдите на сайт rating.jdworkspace.com и отправьте результат прогноза, чтобы проверить текущий рейтинг (рекомендуется отправить хотя бы 1 раз, чтобы убедиться в правильности формата);
- Обновите файл run.sh, чтобы результаты прогнозирования можно было получить, запустив файл bash напрямую.
Команды могут скачать образец кода здесь.
Скачать здесьобразец кода
Обратите внимание, что результаты полуфинала полностью зависят от результатов прогнозирования на тестовом наборе. Оргкомитет отказался от использования проверочного набора для оценки производительности каждой участвующей команды.Основная причина заключается в том, что данные будут видны во время матча-реванша, и неизбежно, что команды будут помечать данные, чтобы помочь обучать модели алгоритмов и иная возможная недобросовестная конкуренция. Основная функция валидационного набора — формирование таблицы лидеров, что удобно для понимания командой относительного уровня всех команд, одновременно верифицирует формат файла результатов прогнозирования, что удобно для последующей проверки алгоритма. .
Для того, чтобы оргкомитет смог оценить алгоритм для 100 полуфинальных команд за короткий промежуток времени, пожалуйста, обратитесь к форме файла run.sh в примере кода. Независимо от того, какой язык используется для разработки алгоритма, убедитесь, что его можно запустить непосредственно через файл run.sh.Оргкомитет реализует запуск алгоритма на тестовом наборе, изменив «--test_path». тестовый набор и набор проверки точно такие же; Пожалуйста, обратитесь к файлу answer.csv в образце кода. Организационный комитет использует ответы.csv каждой команды для реализации рейтингового списка на основе набора проверки, а также используется для расчета итогового балла на основе тестового набора.
использованная литература
[1] Zhang, Min-Ling, and Zhi-Hua Zhou. "A review on multi-label learning algorithms." IEEE transactions on knowledge and data engineering 26.8 (2014): 1819-1837.