Переводчик | Ли Мэн
Редактор | Винсент
Произведено AI Frontier｜ ID: ai-front
Введение в ИИ на передовой: "Исследования ИИ в играх RTS имеют долгую историю. Уже более десяти лет исследователи работают над созданием роботов, способных победить сильнейших игроков-людей, но впереди еще долгий путь. На BlizzCon 2016 DeepMind и Blizzard объявили о партнерстве по открытию API для исследований ИИ в StarCraft II.
Цель этой статьи — обсудить эволюцию RTS-игр и вклад в них исследований ИИ. Для получения более подробной информации об исследованиях игр RTS также ознакомьтесь со статьей Онтаньона, Робертсона, Уотсона и др.» (см. конец статьи).
За последнее десятилетие исследователи перешли от независимого изучения различных методов ИИ в играх RTS к сопоставлению различных методов друг с другом путем сотрудничества и конкуренции в более сложных играх. Для того, чтобы это работало без сбоев, необходимы следующие условия:
- Открытый API для исследователей для создания и оценки ботов
- Соревнования, которые позволяют исследователям сравнивать различные технологии
- Записанное воспроизведение для обучения алгоритмов обучения
- Люди-бегуны оценивают работу роботов
Большинство из вышеперечисленных условий были соблюдены в API Brood War, выпущенном в 2009 году, но закрытость платформы затрудняла для исследователей автоматизацию процесса обучения систем ИИ. С выпуском среды StarCraft 2 у исследователей появится возможность разработать систему, способную демонстрировать производительность экспертного уровня в играх RTS. Ниже приведены некоторые из основных событий, которые, как я считаю, движутся к этой цели. Если есть какие-либо упущения, пожалуйста, оставьте сообщение в комментариях.
1998
Выпуск Старкрафт 1
Оригинальный StarCraft вышел в марте 1998 года, а расширение Brood War — в ноябре того же года. Он быстро покорил мир и вызвал бум профессиональных игр в Южной Корее.
Freecraft
До StarCraft в 1995 году был выпущен Warcraft 2. Клон Warcraft 2, Freecraft, также впервые был выпущен в 1998 году и позже был переименован в Wargus. Этот клон построен на игровом движке Stratagus. Freecraft — важный проект для исследования искусственного интеллекта в реальном времени, так как большая часть начальной работы использует Wargus в качестве экспериментальной платформы.
2001
Интерес академических кругов к игровому ИИ
Важной статьей об игровом ИИ является статья Джона Лэрда и Майкла ван в журнале AI Magazine за 2001 год «Интерактивные компьютерные игры-убийцы искусственного интеллекта человеческого уровня». Эта статья важна, потому что это одна из первых публикаций AAAI, в которой признается, что игры в реальном времени могут служить хорошей средой для исследований ИИ. Это также изменило мышление ученых-исследователей, пытающихся применить существующие методы к играм, и задумалось о создании совершенно новых и специализированных методов для игр.
2002
Вышел варкрафт 3
Большой особенностью Warcraft 3 является расширяемый редактор карт, который использовался для создания уникального контента, такого как оригинальная версия DOTA. Редактор карт также имеет некоторые возможности сценариев, которые можно использовать для написания собственного ИИ. Однако ИИ, написанный таким образом, ограничен одной картой, а язык сценариев предоставляет автору только подмножество команд. Исследователи могут реализовывать свои методы искусственного интеллекта в рамках этой структуры, но невозможно тестировать друг друга на разных роботах.
2003
Стратегии в реальном времени рекомендуются в качестве испытательных полигонов ИИ.
В 2003 году Майкл Буро и Тимоти Фуртак опубликовали статью, в которой утверждалось, что игры в реальном времени представляют собой множество новых проблем, которые необходимо решить для создания ИИ человеческого уровня. Они также предлагают разработать игровой движок RTS с открытым исходным кодом для использования сообществом исследователей ИИ.
Оценка состояния в StarCraft
2004
выпуск ОРТС
В следующем году Майкл Буро выпустил первую версию движка RTS с открытым исходным кодом, ORTS. Игра работает как в графическом, так и в неграфическом режимах, что позволяет роботу быстро обучаться за тысячи игровых сессий. Основная проблема с использованием ORTS заключается в том, что, хотя он предоставляет интерфейс для игроков-людей, нет опытных игроков-людей, которые могли бы проводить состязательную оценку ботов.
Игровой движок ОРТС
Первое исследование Wargus
Freecraft был переименован в Wargus и использовал игровой движок Stratagus. Одной из сильных сторон Wargus является открытый исходный код, открывающий исследователям платформу для изучения с использованием любых технологий. Проблемы для Wargus заключаются в том, что ему не хватает записанных воспроизведений, которые можно проанализировать, у него нет активной базы игроков, а тестирование ботов друг против друга ограничено сетевым кодом. Марк Понсен был одним из первых авторов статьи, использовавших Wargus в качестве испытательного стенда ИИ.
Предложение TIELT
Еще одним проектом ИИ, предложенным в 2004 году, была система TIELT, структура ИИ, которая предоставляет унифицированный API для нескольких игровых тем. Одна из целей системы — позволить исследователям разработать ИИ для одной игры и перенести то, чему он научился, в новые игры. Например, знания предметной области, полученные в Wargus, могут применяться в других играх RTS. Я обсуждаю здесь TIELT именно потому, что одним из результатов сотрудничества DeepMind и Blizzard является API и потенциальный набор данных. Для этого API важно не делать предположений о работе ИИ. Проблема с TIELT заключается в том, что он не предоставляет прямого доступа к состоянию игры, что ограничивает количество технологий ИИ, которые могут использовать его преимущества. Многие из целей этой системы теперь достигнуты на платформе Facebook ELF.
Архитектура ТИЭЛТ
2005
Обучение с подкреплением в Wargus
Wargus быстро стал средой для разработки искусственного интеллекта в реальном времени. В 2005 году исследователи начали изучать методы обучения с подкреплением, одну из стратегий, используемых AlphaGo. В конечном итоге работа Wargus застопорилась, поскольку исследователи не могли проводить состязательную оценку работы друг друга, слишком полагаясь на производительность небольшого набора жестко запрограммированных сценариев.
2006
Первый конкурс ОРТС
Первый конкурс ОРТС по искусственному интеллекту был объявлен в 2005 году на конференции AIIDE 2006 в Стэнфорде. В первом конкурсе было 4 заявки, и масштабы конкурса увеличивались год от года, пока не завершились в 2009 году.
2007
Старт IICup
International Cyber Cup — это сторонняя серверная платформа для StarCraft. Этот сервер очень важен для исследований ИИ, потому что на нем можно запускать ботов, но это не официальный сервер Blizzard. Еще одним преимуществом этого сервера является то, что он предоставляет игрокам буквенный счет, который игроки могут использовать для простого общения с техниками. Например, когда я серьезно играл в 2010 году, я получил оценку D+.
2008
Первое исследование искусственного интеллекта StarCraft
Первая известная мне статья о сборках AI для StarCraft была опубликована в 2008 году. Се и Сун изучили тысячи записей геймплея, чтобы построить модель, позволяющую предсказать, какие здания и юниты будут производить игроки.
Прогноз порядка сборки StarCraft
2009
Выпущен API Brood War
В 2009 году я обнаружил проект кода Google под названием BWAPI (Brood War API), который предоставляет программный интерфейс для StarCraft. Библиотека использует сторонний инструмент DDL для внедрения API в среду выполнения StarCraft и предоставляет набор хуков, которые вызывают внутриигровые функции. С тех пор количество участников проекта увеличилось, и он был перенесен на несколько языков. Сейчас он размещен на GitHub и имеет версию для Java.
2010
Старкрафт 2 вышел
В 2010 году вышел StarCraft II Wings of Liberty, и соревнование Brood War продолжалось несколько лет. Дополнение Heart of the Zerg вышло в 2013 году, а Legacy of the Void — в 2015.
Первое соревнование по StarCraft
Первое соревнование по ИИ по StarCraft состоялось на AIIDE 2010. Его главное событие выиграла команда Berkeley Overmind. Был также показательный матч между людьми и машинами, в котором игроки-люди легко победили своих ИИ-коллег.
Команда Berkeley Overmind
2011
2-е соревнование AIIDE по StarCraft
Дэйв Черчилль из Университета Альберты провел второе и последующие соревнования AIIDE по StarCraft. Он написал структуру турниров, которая автоматически запускает турниры, и изменил некоторые правила для облегчения совместной работы, например, требуя подачи материалов с открытым исходным кодом.
Студенческий турнир ИИ по StarCraft
После старта второго турнира по StarCraft в центре внимания оказались работы студентов. Турнир больше не привязан к ежегодной конвенции, а проводится несколько раз в год.
2013
Лестница для роботов StarCraft Brood War
Krasi0 разработала систему лестниц, работающую круглосуточно и без выходных, для межзвездных роботов. Это предоставляет исследователям среду для оценки различных подходов к ИИ.
2014
автоматизированный игрок starcraft 2
Мэтт Вебкорнер демонстрирует бота StarCraft II, который может определять состояние игры, перехватывая команды DirectX. Одним из основных ограничений этого подхода является то, что бот может получить доступ только к состоянию игры, отображаемому в данный момент на экране.
2016
АльфГо побеждает Ли Седоля
В марте 2016 года система AlphaGo от DeepMind победила чемпиона мира по го Ли Седоля. После этой победы многие считали, что StarCraft станет следующим испытанием для DeepMind.
Facebook присоединиться
В 2016 году исследователи искусственного интеллекта в Facebook начали использовать StarCraft в качестве испытательного стенда для обучения с подкреплением. Они опубликовали статью о микроменеджменте в StarCraft. Их бот участвовал в конкурсе AIIDE2017, но его модель обучения работала не так хорошо, как бот, ориентированный на скрипты.
Объявление BlizzCon
На BlizzCon 2016 DeepMind объявили, что они работают с Blizzard над разработкой открытой платформы для ИИ. Теперь, когда Google и Facebook соревнуются в разработке ботов для профессиональных игр Starcraft, конкуренция становится все более жесткой.
2017
Выпущен API StarCraft 2
Blizzard выпустила StarCraft 2 API для написания ботов 9 августа, а также раскрыла студию для написания ботов.
Посмотреть исходный текст:
к data science.com/ah-history-oh…
использованная литература
[1]:
Harry.archives- Euro V и TE дайте.введите/harry-0087100…
[2]:У-у-у. В это время.Окленд.AC.Вы находитесь в /research/karma…