0

ИИ-ботов научили командной работе в игре в прятки

ИИ-ботов научили командной работе в игре в прятки
Некоммерческая организация OpenAI, занимающейся исследованиями в области искусственного интеллекта и прославившейся разработкой ботов, победивших чемпионов мира в Dota 2, обучили нейросеть играть в прятки.

Результаты исследования продемонстрировали, что команда из двух ботов обучается эффективнее и быстрее, чем любой отдельный агент без союзников.

Условия простые: на небольшой виртуальной площадке были размещены синие и красные человечки. Синие прятались, а красные — искали своих противников.

Боты играли друг с другом порядка 500 миллионов раз. В результате наблюдений за методами игры, разработчики обнаружили, что боты не только начали разрабатывать и применять новые стратегии в ходе игры, но и научились противостоять методам другой команды.

Учёные использовали метод машинного обучения, где искусственный интеллект помещается в неизвестную ему среду с определёнными способами взаимодействия с ней, а также систему наград и штрафов за тот или иной результат своих действий. Так как боты могут с большой скоростью испробовать множество различных сценариев, метод проб и ошибок позволяет найти наиболее эффективные стратегии для решения поставленной задачи.

Для обучения ИИ игре в прятки учёные использовали подход, называющийся «ненаправленное исследование» (Undirected exploration), который заключается в том, что агенты имеют полную свободу действий для развития своего понимания игрового мира и разработки выигрышных стратегий.

Агенты не могли удаляться слишком далеко за пределы игровой площадки и были вынуждены перемещаться по случайно сгенерированным комнатам с возможностью использовать некоторые внешние объекты (ящики, передвижные стены, специальные пандусы), разбросанные вокруг, которые можно было использовать как для создания укрытий, так и для проникновения в них.

Сначала прятавшиеся просто бегали по карте, но после 25 миллионов игр те, кто прятался, научились баррикадироваться внутри комнат при помощи коробок. Также они начали работать совместно, передавая коробки друг другу, чтобы загораживать входы быстрее. В свою очередь красные человечки научились обходить препятствия и перебираться через виртуальные стены, используя все те же ящики.

«Как только одна команда начинает использовать новую стратегию, другая команда начинала предпринимать отчаянные попытки адаптироваться. Это действительно интересный аналог того, что происходило на Земле в ходе эволюции, когда мы постоянно вынуждены были соревноваться с другими видами», — прокомментировал игру в прятки программист Боуэн Бейкер из OpenAI.

Исследователи утверждают, что их работа является значительным шагом к созданию ИИ с «физически обоснованным» и «человеческим» поведением, который сможет диагностировать заболевания, предсказывать структуры сложных белковых молекул и анализировать компьютерную томографию.

Также по теме

Также по теме