Разработчики из Sony AI, Sony Interactive Entertainment и игровой студии Polyphony Digital представили Gran Turismo Sophy — искусственный интеллект для автогонок, способный обогнать лучших игроков в мире гоночного симулятора Gran Turismo. Исследователи надеются, что их разработка поможет улучшить поведение искусственного интеллекта в компьютерных играх.
Специалисты из трех компаний объединили свои знания из разных областей в создании интеллектуального агента, обученного с использованием платформы глубокого обучения с подкреплением. Группы учитывали фундаментальные методы работы с ИИ и устройство гиперреалистичных гоночных симуляторов.
В итоге GT Sophy овладела следующими навыками:
управление гоночным автомобилем с глубоким пониманием динамики транспортного средства и устройства гоночной трассы, что позволяет совершать точные маневры и преодолевать сложные участки;
система способно быстро принимать решения и выстраивать тактику гонки. GT Sophy показала, что хорошо справляется с определением лучшего момента для перестраивания, обгона и блокирования противников;
искусственный интеллект соблюдает негласный гоночный этикет: учитывает траекторию движения оппонентов, избегает столкновения и не блокирует игроков без шанса выбраться.
Разработчики использовали для обучения методику обучения с подкреплением (RL) — ИИ-агент взаимодействовал с игровым миром и получал вознаграждение или штраф за свои действия, что помогало ему выстраивать стратегию на будущие заезды. Также исследователи использовали систему Quantile-Regression Soft Actor-Critic (QR-SAC). Агенту предоставили понятные ему правила гонок, которые четко регламентировали нормы его поведения на трассе.
GT Sophy уже успели проверить в реальных игровых условиях во время чемпионата Race Together 2021 Challenge, который проходил летом и осенью 2021 года. ИИ соревновался с лучшими гонщиками Gran Turismo и обошел их как в гонках на врем, так и в формате гонок, сертифицированном Международной автомобильно ассоциацией (FIA). «Я даже и забыл, что играю против искусственного интеллекта. Это было очень забавно. В будущем хотелось бы больше участвовать в гонках с ИИ-агентом», — заявил чемпион FIA Gran Turismo Championships 2020 Такума Миядзоно (Takuma Miyazono).
Исследователи планируют и дальше изучать возможности ИИ и способы их интеграции в игровые проекты. Также разработчики считают, что GT Sophy может быть полезна для усовершенствования автопилотов в реальных транспортных средствах
