Kaggleコンペティション「Google Research Football with Manchester City F.C.」において、DeNAのデータサイエンティストである田中一樹とquantum社のデータサイエンティストである大渡勝己（DeNAでも強化学習の研究開発に従事）のチームが5位入賞しました。

本コンペティションは、人気スポーツであるフットボール（サッカー）をプレイするAIエージェントの作成を目的として、フットボールチームのマンチェスター・シティF.C.とGoogle Researchがホストとなり開催されました。11人から構成されるチームを操作し、パスやシュートを駆使して勝負に挑みます。コンペティション開催中に、参加者が提出したAIエージェント同士で多数の試合を行い、その勝敗結果で順位付け（レーティング計算）が行われました。これらの試合はGoogle Research Football Environmentという実際のビデオゲームと同じような環境で動作しています。我々のチームは並列強化学習を駆使してAIエージェントを作成しました。

フットボールのようなスポーツでは、パスなどの短期的な制御と戦術のような長期的な制御のバランスを考慮することが必要とされます。フットボールは世界中で人気のスポーツではありますが、AIエージェントは果たしてきちんとプレイできるのかといった課題があり、発展途上の領域です。このコンペティションの結果を通じて、複雑なスキルを獲得するためのAIエージェントの学習方法に関する研究を加速させることが期待されます。さらに、新たな戦略を発見しフットボールチームに還元することも期待できます。

解法: https://www.kaggle.com/c/google-football/discussion/203412
コード: https://github.com/YuriCat/TamakEriFever
※DeNAが開発するOSSの分散強化学習ライブラリHandyRLをベースに実装しました

DeNAではこの経験を活かしつつ、強化学習技術を用いたAI研究開発や実ビジネスへの応用にチャレンジし続けます。

田中コメント「kaggleが終わり酷く悩んでいた頭痛が治りました」
大渡コメント「優勝できず悔しい。今後は複数人での協調動作や長期的な記憶の利用による戦略変更など、より高度なAIタスクに挑戦したい。」

学習初期のエージェントはフォワードのキュリー夫人をディフェンダーの裏に抜けさせてゴールするのを好みました