DeNAはOSS活動を積極的に応援しています。今回その一環として、大規模な並列強化学習を"手軽に試せる"ライブラリである「HandyRL」を開発・公開しました。「HandyRL」は業務の中で生まれました。様々なゲームに適用でき、手軽に強化学習を用いた AI を作成することが可能となります。また、大渡勝己と田中一樹が組んだチームが「HandyRL」を活用し、ヘビを動かすゲーム Kaggleコンペティション「Hungry Geese」において2月の優勝者となりました。

「HandyRL」が目指している世界

• 誰でも強化学習を手軽に扱える
• 対戦ゲームにおいて強くて勝てるAIが作れる
• 並列度を上げて学習がスケールする

「HandyRL」を用いた学習イメージ

• AIを作りたい対戦ゲーム環境を用意する
• 並列分強化学習を実行する
• モデルの学習と同時にモデルの評価もする
• 定期的にモデルを保存する

我々は「HandyRL」の性能を評価するため、Kaggleで開催されるゲームAIコンペティションに参加しました。 昨年開催されたサッカーゲームのAIを作成するコンペでは「HandyRL」を利用して5位に入賞しました。

また、データサイエンス、AI/MLコミュニティにおける強化学習人材の増加と育成に貢献すべく、現在開催中の Hungry Geese というゲームに対応し、HandyRLのレポジトリにゲーム環境を用意しました。Hungry Geese は自分のキャラクターである“ヘビ”を操作し、食べ物を食べて成長したり、相手の“ヘビ”を戦略的に追い詰めたりしながら生き延びるゲームです。Hungry Geese では毎月リーダーボード1位のチームが表彰され、我々のチームは最初の優勝者となりました。

「HandyRL」は今後も更新していきますので是非ご活用ください！ HandyRLはこちら！