DeNAでは強化学習を使ったAI研究開発の取り組みに力を入れています。強化学習は技術の進展が早いため、最新の理論を検証しながら、サービスに適したものに仕上げることが重要です。
その一例としてゲーム事業部では『逆転オセロニア 』のゲームバランス調整のサポートに対すて強化学習を応用する取り組みを行なっています。『逆転オセロニア』は、おなじみの「オセロ」のルールでプレイするシンプルかつ奥深い対戦バトルゲームです。通常のオセロとは異なり、各コマはキャラクターとして独自のスキルを持ち、プレイヤーはキャラクターを駆使して勝利を競う戦略性に富んだゲームです。
新しくゲームを始めるプレイヤーが楽しめるように、また全てのプレイヤーに継続的に面白さを提供出来るように、ゲームは常に変化していきます。たとえば、新たなキャラクターの導入もその手段の一つです。そのため、ゲームを特徴づける膨大なキャラクターとそれを活用する戦略パターンの分析はとても重要です。
新しい要素が加わり続けるゲームの運用は、ゲームシステムの複雑化につながりやすく、そのためゲームのプランナーがバランス調整に費やす工数も増大し、難易度も上がっていきます。そうしたバランス調整作業をどれだけ効率的に出来るかのカギを握っているのもAIです。現在は強化学習したAIに自動的にプレイを繰り返させることで、新たにリリースされるキャラクターの性能を評価し、プランナーの意思決定をサポートするAIの研究開発に取り組んでいます。
強化学習は発展途上の技術ですが、プレイヤーのログデータから学習した教師あり深層学習AIの戦略判断の一部利用や、キャラクターの表現学習による抽象化、デッキ分析による学習用トレンドデッキの抽出、バンディットアルゴリズムによる新たなキャラクターを含んだ環境上でのデッキ改良など、複数のAI 技術と組み合わせる事で、新たなキャラクターの戦略パターンに対する効率的な学習が可能になっています。

将来的には、プランナーが意図したレベルのキャラクター(駒)を意図した通りの性能で適切にリリースすることを、AIがサポートをできるようにしたいと考えています。事前のAIによるシミュレーションによって、キャラクター(駒)のリリース後に起きることを検知し、ゲームのバランスが崩れることを回避します。こうすることで、より長く深く楽しめるゲーム作りを支援することができるのです。また、AIの支援で解放された時間を、プランナーは面白さの追求に費やせるようになります。面白さを作る、ここはまだ人ならではの部分です。いずれは、ここもサポートできるAIの開発もありえるかも知れません。

また強化学習はよく知られるゲームAIへの応用のみならず、その他の深層学習モデルの高速化、軽量化や自動チューニングにも応用されています。高度なAIがあらゆる領域で利用される世界では、このような実用観点での計算リソースの低コスト化が常識になっていくと考え、その研究開発と最新理論の検証を続けています。

これらの強化学習技術を用いて実ビジネスをサポートする試みは世界的にも珍しいだけでなく、次代のAI 開発現場を担っていく技術的な柱の一つでもあります。DeNAではそのためのチャレンジを続けています。

プロジェクトメンバー

奥村 純

JUN OKUMURA

AI本部AIシステム部
AI研究開発エンジニア

京都大学、東京大学、米ローレンス・バークレー国立研究所にて宇宙物理学の研究に従事し、2014年DeNA入社。データアナリストとしてゲーム事業やオートモーティブ事業のデータ分析に携わり、2016年末よりAIエンジニアに転身。強化学習、深層学習を活用したGame AI研究開発プロジェクトをリード。強化学習コミュニティの運営や書籍の執筆など対外活動も積極的に行っている。共著に『データサイエンティスト養成読本 ビジネス活用編』がある。

甲野 佑

YU KONO

AI本部AIシステム部
AI研究開発エンジニア

2017年4月に中途入社。前職では大学でヒトの意思決定傾向や脳における行動の習慣/階層化過程を組み合わせた強化学習モデルの基礎研究を行っていた。入社以来オセロニアの Game AI 開発に携わっており、学習アーキテクチャ全体の設計と強化学習アルゴリズムの実装、開発などに従事している。

田中 一樹

IKKI TANAKA

AI本部AIシステム部
AI研究開発エンジニア
Kaggle Master

2017年4月に新卒でDeNAに入社。現在はオセロニアの Game AI 開発に従事し、開発の全体設計や機械学習・強化学習アルゴリズムの研究開発を担っている。大学時代は電力に関する数理計画法を研究する傍ら、データ分析の大会に没頭し複数大会で入賞。Kaggle Master。