コンペティション「Kaggle - LLM Science Exam」で、今年度新卒としてDeNAに入社したデータサイエンティストの村上がソロで参加し 2,662 チーム中 10 位で金メダルを獲得しました。

本コンペティションでは、Wikipediaの科学に関する文章を元にGPT-3.5が作った多肢選択問題を限られた計算リソースで解くという課題が出されました。Retrievalによって取得したWikipediaの文書をContextとして追加して、DeBERTa やオープンソースのLLMで予測する手法が多かったようです。 村上はRetrievalによって得られた10種類のContextを用いて DeBERTa で推論し、得られた確率について選択肢ごとに最大値を取ることでアンサンブルを行いました。詳しい解法についてはこちら。

村上コメント「無事ソロで金メダルを獲得できてホッとしています。次は賞金が貰えるように引き続き精進します。」

DeNAではLLM技術推進グループを設置し、全社的なLLM導入活動を行なっています。また、そういったLLM技術の社会実装に取り組みたい人材を募集しております。