Kaggleコンペティション「Konwinski Prize」で、DeNAのデータサイエンティストである秋山・坂見・村上のチームが、617チームの中で3位となり、金メダルを獲得・入賞しました。

本コンペティションは、GitHubの実際のissueを解決するタスクでした。既存ベンチマークである「SWE-bench」には、テストデータが公開されていることによるAIの事前学習（汚染）の懸念がありますが、本コンペティションでは新たに収集された汚染されていないissueを用いることで、AIが真に未知のバグを解決する能力を評価しました。

DeNAチームは、deepseek-r1-distill-llama-70b-awqをベースに、issueの難易度推定タスクをLoRAファインチューニングすることで、解くべき問題とスキップするべき問題を分類し、制限時間内に評価指標に最適化された形で問題を解決しました。

秋山コメント「難易度が高く面白いコンペでした。継続開催を楽しみにしてます。」

坂見コメント「良い順位で終わることができてとても嬉しいです。」

村上コメント「予想以上の結果になり非常に驚いています。」