【AI Lab 強化学習チーム】全学年対象インターンシップ

インターンシップ概要

株式会社サイバーエージェント AI事業本部 AI Lab 強化学習チームでの全学年対象インターンシップになります。本インターンでは日本語LLMのための日本のポップカルチャーデータセットの構築及びその手法の開発を行っていただきます。詳細な業務内容・条件は下記していますのでご確認ください。

本インターンの意義

日本語LLMであれば、日本の近代文学や日本史に詳しいだけでなく、現代の日本のポップカルチャーにも詳しいLLMであってほしくはありませんか？

そのような日本語LLMを構築するためには、まずはそれを評価するベンチマークを作る必要があります。本アルバイトで構築していただくデータセットは日本語LLMの開発において日本のポップカルチャーの理解度を評価するために利用したいと思っています。

対象

• 必須
  • Python 3を使ったプログラミング経験がある方
  • 言語処理技術に興味がある方
  • LLMに対するプロンプトを書いた経験のある方
• あると望ましい
  • 日本のアニメやゲームなどに興味がある方
  • 自然言語のデータセットを構築した経験のある方

業務内容

私たちのチームでは大規模言語モデル (LLM) を目的に合わせてチューニングするための技術 (Reinforcement Learning from Human Feedbackなど)を研究開発しております[1, 2, 3]。
特に、日本語に堪能なだけでなく日本の環境に立脚した知識を持ったLLMを構築する手法に興味を持っています[2]。
そしてそのためには、高品質なデータセットを効率よく構築する手法が重要となります。

日本ポップカルチャーデータセットの構築

本インターンに参加される方はAI Labの研究員とディスカッションをしながら日本ポップカルチャーデータセットを構築するための手法の実装や開発を行っていただきます。
データセットはWikipediaなどのCreative commonsや、GFDLで公開されているアニメに関する記事を利用して構築することを想定しています。

References

［1］ Direct Preference Optimizationによる日本語LLMのチューニング

［2］ Yuu Jinnai. 2024. Does Cross-Cultural Alignment Change the Commonsense Morality of Language Models?. In Proceedings of the 2nd Workshop on Cross-Cultural Considerations in NLP (Best Paper Award)

［3］Tetsuro Morimura and Mitsuki Sakamoto and Yuu Jinnai and Kenshi Abe and Kaito Ariu. 2024. Filtered Direct Preference Optimization. ICML 2024 Workshop on Models of Human Feedback for AI Alignment.