日本、独自の大規模言語モデル開発にスーパーコンピュータ「富岳」を活用。来年オープンソースで公開予定

日本政府とNEC、富士通、SoftBankといった大手テクノロジー企業は、“日本語に基づく”大規模言語モデルの開発に「数億ドル」を投資している。

彼らが開発しているこの新たな日本語モデルは、ChatGPTなどよりも文化的・言語的な微妙さを表現できるとされている。トレーニングは、日本が誇るスーパーコンピュータ「富嶽」を使って日本語のテキストで学習される予定だ。

LLMの日本文化に対する感受性を測定するため、研究者らはGPT-4で作成された質問を使って、LLMが日本特有の質問にどれだけ答えられるかを測定する「Rakuda Ranking」を開発した。現在、最も優秀な日本のオープンLLMは、このランキングで4位にランクされている。このランキングのトップはGPT-3.5であり、GPT-4はそれらをも大きく上回っている。

東京工業大学、東北大学、富士通、政府出資の理化学研究所によって開発されている日本語LLMは、来年オープンソースとして公開され、少なくとも300億のパラメータを持つ予定だ。

日本の文部科学省は、さらに大規模なモデルを構築している。少なくとも1,000億のパラメータを持つこのモデルもまた、日本語をベースとし、科学的応用のために最適化される予定だ：発表された研究に基づき、研究を加速させるための新たな仮説を生成する。このモデルの開発費は約2億ドルで、2031年に一般公開される予定である。

https://texal.jp/2023/09/16/japan-to-use-fugaku-to-develop-its-own-large-scale-language-model-to-be-released-as-open-source-next-year/