- Terence Tao @tao@mathstodon.xyz
https://mathstodon.xyz/@tao/113132503432772494GPT-o1は、LLMを実行する前に最初の推論ステップを実行する。 最も高度な研究数学的タスクにはまだ苦戦しているものの、以前の反復よりは確かに有能なツールだ。
以下は具体的な実験である（私がアクセスできるようになったモデルのプロトタイプを使った）。 https://chatgpt.com/share/2ecd7b73-3607-46b3-b855-b29003333b87 では、https://mathstodon.xyz/@tao/109948249160170335 の実験を繰り返した。この実験では、文献から適切な定理（クレイマーの定理）を特定することで解決できる、曖昧な言葉の数学的クエリに答えるようGPTに求めた。 以前は、GPTは関連する概念について言及することができたが、詳細は幻覚のような無意味なものだった。 今回はクラマーの定理が特定され、完全に満足のいく答えが与えられた。(1/3)
- https://chatgpt.com/share/94152e76-7511-4943-9d99-1118267f4b2b、私は新しいモデルに難しい複雑な解析問題（以前、https://chatgpt.com/share/63c5774a-d58a-47c2-9149-362b05e268b4、GPT4に証明の作成を手伝ってもらった）を与えた。 新しいモデルは、多くのヒントと助言を与えれば、正しい（そしてよく書かれた）解答を導くことができたが、重要な概念的アイデアを自力で生み出すことはできなかった。
その経験は、平凡ではあるが、完全に無能というわけではない大学院生に助言をしようとするのとほぼ同等であるように思われた。 しかしこれは、実際に無能な大学院生に近い能力だった以前のモデルよりは改善された。 有能な大学院生」のレベルに到達するまでには、さらに1回か2回の改良（およびコンピュータ代数パッケージや証明アシスタントのような他のツールとの統合）を繰り返す必要があるかもしれない。(2/3)
- 第三の実験として、私は（https://chatgpt.com/share/bb0b1cfa-63f6-44bb-805e-8c224f8b9205）新しいモデルに、リーンにおける結果を形式化する（具体的には、素数定理のある形式を別の形式の帰結として確立する）タスクを、ステートメントは形式化するが証明は形式化しないサブレンマに分割することから始めるよう求めた。この結果は、モデルがタスクをよく理解し、問題の賢明な初期分解を行ったという点で、有望なものであった。しかし、トレーニングにおいてLeanとその数学ライブラリに関する最新の情報が不足していたため、そのコードにはいくつかの間違いがあった。 しかし、LeanとMathlibについて特別に微調整され、IDEに統合されたこの能力のモデルは、形式化プロジェクトにおいて非常に有用であることが想像できた。(3/3)
- なんか特定のタスクに対して微調整してるだけにも見えなくもないな🥺
- 新しいアイディア作るにはどうしても難しいよな
まぁ既存のアイディア組み合わせるだけでほとんど解決するけど - 既存の知識をすごい勢いで取り回してくれてる感はあるから
検索を超えたツールになるのは間違いなさそう🥺 - これあるなら大学生以下は要らないな
- >>7
そもそも大学で学ぶのってその基礎知識から抽象化して新しい具体的な問題解決アプローチ取るためのものちゃうんか
まぁ、大学レベルの知識を適切に得られるのであればもう大学いらなくなる可能性はあるけど - 平凡な大学院生って上位5%くらいやんけ
- ワイより賢そう
- テレンスタオの言う平凡な大学院生って絶対レベル高いやろ
- 世界最高の数学者の周りにいる平凡な大学院生って東大生より賢そう
- クレイマーの定理ってなんだと思ったらクラメルの公式のことか
- >>13
DeepL素出しやスマンな🥺 - >>13
えぇ…これが使えるから院生レベルなんか？
学部1年か高専で学ぶ主張やんか - >>16
解いて欲しい主張はこれやから「以下の問題がクラメルの定理で解けることが特定できる」までがワンセンテンスやで😉Say I have a positive measure whose closure(support) = some compact convex subset S. I convolve n times to get a measure on nS. Scale down by n, take log, divide by n, take the limit to get some rounded thing on S. Does it depend on the original measure?
- 平凡な大学生(当社比)
- >>15
まぁこれよ
数学者が語る平凡な大学院生って、日本では宮廷の上澄みレベルになる
もちろんここにいるレベルは淘汰される - クラメルの定理がなんだか知らんがcramerをクレイマーって訳すなんて大学の教養数学ガチで知らんってことやん
- コイツラの言う平凡な院生って上位1％どころじゃないやろ
- ここまで来たか
そのうち自分で勝手に考えて勝手に新しい定理発見しそうやな - >>24
どちらかというと(3/3)のところで展望が述べられてて
自動定理証明系のようなプログラムをもっと学習して数式をプログラムに落とし込む作業が便利にならねーかなというのがタオのお気持ちらしい🥺 - 今年の東大数学は2完したみたいな話聞いたな
- 人間でも新しいものを生み出せるのはほとんどおらんからな
- >>28
ほとんどつーか百年に数人レベルやろ理論を飛躍させる偉人は - copilotの数式版とかないんか？
- なぁもうやめにせんか？
理系院卒であることだけがワイのアイデンティティなのに
世界的数学者「ChatGPT-o1の数学力は平凡な大学院生レベル。ヒントを与えれば問題には解答できる。一方で概念は生み出せなかった」
エッヂ
コメント