1 すらいむ ★ ：2024/10/14(月) 19:23:04.74
AppleのAI研究者らが「今のAI言語モデルは算数の文章題への推論能力が小学生未満」と研究結果を発表

　OpenAIのGPT-4など大規模言語モデル(LLM)をベースにしたAIは、自然な文章を生成したりさまざまな課題をクリアしたりと、高度で広範な機能を備えています。
　しかし、依然として小学生レベルの算数でも、文章題だと人間がしないようなミスをして答えられないケースがあります。
　Appleの人工知能科学者が発表した論文では、MetaやOpenAIなどの大規模言語モデルに基づくAIは「基本的な推論能力が欠けている」という研究結果が示されました。

　[2410.05229] GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models
　https://arxiv.org/abs/2410.05229

（以下略、続きはソースでご確認ください）

Gigazine 2024年10月14日 19時00分
https://gigazine.net/news/20241014-llm-reasoning/




3 名無しのひみつ ：2024/10/14(月) 19:36:50.71
結局、東大入試の数学は数式だけだから、解けても
つるかめ算が解けないというw

4 名無しのひみつ ：2024/10/14(月) 19:51:07.03
人間の愚かさをナメてもらっては困るぞ

7 名無しのひみつ ：2024/10/14(月) 21:18:19.77
人間のそれなりに多くの人もこの問題引っかかるだろう
計算に用いない無意味な数字を混ぜるやつ

8 名無しのひみつ ：2024/10/14(月) 21:21:06.39
問題の書き方に一貫性が無いのが問題だろう
教師の自由裁量すぎる

10 名無しのひみつ ：2024/10/14(月) 22:01:30.52
こういうのに限らず単純に辞書的な使い方をするのでもない限り人間の意図した答えを対話無しで一発で出してくれる方が珍しいでしょ

11 名無しのひみつ ：2024/10/14(月) 22:17:07.98
数学屋は答えがちゃんと存在するなら質問のクオリティにはあまりこだわらないからな

14 名無しのひみつ ：2024/10/14(月) 22:29:57.81
AIは文系だったか

15 名無しのひみつ ：2024/10/14(月) 22:39:38.62
ギレン総帥の演説に洗脳されちゃうもんな

17 名無しのひみつ ：2024/10/14(月) 23:10:42.68
推論能力まで獲得したらほんとに人間いらなくなってしまう
知識量で絶対に勝つのは不可能なのに
肉体労働しか生き残れない

18 名無しのひみつ ：2024/10/14(月) 23:11:11.50
これだもの

（出典 i.imgur.com）

20 名無しのひみつ ：2024/10/15(火) 01:46:32.92
言語では、ある程度納得させる言説をするのに数字はからきし駄目？
こういう奴よくいない？ｗ

22 名無しのひみつ ：2024/10/15(火) 05:14:52.72
推論が正しいかを客観的に（つまり外部モジュール的に）評価することがないからなあ
まあ、でも、1年しないうちに次のバージョンで出来るようになるんじゃね？

25 名無しのひみつ ：2024/10/15(火) 06:01:25.44
まあ人間とAIとでは得手不得手も違うさ

26 警備員[Lv.7][芽] ：2024/10/15(火) 06:10:27.23
算数の文章題って別に文章としての難易度が高いわけじゃないだろ
ただ正解が一つしかないからとんちんかんな答え返すとそれが間違っているのがばれる

普通の問いでも同じくらいとんちんかんな答え返してると思うぞ
気づきにくいだけで

30 名無しのひみつ ：2024/10/15(火) 07:06:14.83
LLMはgenAIだ
生成するものだ
推論するものじゃない

31 名無しのひみつ ：2024/10/15(火) 09:11:10.02
性能大した事ないよとか論文出されてもな
何が原因でどうやったら改善できるかの展望でも出して欲しいもんだ

32 名無しのひみつ ：2024/10/15(火) 10:19:03.08
Fラン連中よりは有能ってことか

34 名無しのひみつ ：2024/10/15(火) 10:29:40.20
大規模自然言語処理でも歯が立たない数学（算数）の問題さん側にも落ち度がある

が法律や約款はもっと面倒だろ

35 名無しのひみつ ：2024/10/15(火) 10:47:59.32
こういうのにこだわってたらいつまで経っても製品化できないわな

38 名無しのひみつ ：2024/10/15(火) 12:04:50.32
せめて他と同じ土俵に立ってから、こういう事は言ってくれ
これじゃただの負け惜しみじゃねーか

39 名無しのひみつ ：2024/10/15(火) 12:19:37.38
なるほどw

42 名無しのひみつ ：2024/10/15(火) 12:45:13.95
単純計算できないもんな
「理解する」ていう仕組みがまだ出来ていないんだろうな
統計のこねくり回しだけではやっぱ限界があるんじゃないか？

43 名無しのひみつ ：2024/10/15(火) 12:56:17.81
世界中の算数義務教育レベルテキストをすべてぶち込むところから始めてみては。

44 名無しのひみつ ：2024/10/15(火) 13:04:55.68
大抵の大人は小学生未満の頭脳だろ？

47 名無しのひみつ ：2024/10/15(火) 16:37:28.71
三段論法を駆使できないうちは小学生レベルから脱することはないだろう

50 名無しのひみつ ：2024/10/15(火) 19:15:29.47
>>47
その三段論法からして大問題があるんだよ。

大前提：人間はみな死ぬ
小前提：ソクラテスは人間である
結論：ゆえにソクラテスは死ぬ

一体全体、ソクラテスは不死だ、と信じて疑わない奴が「人間はみな死ぬ」という命題を正しいと認めるか？？

48 名無しのひみつ ：2024/10/15(火) 16:49:08.93
2位の人を追い抜くとあなたは何位？
の答えが凄かった

49 名無しのひみつ ：2024/10/15(火) 17:18:18.38
理系のやつ良かったな
暫く仕事とられなくて済むぞ



タグ ：
#教育
#AI
#算数
#文章題
#推論能力
#小学生