aiЖарияланды: 2026 M09 10 09:00Сенім деңгейі: official

Зерттеушілер Lean 4 жүйесіндегі StochBench бенчмаркін ұсынды

Зерттеушілер Lean 4 жүйесіндегі StochBench бенчмаркін ұсынды

Қысқаша мазмұны

Ғалымдар стохастикалық процестер саласындағы теоремаларды дәлелдеуге арналған StochBench атты жаңа бенчмарк әзірледі.

Мәтін редакция мен AI көмегімен дайындалды, түпнұсқа сілтемесі көрсетілген

Зерттеушілер үлкен тілдік модельдердің математикалық теоремаларды дәлелдеу қабілетін бағалауға арналған жаңа StochBench бенчмаркін таныстырды. Lean 4 интерактивті дәлелдеу ортасына негізделген бұл жинақ стохастикалық процестер бойынша магистратура деңгейіндегі 450 тапсырманы қамтиды.

Жоба Mathlib кітапханасында сирек кездесетін бағыттарды, соның ішінде Марков тізбектерін, кездейсоқ серуендерді, мартингалдарды, броундық қозғалысты және стохастикалық талдауды қамтиды. Әрбір тапсырма Lean кодын және табиғи тілдегі түпнұсқа сипаттамасын біріктіреді.

Сынақ барысында Opus 4.8 негізіндегі АИ-агент бір есепке 15 минуттық шектеу аясында 34,9% нәтиже (450-ден 157 дәлел) көрсетті. Бұл көрсеткіш жүйенің күрделі қолданбалы математика салаларында одан әрі дамуды қажет ететінін көрсетеді.

Дереккөз: arXiv cs.CL

Түпнұсқаны оқу →

Соңғы жаңалықтар