Bartosz Naskręcki, profesor matematyki i prodziekan Wydziału Matematyki i Informatyki UAM, omawia rewolucję, którą modele językowe wprowadzają do matematyki. Podejmuje temat testowania takich modeli na nowych problemach matematycznych, gdzie LLM-y osiągnęły średnio 20% poprawności. Opowiada o weryfikowaniu prac matematycznych i naprawianiu błędów, w tym w wielkim twierdzeniu Fermata. Naskręcki replikuje, że te narzędzia mogą zrewolucjonizować sposób, w jaki postrzegamy rolę matematyków w przyszłości.
01:40:21
forum Ask episode
web_stories AI Snips
view_agenda Chapters
auto_awesome Transcript
info_circle Episode notes
insights INSIGHT
Nowe Zadania By Ocenić Prawdziwe Rozumienie
Modele językowe uczą się z internetu, więc benchmarki muszą zawierać nowe, nigdzie niepublikowane zadania.
FrontierMath tworzy zadania z liczbową odpowiedzią, by jednoznacznie ocenić, czy model naprawdę rozumie problem.
insights INSIGHT
Dlaczego Modele 'Ściemniają'
Modele często „ściemniają”: generują przekonujące, lecz niepewne rozumowania.
Dlatego testy wybierają liczby jako odpowiedzi, aby zapewnić jednoznaczną weryfikację.
insights INSIGHT
Modele Zaskakują Szybkim Postępem
Eksperymenty pokazały, że modele rozwiązują zadania, które autorzy uważali za trudne.
To sugeruje, że LLM-y potrafią łączyć tokeny w nieoczywisty sposób, osiągając prawidłowe wyniki.
Get the Snipd Podcast app to discover more snips from this episode
– Bardzo szybko się przekonaliśmy, że nasze wyobrażenie o tym, co jest trudne, a co mogą robić modele językowe, to były dwa zupełnie różne światy – mówi odcinku nr 283 dr Bartosz Naskręcki, prodziekan Wydziału Matematyki i Informatyki Uniwersytetu Adama Mickiewicza w Poznaniu.
* * * Słuchasz nas regularnie? Może spodoba Ci się któryś z progów wsparcia :) Zajrzyj na https://patronite.pl/radionaukowe Nasze wydawnictwo: https://wydawnictworn.pl/ * * *
Dr Naskręcki jest jedynym polskim naukowcem w międzynarodowym zespole FrontierMath. Zespół zebrał się, by stworzyć bazę zupełnie nowych, nigdzie wcześniej niepublikowanych problemów matematycznych i sprawdzić, jak sobie z nimi poradzą popularne duże modele językowe (LLM). A radzą sobie nieźle: podały poprawną odpowiedź do ok. 20% przygotowanych zadań, a ich rezultaty są coraz lepsze z czasem (wraz z rozbudową i dotrenowywaniem modeli w internecie). LLM-y można wykorzystać też do weryfikowania poprawności już istniejących prac matematycznych. – Magia matematyki polega na tym, że jak się ten program, czyli ten sformalizowany dowód, skompiluje w odpowiednim kompilatorze, to on mi daje gwarancję, że to jest poprawnie – wyjaśnia dr Naskręcki. W ten sposób naukowcy wyśledzili i naprawili błąd np. w wielkim twierdzeniu Fermata.
Wykorzystanie modeli AI to już rewolucja. – Można w pewnym sensie już tworzyć matematykę trochę bez matematyków – zauważa gość. Oczywiście na razie to narzędzie i wciąż potrzebny jest człowiek, który nim kieruje, wpisuje prompty i weryfikuje wyniki. Kolejnym poziomem rewolucji byłoby stworzenie modelu zdolnego do samodzielnego tworzenia i rozwiązywania problemów matematycznych. Wydaje się jednak, że do tego jeszcze daleko. – Modele nie będą robiły niczego kognitywnie ciekawego, dopóki nie pozwolimy im wchodzić w różne interakcje. Bez interakcji trudno mi sobie wyobrazić, że coś, co ma ewidentnie pewną strukturę dynamiczną, a świadomość ma strukturę dynamiczną, da się wytworzyć w takim algorytmie – dodaje.
W odcinku usłyszycie też sporo rozważań na temat świadomości i dowiecie się, jak weryfikować prawdziwość rozwiązań, których nie umiemy policzyć, i dlaczego matematyk z modelem AI jest jak pasterz. Polecamy!
Radio Naukowe