Bildung-Alt-Entfernen BldgAltEntf E055: Beta-Nele
Apr 8, 2024
02:03:00
Die Folge haben wir am 05.04.2024 aufgenommen.
News+Alt+Entf
News+O
- O läuft mit Garmin Coach und vielleicht ist das zu wenig Drill. In NY wird er leider nicht laufen.
- Seit 3 Monaten ernährt sich O vegetarisch. Läuft auch.
- Natürlich war er beim OER-Camp in Hamburg und hat dort eine H5P-Sprechstunde angeboten. Im Podcast erklärt er, was der Unterschied zwischen dem H5P-Moodle-Plugin und der Moodle-Integration ist.
News+A
- A war auch beim OERcamp.
- Intensiv-Workshop zu OEP (DLC, VFH, MyScripting)
- Digitale Kompetenzen in der Hochschulverwaltung (NRW): Kooperationsvereinbarung
- NDLA (Frank Müller)
- Nele: Praktiken des Teilens verbessern: https://wir-arbeiten-offen.de/
- Hörer Rico beim OERcamp getroffen (LiaScript)
- EduCamp Minden 2024
- schöne Location
- gemeinsame FeWo mit Melanie
- Vielleicht braucht es eine H5P-Community?
- Eigene Session zu digitalen Zertifikaten
- Session zum Kneten
- Digitalzentrum Süderbrarup, Buchungssystem unter GPL-Lizenz
Paper+Alt+Entf
Paper+O: KI-Jeopardy
Balepur, Nishant; Ravichander, Abhilasha; Rudinger, Rachel
Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question? Sonstige
In-progress preprint, 2024.
@misc{balepur2024artifacts,
title = {Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question?},
author = {Nishant Balepur and Abhilasha Ravichander and Rachel Rudinger},
url = {https://doi.org/10.48550/arXiv.2402.12483},
doi = {10.48550/arXiv.2402.12483 Focus to learn more},
year = {2024},
date = {2024-01-01},
urldate = {2024-01-01},
abstract = {Multiple-choice question answering (MCQA) is often used to evaluate large language models (LLMs). To see if MCQA assesses LLMs as intended, we probe if LLMs can perform MCQA with choices-only prompts, where models must select the correct answer only from the choices. In three MCQA datasets and four LLMs, this prompt bests a majority baseline in 11/12 cases, with up to 0.33 accuracy gain. To help explain this behavior, we conduct an in-depth, black-box analysis on memorization, choice dynamics, and question inference. Our key findings are threefold. First, we find no evidence that the choices-only accuracy stems from memorization alone. Second, priors over individual choices do not fully explain choices-only accuracy, hinting that LLMs use the group dynamics of choices. Third, LLMs have some ability to infer a relevant question from choices, and surprisingly can sometimes even match the original question. We hope to motivate the use of stronger baselines in MCQA benchmarks, the design of robust MCQA datasets, and further efforts to explain LLM decision-making.},
howpublished = {In-progress preprint},
keywords = {},
pubstate = {published},
tppubtype = {misc}
}
Multiple-choice question answering (MCQA) is often used to evaluate large language models (LLMs). To see if MCQA assesses LLMs as intended, we probe if LLMs can perform MCQA with choices-only prompts, where models must select the correct answer only from the choices. In three MCQA datasets and four LLMs, this prompt bests a majority baseline in 11/12 cases, with up to 0.33 accuracy gain. To help explain this behavior, we conduct an in-depth, black-box analysis on memorization, choice dynamics, and question inference. Our key findings are threefold. First, we find no evidence that the choices-only accuracy stems from memorization alone. Second, priors over individual choices do not fully explain choices-only accuracy, hinting that LLMs use the group dynamics of choices. Third, LLMs have some ability to infer a relevant question from choices, and surprisingly can sometimes even match the original question. We hope to motivate the use of stronger baselines in MCQA benchmarks, the design of robust MCQA datasets, and further efforts to explain LLM decision-making.
Wie beantworten Large Language Models eigentlich Multiple-Choice-Fragen … wenn sie die Frage gar nicht kennen? Dieser Frage sind drei Wissenschaftler*innen nachgegangen …
- YouTube-Video von Mathias Magdowski: Wie gut löst ChatGPT 4 unsere Online-Leistungskontrolle 1/2024 in den Grundlagen der Elektrotechnik?
Paper+A: […] und bin so klug als wie zuvor?
Bellinger, Franziska; Mayrberger, Kerstin
In: MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung, Bd. 34, Nr. Research and OER, S. 19–46, 2019, ISSN: 1424-3636.
@article{Bellinger_Mayrberger_2019,
title = {Systematic Literature Review zu Open Educational Practices (OEP) in der Hochschule im europäischen Forschungskontext},
author = {Franziska Bellinger and Kerstin Mayrberger},
url = {https://www.medienpaed.com/article/view/664},
doi = {10.21240/mpaed/34/2019.02.18.X},
issn = {1424-3636},
year = {2019},
date = {2019-02-01},
urldate = {2019-02-01},
journal = {MedienPädagogik: Zeitschrift für Theorie und Praxis der Medienbildung},
volume = {34},
number = {Research and OER},
pages = {19–46},
abstract = {Open Educational Practices (OEP) erscheinen in der Debatte um Openness im Bildungskontext und in Verbindung mit Open Educational Resources (OER) trotz einer nachweislichen Verbindung als noch relativ unterrepräsentiert. So wird hier der Annahme gefolgt, dass es aus theoretischer, empirischer wie diskursiver Perspektive notwendig erscheint für eine Kultur des Teilens und weiter eine offene Bildung im Sinne von Open Education und Open Pedagogy, die sich in Variationen von OEP manifestieren, zu sensibilisieren. Auf Grund der Bedeutung von OEP für den derzeitigen Transformationsprozess im Hochschulkontext unter den Bedingungen der Digitalisierung liefert der Beitrag einen systematischen Überblick zu Forschungsarbeiten zu OEP. Dabei findet eine Orientierung entlang der übergreifenden Fragestellung, in welchen Zusammenhängen und unter welchen Fragestellungen OEP im Kontext Hochschule erforscht werden und mit welchem Begriffsverständnis gearbeitet wird, statt. Das Ergebnis des Literature Reviews zeigt, dass in den Forschungsarbeiten ein variantenreiches Verständnis von OEP thematisiert wird. In Abhängigkeit dessen wie das Verhältnis der Praktiken der Subjekte und die Praxis jeweils gefasst werden, lassen sich vier Dimensionen einer OEP im Kontext von Openness identifizieren. Der Beitrag plädiert daher für eine begriffliche Schärfung von OEP im jeweils spezifischen Verwendungszusammenhang. Die Autorinnen forcieren dabei eine praxistheoretische Perspektive. Es wird argumentiert, dass ein praxistheoretischer Zugang es ermöglicht, offene Bildungspraktiken für den Hochschulkontext theoretisch zu fundieren und empirisch zu untersuchen, um damit einen Beitrag zur zeitgemässen Mediendidaktik respektive Medienpädagogik leisten zu können.},
keywords = {},
pubstate = {published},
tppubtype = {article}
}
Open Educational Practices (OEP) erscheinen in der Debatte um Openness im Bildungskontext und in Verbindung mit Open Educational Resources (OER) trotz einer nachweislichen Verbindung als noch relativ unterrepräsentiert. So wird hier der Annahme gefolgt, dass es aus theoretischer, empirischer wie diskursiver Perspektive notwendig erscheint für eine Kultur des Teilens und weiter eine offene Bildung im Sinne von Open Education und Open Pedagogy, die sich in Variationen von OEP manifestieren, zu sensibilisieren. Auf Grund der Bedeutung von OEP für den derzeitigen Transformationsprozess im Hochschulkontext unter den Bedingungen der Digitalisierung liefert der Beitrag einen systematischen Überblick zu Forschungsarbeiten zu OEP. Dabei findet eine Orientierung entlang der übergreifenden Fragestellung, in welchen Zusammenhängen und unter welchen Fragestellungen OEP im Kontext Hochschule erforscht werden und mit welchem Begriffsverständnis gearbeitet wird, statt. Das Ergebnis des Literature Reviews zeigt, dass in den Forschungsarbeiten ein variantenreiches Verständnis von OEP thematisiert wird. In Abhängigkeit dessen wie das Verhältnis der Praktiken der Subjekte und die Praxis jeweils gefasst werden, lassen sich vier Dimensionen einer OEP im Kontext von Openness identifizieren. Der Beitrag plädiert daher für eine begriffliche Schärfung von OEP im jeweils spezifischen Verwendungszusammenhang. Die Autorinnen forcieren dabei eine praxistheoretische Perspektive. Es wird argumentiert, dass ein praxistheoretischer Zugang es ermöglicht, offene Bildungspraktiken für den Hochschulkontext theoretisch zu fundieren und empirisch zu untersuchen, um damit einen Beitrag zur zeitgemässen Mediendidaktik respektive Medienpädagogik leisten zu können.
Was sind eigentlich diese OEP? Die Autorinnen haben sich Forschungsbeiträge der letzten 10 Jahre angeschaut und sehr enge, enge, weite und sehr weit gefasste OEP gefunden – aber so richtig passt das noch nicht zu dem, was A sich erhofft hatte.
Fundgrube+Alt+Entf
Projekte, Tools, Apps … das sind doch bürgerliche Kategorien. Wir packen einfach alles in die Fundgrube:
- Generative Voice AI
- NELE Campus, inkl. Podcast „Eine Tasse Zukunft“
- Podcasts (alle Podcast-Empfehlungen auf fyyd)
- Denkanstöße zum EduCamp Minden
- Medienbecker
- Schreiben und Schreddern
- 4 Feinde, Reihe „und Freunde“
- Wischmeyers Stundenhotel
Veranstaltungstipps
- 19. bis 21. April 2024: Edunautika in Hamburg
Die reformpädagogische Schwester vom EduCamp und OERcamp. - 05. bis 07. Juni 2024: University:Future Festival (online first)
Die re:publica für Hochschulen.
Weltverbesserung+Alt+Entf
Tim Pritlove macht tolle Podcast in der Metaebene und kann dafür ein paar Euro gut gebrauchen.
Diese und andere Weltverbesserungsideen findet man auch gesammelt hier.