DQV-Quiztrainer – Closed Beta
Schön, dass du dabei bist! Der DQV-Quiztrainer erzeugt jeden Tag neue Quiz-Sets in drei Schwierigkeitsstufen, vom Anfänger bis zum Experten, orientiert am Stil der Wettbewerbe des Deutschen Quiz-Vereins (DQV). Ob Stil und Schwierigkeit der Fragen passen, lässt sich nur prüfen, indem Menschen sie spielen. Dafür ist diese Closed Beta da. Bitte gebt den Einladungscode nicht an andere Personen weiter, ohne mich vorher zu fragen. Falls ihr im DQV aktiv seid, bitte erwähnt dieses Projekt nicht gegenüber anderen DQV-nahen Leuten. Wenn es so weit ist, würde ich damit gerne selber an den DQV herantreten, ohne dass es sich vorher schon herumgesprochen hat.
1. Was ist der DQV?
Der Deutsche Quiz-Verein (DQV) ist eine Gemeinschaft von Quiz-Begeisterten. Er veranstaltet regelmäßig Quiz-Wettbewerbe, bei denen alle Teilnehmenden dieselben Fragen beantworten. Ergebnisse mit Ranglisten werden danach auf der Website des Vereins veröffentlicht. Das wichtigste Format des Vereins ist der Deutschland-Cup:
- Deutschland-Cup: Der Hauptwettbewerb, 10 Austragungen im Jahr. Er hat 100 Fragen aus zehn Kategorien: Geschichte, Politik & Wirtschaft, Kunst & Kultur, Literatur & Medien, Musik, Film & Fernsehen, Lifestyle & Technik, Sport & Spiele, Welt & Natur und Wissenschaft. Innerhalb einer Kategorie werden die Fragen normalerweise grob nach Schwierigkeit geordnet - von leicht nach schwer. Die Antworten tippt man frei ein. Dabei zählt phonetische Richtigkeit - es ist ausdrücklich kein Rechtschreib-Wettbewerb. Für das ganze Quiz hat man 60 Minuten Zeit.
2. Was ist das Ziel dieses Projekts?
Der Quiztrainer soll ein Quiz für alle Schwierigkeitsstufen sein: für Menschen, die gerade erst anfangen und Freude am Quiz entdecken wollen, genauso wie für erfahrene Quizzer*innen. Dabei geht es mir ausdrücklich nicht darum, mit der im DQV zurecht zelebrierten Kunst des Quizfragen-Schreibens in Konkurrenz zu gehen. Jeden Tag gibt es drei neue Sets in drei Schwierigkeitsstufen. Wer sich noch nicht bereit fühlt, bei den originalen DQV-Wettbewerben mitzumachen, kann hier ohne Druck anfangen und sich Stufe für Stufe hocharbeiten.
DQV-Spieler*innen sind weiterhin eine wichtige Zielgruppe: Die Sets sollen auch ein Trainingstool sein, mit dem man in den echten (von Menschen geschriebenen!) Quiz-Sets besser abschneiden kann. Wer seinen Namen von quizverein.de verknüpft, sieht außerdem seine echten Cup-Ergebnisse auf der Statistik-Seite.
3. Die drei Schwierigkeitsstufen
- Anfänger, Fortgeschritten, Experte: Jedes Set hat 30 Fragen, drei aus jeder der zehn Kategorien (in der Reihenfolge des Deutschland-Cups). Für ein Set hat man 15 Minuten Zeit.
- Jeden Morgen neu: Die drei neuen Sets werden nachts erzeugt und morgens um 5 Uhr freigegeben. Die Sets der Tage davor findest du unter „Alte Sets“.
- Was bedeutet „Anfänger“? Das Ziel ist, dass jede Stufe zu einem bestimmten Niveau passt: Wer auf dem Niveau eines Sets spielt, soll im Schnitt etwa die Hälfte der Fragen richtig beantworten. Anfänger-Sets sind also so leicht, dass Quiz-Neulinge nur knapp unter 50 % schaffen. Bei Experten-Sets geht es entsprechend schwer zu. Wichtig: Die Schwierigkeit der Stufen wird in den ersten Wochen noch eingestellt und kann bis dahin erheblich von der erwarteten Schwierigkeit abweichen (siehe Abschnitt 8).
4. Wie entstehen die KI-generierten Quiz-Sets?
Eine KI einfach um „ein Quiz-Set im DQV-Stil“ zu bitten, funktioniert nicht gut. Die Fragen sind zu leicht oder zu schwer, zu kurz oder zu lang, oder sie treffen einfach nicht den typischen DQV-Stil. Außerdem tendieren die Modelle ohne spezifische Anweisungen dazu, ihre "Lieblingsfragen" immer wieder zu stellen. Deshalb steckt hinter jedem Set eine ganze Kette von Schritten:
- Themen aus Wikipedia ziehen. Zu jeder Frage wird zufällig ein passender Artikel der deutschen Wikipedia gezogen. Wie bekannt das Thema ist, bestimmt die Auswahl: Ein KI-Modell schätzt für jeden Artikel, wie viele Spieler*innen das Thema vermutlich kennen, und die Ziehung richtet sich nach der Zielquote der Frage. Je schwerer die Frage sein soll, desto unbekannter darf das Thema dabei sein. Artikel jenseits der 500.000 meistaufgerufenen werden nicht gezogen.
- Zielschwierigkeit festlegen. Für jede Frage gibt es eine Zielquote: wie viel Prozent der Spieler*innen die Frage ungefähr wissen sollen. Sie ist so gewählt, dass das Set zur Stufe (Anfänger, Fortgeschritten, Experte) passt.
- Fragen schreiben. Die KI bekommt das gezogene Thema und die Zielquote. Das Thema ist dabei nur ein Ausgangspunkt: Auch aus einem unbekannten Thema kann eine leichte Frage werden und umgekehrt.
- Kategorie unabhängig prüfen. Ein zweiter Durchgang ordnet jede Frage blind einer der zehn Kategorien zu. Passt sie nicht zur vorgesehenen, wird sie mit Rückmeldung neu geschrieben.
- Doppelte Fragen aussortieren. Jede Frage wird auf Ähnlichkeit zu in der (nahen) Vergangenheit gestellten Fragen untersucht. Falls sie in einer ähnlichen Form bereits gestellt wurde, wird sie neu geschrieben.
- Antworten absichern. Zu jeder Frage wird eine möglichst vollständige Liste erstellt mit Antworten, die als "richtig" gewertet werden sollen, auch mit phonetischen Schreibweisen.
- Schwierigkeit messen und nachstellen. Die KI trifft die Zielschwierigkeit nicht von selbst genau. Deshalb wird aus den Antworten aller Spieler*innen gemessen, wie schwer die Sets wirklich waren. Weichen sie von ihrer Stufe ab, können die Zielquoten für die nächsten Sets angepasst werden.
5. Das Rating-System
Aus deinen Antworten rechnet die Seite aus, wie stark du bist, und zwar nach jedem beendeten Set neu. Das funktioniert wie das Rating-System im Schach, nur dass hier jede Antwort ein „Duell“ zwischen einem Spieler und einer Frage ist:
- Jeder Spieler hat ein Rating, auch pro Kategorie. Je mehr Fragen du richtig beantwortest, vor allem schwere, desto höher steigt es.
- Jede Frage hat eine feste Schwierigkeit, die sich aus ihrer Zielquote ergibt. Dein Rating ändert sich deshalb nur durch deine eigenen Antworten, nicht dadurch, dass andere dieselben Fragen spielen.
- Das Ziel: Jedes Set zeigt sein Ziel-Rating. Spielst du ein Set auf diesem Rating, solltest du im Schnitt etwa 50 % schaffen. Daran sehen wir, ob die Stufen stimmen.
- Gezählt wird nur, was du beendet hast. Angefangene Sets zählen erst, wenn du sie abschließt.
- Wo du es siehst: Dein Rating steht oben auf der Statistik-Seite, das der anderen in der Rangliste eines Cups (wenn sie der Rangliste zugestimmt haben). Ein Fragezeichen dahinter heißt: Das Rating ist noch unsicher, weil erst wenige Fragen beantwortet wurden (unter 120). Je mehr Fragen du beantwortest, desto genauer wird es.
6. Was kann diese Seite?
- Sets: Auf der Startseite stehen oben die drei aktuellen Sets. Angefangene Runden findest du direkt darunter unter „Weiterspielen“, alle älteren Sets und deine gespielten unter „Alte Sets“.
- Zeit: Auch hier gibt es eine Zeit-Begrenzung für die Sets (15 Minuten bei den drei Stufen). Die Uhr läuft nur, solange die Seite sichtbar ist und du eine noch nicht bewertete Frage vor dir hast. Du kannst also jederzeit pausieren und zu einem späteren Zeitpunkt weitermachen. Ist die Zeit um, zählen alle offenen Fragen als falsch.
- Antworten und Auswertung: Du tippst die Antwort und bestätigst mit Enter. Die Antwort wird sofort ausgewertet. Über den Pfeil daneben siehst du die richtige Antwort samt gültiger Alternativen. Auch hier gilt phonetische Richtigkeit. Eure Eingabe sollte als "korrekt" gewertet werden, sobald sie phonetisch mit einer der zulässigen Antworten übereinstimmt.
- Blättern und Übersicht: Mit ‹ und › gehst du zur vorherigen oder nächsten Frage, „Alle Fragen“ zeigt den Stand des ganzen Sets (bei den Stufen in zwei Spalten) und springt direkt zu jeder Frage.
- Flagge und Filter: Mit der Flagge in der Fragenkarte markierst du Fragen für später. Die Filter unter der Karte zeigen nur markierte oder noch nicht bewertete Fragen.
- Reklamieren: Wurde eine richtige Antwort als falsch gewertet, kannst du den Punkt reklamieren. Diese Reklamationen werden sofort von einem unabhängigen Modell geprüft. Du hast 3 Reklamationen pro Tag, wobei du eine Reklamation nur verlierst, wenn sie abgelehnt wurde.
- Kommentare: Zu jeder beantworteten Frage kannst du einen Kommentar schreiben, den alle sehen, die die Frage ebenfalls beantwortet haben.
- Statistik: Deine eigenen Ergebnisse siehst du immer. Die Ergebnisse anderer Spieler siehst du nur, wenn du auf der Statistik-Seite bei „Ranglisten ansehen“ zustimmst. Dann sehen auch die anderen, die zugestimmt haben, deine Punkte. Das lässt sich erst nach 24 Stunden wieder ausschalten. Wenn du deinen Namen von quizverein.de verknüpfst, siehst du außerdem über den Link ganz unten auf der Statistik-Seite deine echten Cup-Ergebnisse (das geht nur ein einziges Mal und lässt sich danach nicht mehr ändern). Für die Einstellung der Schwierigkeit der KI-Sets werden diese echten Ergebnisse nicht benutzt.
- Komfort: Hell- und Dunkelmodus sowie ein Tonschalter (Richtig/Falsch) oben in der Leiste.
7. Wie kannst du helfen?
- Die Sets spielen. Je mehr desto besser. Spiel gerne die Schwierigkeits-Stufe, mit der du dich am wohlsten fühlst. Wenn du Zeit und Lust hast, spiel gerne alle Level. Je mehr Leute dieselben Sets spielen, desto genauer wird die Schwierigkeit gemessen und desto besser lassen sich die drei Stufen einstellen. Spiele ernsthaft und ehrlich. Lass dich nicht entmutigen, wenn am Anfang selbst das Anfängerset zu schwierig ist. Der Fehler liegt bei der Fragengenerierung und das Modell sollte in Zukunft lernen, wie schwierig ein Anfängerset wirklich sein muss. Achtung vor Tippfehlern! Diese werden vom System als falsch gewertet und können digital leicht passieren.
- Reklamieren, wenn eine deiner Meinung nach richtige Antwort nicht anerkannt wurde, auch bei nicht erkannter phonetischer Richtigkeit. Bitte nutze diese Funktion auch, wenn dir dein Ergebnis gar nicht so wichtig ist! Es hilft sehr dabei, diesen Teil der Fragengenerierung und die automatische Reklamations-Funktion zu testen.
- Kommentieren, wenn dir etwas auffällt: falsche Angaben, missverständliche oder mehrdeutige Formulierungen – oder auch wenn dir eine Frage besonders gut gefallen hat.
- Urteile über die Themen: Welche Themen kommen innerhalb einer Kategorie zu oft vor, welche zu selten? Vor allem, wenn du regelmäßig an DQV-Veranstaltungen teilnimmst, ist dieses Feedback sehr wertvoll.
- Fehler und Bugs melden.
- Verbesserungen und Vorschläge für neue Funktionen einbringen. Ist die Seite im Ganzen zugänglich und selbsterklärend?
8. Bekannte Probleme
- Die Schwierigkeit der Stufen ist noch nicht eingestellt. Anfänger, Fortgeschritten und Experte sollen zu Spielern auf dem jeweiligen Niveau passen, die Messung läuft aber gerade erst an. In den ersten Wochen kann sich ein Set deutlich leichter oder schwerer (erfahrungsgemäß eher schwerer) anfühlen, als der Name erwarten lässt, und die Stufen liegen noch nicht überall so weit auseinander wie geplant.
- Die KI macht Fehler. Fragen können sachlich falsch, missverständlich oder mehrdeutig sein, oder es gibt eine richtige Antwort, die nicht erfasst ist. Bitte kommentieren oder reklamieren.
- Antworten und Schreibweisen sind nicht immer vollständig. Gebräuchliche Varianten (z. B. ein Namenszusatz) können fehlen.
- Der Themenmix weicht vom echten Cup ab. Die Themen kommen aus der deutschen Wikipedia und werden nach der geschätzten Bekanntheit der verschiedenen Artikel gezogen. Manche Bereiche sind deshalb deutlich über- bzw. unterrepräsentiert im Vergleich zu den DQV-Wettbewerben. Das ist meiner Meinung nach das zurzeit größte Problem und kann nur durch genaue Kategorisierung der echten DQV-Fragen, Feinjustierung der Startartikel-Auswahl und viele generierte KI-Sets verbessert werden. Hier ist also nicht mit einer schnellen Lösung zu rechnen. Einige Kategorien sind davon stärker betroffen als andere. Hier einige Beispiele:
- In einigen Kategorien zu viele Fragen nach Personen.
- In einigen Kategorien tendenziell zu viele nationale Fragen im Vergleich zu internationalen.
- Generell zu viele Fragen mit Bezug zu Österreich und Schweiz (dort wird offensichtlich auch die deutschsprachige Wikipedia genutzt)
- Zu viele Fragen nach Männern im Vergleich zu Frauen.
- Zu viel Fußball in "Sport & Spiele".
- Zu viele Tier- und Pflanzenfragen mit Bezug zum Menschen in "Welt & Natur" (Hunderassen, kultivierte Pflanzen, etc...). - Nicht alle Fragetypen des echten Cups werden unterstützt. Bisher gibt es keine Bildfragen und Zuordnungsfragen. Es werden auch nie halbe Punkte verteilt. Subtile Hinweise in den Fragen - wie es im DQV häufig vorkommt - kommen gar nicht oder nur sehr selten vor.
9. Look Ahead
- Jeden Tag drei neue Sets (Anfänger, Fortgeschritten, Experte). Deutschland- und Spezial-Cups im Stil der echten Wettbewerbe sind zurzeit pausiert.
- Laufend genauer eingestellte Schwierigkeit, gemessen mit den Ergebnissen aller Spieler.
- Eine Empfehlung, welche Stufe gerade zu dir passt.
- Weitere Fragetypen: Zumindest Zuordnungsfragen sollten gut machbar sein, sowie halbe Punkte.
- Besserer Themenmix, ausgerichtet an dem, was echte Cups tatsächlich fragen. Das wird langsam aber hoffentlich stetig passieren.
- Irgendwann soll es einen Spaced-Repetition-Trainer geben, mit dem bereits gespielte Fragen gelernt werden können, sodass man sie sicher nicht wieder vergisst.
Danke für deine Hilfe und (hoffentlich) viel Spaß!