# Unit 5: Den Evaluationskatalog verwenden

[Metrics.xlsx](Metrics.xlsx) ist der im Unterricht bereitgestellte Evaluationskatalog. Er vergleicht Single Pass und Co-Construction anhand von fachlicher Qualität, Anforderungsabdeckung, Transparenz, Fehlern und Zeit. Die Originaldatei bleibt unverändert; verwenden Sie zum Ausfüllen eine Kopie. Diese Anleitung erläutert auch missverständliche Beschriftungen und die Grenzen der Berechnung.

## 1. Vergleich und Belege vorbereiten

Legen Sie fest, welche beiden Ergebnisstände Sie vergleichen. Bewahren Sie die erste vollständige Single-Pass-Antwort unverändert auf. Halten Sie die Anforderungen und deren Bedeutung vor der Bewertung fest. Beurteilen Sie beide Ergebnisse anhand derselben Grundlage.

Sichern Sie konkrete Belege ausserhalb der Tabelle: Stellen in den Ergebnissen, Fehlerbefunde sowie Zwischenstände und Entscheidungen der Co-Construction. Der Katalog fasst Urteile zusammen; er ersetzt ihre Begründung nicht.

## 2. Werte in die einzelnen Blätter eintragen

| Blatt | Single Pass | Co-Construction | Eingabe |
|---|---|---|---|
| Fachliche Qualität | D3 | E3 | Urteil von 0 bis 5 anhand der beschriebenen Anker |
| Anforderungsabdeckung | D3 | E3 | Urteil von 0 bis 5 anhand der beschriebenen Anker |
| Transparenz | D3 | E3 | Urteil von 0 bis 5 anhand der beschriebenen Anker |
| Fehler | F3:F5 | G3:G5 | Anzahl kritischer, wesentlicher und geringfügiger Fehler, in dieser Reihenfolge |
| Aufwand | D3 | E3 | Gesamtdauer in Minuten; die Eingabezellen liegen direkt unter den Variantenüberschriften |

Das Blatt **Metriken** übernimmt diese Werte und berechnet Differenzen. Überschreiben Sie dort keine Formeln.

**Fachliche Qualität:** Die Anker reichen von unbrauchbar oder überwiegend falsch (0) bis im definierten Rahmen vollständig korrekt und belastbar (5). Begründen Sie das Urteil mit fachlich prüfbaren Stellen, nicht mit sprachlicher Eleganz allein.

**Anforderungsabdeckung:** Die Anker reichen von keiner erfüllten Anforderung (0) bis zu allen erfüllten Anforderungen (5). Der Text zu Stufe 1 ist in der Originaldatei unvollständig; gemeint ist ein kleiner erfüllter Teil. Halten Sie deshalb zunächst für jede Anforderung fest, ob und wodurch sie erfüllt ist, und begründen Sie danach die zusammenfassende Einstufung. Die Zwischenstufen sind keine präzise Prozentmessung.

**Transparenz:** Bewertet werden sichtbare, begründete und gezielt veränderbare Entscheidungen. Ein gut erklärtes Endergebnis genügt dafür nicht: Prüfen Sie auch den Entstehungsprozess. Sichtbare Begründungen sind kein Nachweis interner Modellgedanken.

**Fehler:** Zählen Sie die Befunde nach Schweregrad. Kritische Fehler bedeuten, dass das Ergebnis so nicht verwendet werden darf; wesentliche Fehler verfälschen es oder verlangen starke Überarbeitung; geringfügige Fehler wirken lokal und begrenzt. Die Summenzellen F6 und G6 berechnen:

> Fehlerpunkte = 5 × kritische Fehler + 3 × wesentliche Fehler + 1 × geringfügige Fehler.

Die Übersicht nennt diesen Wert **«Anzahl Fehler»**, tatsächlich sind es **gewichtete Fehlerpunkte**. Ein kritischer Fehler und fünf geringfügige Fehler ergeben beide fünf Punkte, haben aber unterschiedliche Folgen. Bewahren Sie deshalb Einzelbefunde und Schweregrade auf. Ein kritischer Fehler wird nicht durch gute andere Werte aufgehoben.

## 3. Zeitgrenzen festlegen

Im Blatt **Aufwand** lautet die Definition «Minuten vom Start bis zum akzeptierten Ergebnis». Die Spaltenbeschriftung «Erfüllte Anforderungen» passt hier nicht; tragen Sie Minuten in D3 und E3 ein.

Definieren Sie vor dem Vergleich, wann die Messung beginnt und endet. Weisen Sie gemeinsame Vorbereitung, Planung, Ausführung, Prüfung und Überarbeitung nachvollziehbar zu. Bei den aufeinander aufbauenden Unterrichtsübungen dürfen frühere Zeiten nicht versehentlich doppelt gezählt werden. Halten Sie fest, ob Sie verstrichene Zeit oder aktive Arbeitszeit messen und wie Wartezeiten behandelt werden.

Die eingefrorene Single-Pass-Antwort ist möglicherweise nicht akzeptabel. Erfassen Sie dann die Zeit bis zum vorliegenden Ergebnis und kennzeichnen Sie es ausdrücklich als nicht akzeptiert. Diese Dauer ist keine gemessene Zeit bis zu einem brauchbaren Ergebnis. Lassen Sie die Baseline für den Vergleich unverändert.

Bewertung und nachträglichen Vergleich können Sie separat ausweisen. Die Challenge verlangt aktive Minuten und die Anzahl der KI-Anfragen nach ihren eigenen Kategorien; ein einzelner Gesamtwert ersetzt dieses Protokoll nicht.

## 4. Die Übersicht richtig lesen

Die Differenz ist jeweils **Co-Construction minus Single Pass**:

- Bei Qualität, Anforderungsabdeckung und Transparenz bedeutet eine positive Differenz ein höheres Urteil.
- Bei Fehlerpunkten und Zeit bedeutet eine negative Differenz einen niedrigeren Wert.
- Null bedeutet Gleichstand. Die Spalte «Besser?» zeigt nur eine strikte Verbesserung an; «falsch» kann daher Gleichstand oder Verschlechterung bedeuten.

**Leere Eingaben sind keine Messung.** Formeln können aus leeren Zellen Nullen und «nicht besser»-Anzeigen erzeugen. Kennzeichnen Sie fehlende oder nicht beurteilbare Werte in Ihrer Auswertung, statt diese Anzeigen als Ergebnis zu übernehmen. Tragen Sie null nur ein, wenn tatsächlich null gemessen oder die Skalenstufe 0 begründet wurde.

Vergleichen Sie die fünf Dimensionen einzeln. Die 0–5-Urteile sind keine Grundlage für Aussagen wie «doppelt so gut». Der Katalog definiert keinen Gesamtindex und keine Gewichtung zwischen Qualität, Kontrolle und Aufwand. Eine längere Co-Construction kann mehr Steuerbarkeit liefern, ohne die Ergebnisqualität zu verbessern; genau diese Abwägung soll sichtbar werden.

## 5. Menschliches und KI-Urteil vergleichen

Im Unterricht beurteilen Sie zuerst beide Varianten selbst. Anschliessend bewertet eine KI das Co-Construction-Ergebnis anhand derselben Kriterien und Skalenanker. Geben Sie ihr auch die relevanten Prozessbelege, wenn sie Transparenz beurteilen soll. Fehlende Belege muss sie als fehlend benennen; Laufzeiten werden protokolliert und nicht vom Modell geschätzt.

Halten Sie das KI-Urteil getrennt von Ihrer eigenen Bewertung fest. Prüfen Sie Abweichungen an konkreten Stellen: Hat die KI einen Fehler übersehen, eine Anforderung anders verstanden oder ohne Beleg geurteilt? Entscheiden Sie begründet, ob Sie Ihre Bewertung ändern. Eine zweite Bewertung ersetzt keine fachliche Prüfung.

## 6. Verwendung in der Challenge

Der Katalog ist eine **optionale Arbeitshilfe** für die [Challenge](challenge.md). Verbindlich bleiben die drei vorab festgelegten Qualitätsanforderungen mit «erfüllt», «teilweise erfüllt» und «nicht erfüllt», der belegte Vergleich von Steuerbarkeit sowie die protokollierten aktiven Minuten und KI-Anfragen. Die fünf Katalogwerte ersetzen diese Anforderungen nicht. Ein zusätzliches KI-Urteil ist in der Challenge optional.

Übernehmen Sie bei Bedarf relevante Befunde und kurze Belege in das vier- bis sechsseitige Nachweisdossier. Die ZIP-Abgabe enthält weiterhin genau drei Dokumente: beide Ergebnisse und das Dossier. Workbook, Projektordner, Skills und vollständige Chatverläufe sind keine zusätzlichen Abgaben. Bei einem begründeten Abbruch gelten die Regeln der Challenge.