Unit 2: Challenge

Auf einen Blick#

Ihre Aufgabe#

Wählen Sie eine Frage aus einem Fachgebiet, Ihrem Beruf oder einem anderen Interessengebiet. Suchen Sie dazu einen überschaubaren tabellarischen Datensatz mit verständlichen Variablen. Er muss mindestens eine sinnvolle Auswertung, eine CSV-Ergebnistabelle und eine Abbildung ermöglichen.

Übung, keine Publikation: Sie simulieren einen wissenschaftlich aufgebauten Bericht. Reichen Sie ihn nicht als eigene Forschungsleistung ein und veröffentlichen Sie ihn nicht als solche. Wissenschaftliche Neuheit ist kein Bewertungskriterium. Für diese Übung dürfen Sie auch zuerst Daten wählen und daraus eine Frage ableiten.

Alternative: Sie dürfen ein vergleichbares, evidenzbasiertes berufliches Dokument erstellen. Passen Sie Ablauf, Struktur und Dateinamen an. Behalten Sie Analysevergleich und Ausrichtung bei: Problem und Frage, Quellen, Daten und Methode, geprüfte Ergebnisse, Schlussfolgerung und Quellenverzeichnis müssen erkennbar bleiben.

Der Gesamtprozess#

Die fünf Schritte der ersten Abbildung führen von der Frage zum Bericht. Schritt 2 enthält einen eigenen Analyseworkflow: Sie erzeugen, vergleichen und prüfen zwei Ergebnissätze.

Die Phasen der zweiten Abbildung verweisen auf den WAILAI-Leitfaden. Dessen PLAN.md heisst hier CODE_PLAN.md: Er plant die Analysesoftware. PAPER_PLAN.md plant den Bericht.

Entscheidende Grenze: LLM-Ergebnisse und Analysevergleich gehören ins Nachweisdossier. Die eigenen statistischen Ergebnisse des Berichts stammen ausschliesslich aus der geprüften Python-Analyse. Der Bericht erwähnt und diskutiert den Analysevergleich nicht.

Vorgehen#

Arbeiten Sie lokal in Visual Studio Code mit Python. Behandeln Sie die Rohdaten als schreibgeschützt. Ein neuer Agentenkontext ist eine neue Unterhaltung ohne bisherigen Dialog. Stellen Sie jeweils nur die genannten Dateien bereit. A–E bezeichnen diese Kontexte; sie sind keine zusätzlichen Arbeitsschritte.

1. Grundlagen festlegen#

Erstellen Sie .agents/PROJECT.md mit:

• Frage und fachlicher oder beruflicher Begründung;
• Herkunft und Zugriffsweg des Datensatzes;
• relevanten Variablen und zulässigen Werten;
• passenden Publikationen, kurzen Zusammenfassungen und der daraus abgeleiteten Wissenslücke.

Halten Sie die Literaturrecherche überschaubar. Die Wissenslücke beschreibt, welchen für Ihre Frage relevanten Aspekt die gefundenen Publikationen im Übungsrahmen nicht beantworten. Prüfen und genehmigen Sie PROJECT.md, bevor Sie weiterarbeiten.

Mögliche Hilfen: Kaggle für Daten; Consensus oder Perplexity für Literatur; NotebookLM zum Gegenüberstellen und Zusammenfassen gefundener Dokumente. Diese Dienste sind optional.

2. Analyse durchführen und vergleichen#

2.1 Gemeinsame Analyse festlegen

Erstellen und genehmigen Sie .agents/ANALYSIS.md. Diese Datei ist der Analysevertrag für beide Bedingungen. Sie legt vorab fest:

• Frage, Variablen und mindestens eine Auswertung;
• Berechnungen und Vergleichsrichtungen;
• Zeilen und Spalten von analysis-results.csv;
• Inhalt und Beschriftung von analysis-figure.png.

Diese beiden Dateien sind der Mindestumfang je Ergebnissatz. Zusätzliche sinnvolle Abbildungen sind erlaubt.

2.2 A: LLM-Ergebnisse direkt erzeugen

Beginnen Sie Kontext A mit ANALYSIS.md und dem Datensatz. Lassen Sie das LLM die CSV-Datei und PNG-Abbildung direkt erzeugen. Verlangen Sie keinen ausführbaren Analysecode und bewahren Sie keinen auf.

Fehlt eine der Dateien, wiederholen Sie die Erzeugung. Sobald beide vorliegen, speichern Sie sie unter results/llm/. Optimieren Sie diesen Ergebnissatz danach nicht weiter.

2.3 B: Python-Analyse erstellen und ausführen

Leiten Sie aus ANALYSIS.md zwei Dateien ab und genehmigen Sie diese:

• .agents/PYTHON.md: vollständige Spezifikation der Analysesoftware;
• .agents/CODE_PLAN.md: kleine Meilensteine und vorab festgelegte Abnahmetests.

Beginnen Sie Kontext B mit diesen beiden Dateien, ANALYSIS.md und demselben Datensatz. Lassen Sie den Code unter analysis/ erstellen. Führen Sie ihn lokal aus, bis results/python/analysis-results.csv und results/python/analysis-figure.png vorliegen. Bewahren Sie Code, Abhängigkeiten, Tests und Ausführungsanweisungen auf.

2.4 C: Ergebnisse prüfen und vergleichen

Beginnen Sie Kontext C mit ANALYSIS.md und beiden Ergebnisordnern. Prüfen Sie die Ergebnisse an den Vorgaben. Je nach Aufgabe eignen sich etwa:

• Zahlenwerte und statistische Aussagen;
• einbezogene Datensätze, fehlende oder auffällige Werte;
• Filter, Berechnungen und verdeckte Annahmen;
• Vollständigkeit und Genauigkeit der CSV-Dateien;
• Werte, Beschriftung und Lesbarkeit der Abbildungen;
• Nachvollziehbarkeit und Reproduzierbarkeit.

Speichern Sie Belege und Ihre eigene Beurteilung in evidence/ANALYSIS_COMPARISON.md. Ein Beleg könnte etwa zeigen, dass eine Berechnung fehlende Werte anders behandelt als vorgegeben. Korrigieren Sie nötigenfalls Python-Spezifikation oder Code, führen Sie die Analyse erneut aus und aktualisieren Sie den Vergleich. Die ursprünglichen Kriterien bleiben bestehen; schwächen Sie diese nicht nachträglich ab. Der LLM-Ergebnissatz bleibt unverändert.

2.5 Geprüfte Python-Ergebnisse interpretieren

Erstellen Sie .agents/PYTHON_INTERPRETATION.md aus ANALYSIS.md und den geprüften Python-Ergebnissen. Beschreiben Sie Grössenordnungen, unterscheiden Sie Zusammenhang und Kausalität und benennen Sie die Grenzen der Ergebnisse.

3. D: Bericht ausrichten und planen#

Beginnen Sie Kontext D ausschliesslich mit dieser Berichtsgrundlage:

• .agents/PROJECT.md,
• .agents/ANALYSIS.md,
• .agents/PYTHON_INTERPRETATION.md,
• dem vollständigen Ordner results/python/.

Lassen Sie offene Annahmen, Lücken, Entscheidungen, Grenzen und Erfolgskriterien aufdecken. Entscheiden Sie folgenreiche Fragen selbst. Erstellen, prüfen und genehmigen Sie danach:

4. E: Bericht aus Dateien erstellen#

Beginnen Sie Kontext E mit der Berichtsgrundlage aus Schritt 3 sowie PAPER_BRIEF.md und PAPER_PLAN.md. Übertragen Sie keine frühere Unterhaltung, LLM-Ergebnisse oder Vergleichsdateien.

Erstellen Sie paper.md und daraus Übungsbericht.pdf. Die Standardvariante enthält:

Prüfen Sie den Bericht gegen Brief und Plan, die Python-Zahlen und die dokumentierten Quellen. Trennen Sie eigene Ergebnisse, Ergebnisse aus Publikationen und Ihre Interpretation. Stellen Sie die Grenzen angemessen dar.

5. Nachweise zusammenführen#

Erstellen Sie das Nachweisdossier aus dem Analysevergleich, den genehmigten Dateien, den gespeicherten Ergebnissen und Ihren Beobachtungen. Es enthält die folgenden Nachweise.

Artefakte#

Reichen Sie eine ZIP-Datei ein. Bei einem alternativen Dokument dürfen Sie Namen und Struktur sinngemäss anpassen.

1. Übungsbericht.pdf: die fertige Fassung aus paper.md.

2. Nachweisdossier.pdf: Frage, Datensatz, Wissenslücke und gemeinsame Analysevorgaben; Verweis auf den Vergleich mit konkreten Belegen; Ihre Antworten auf vier Fragen: Welche Unterschiede oder Übereinstimmungen gab es? Welche Zahlen oder Merkmale belegen sie? Welche Entscheidungen trafen Sie bei der Ausrichtung selbst? Was bleibt unsicher, und welche Regel übernehmen Sie künftig für Ausrichtung oder Reproduzierbarkeit?

3. Arbeitsordner: alle Spezifikationen, Code und Tests, beide Ergebnissätze, Vergleich, Interpretation, Brief, Plan und paper.md:

   Arbeitsordner/
   ├── .agents/
   │   ├── PROJECT.md
   │   ├── ANALYSIS.md
   │   ├── PYTHON.md
   │   ├── CODE_PLAN.md
   │   ├── PYTHON_INTERPRETATION.md
   │   ├── PAPER_BRIEF.md
   │   └── PAPER_PLAN.md
   ├── data/                 Datensatz, soweit einreichbar
   ├── analysis/             Code, Abhängigkeiten, Tests, Anleitung
   ├── results/
   │   ├── llm/              analysis-results.csv, analysis-figure.png
   │   └── python/           analysis-results.csv, analysis-figure.png
   ├── evidence/
   │   └── ANALYSIS_COMPARISON.md
   └── paper.md
   

Reichen Sie Rohdaten nur ein, wenn dies rechtlich, vertraglich und institutionell zulässig ist. Andernfalls bleiben sie lokal; beschreiben Sie den Zugriffsweg in PROJECT.md.

Evidenz und Bestehen#

Die Challenge ist bestanden, wenn:

• PROJECT.md und die genehmigte ANALYSIS.md den gemeinsamen Ausgangspunkt festhalten;
• beide Bedingungen dieselben Daten, Analysevorgaben und Ergebnisarten verwenden;
• beide Ergebnissätze CSV und Abbildung enthalten und der direkte LLM-Satz unverändert bleibt;
• die lokale Python-Analyse spezifiziert, getestet, überprüfbar und reproduzierbar ist und ihre Ergebnisse zusammenpassen;
• der Vergleich Unterschiede oder begründete Übereinstimmungen mit Belegen zeigt;
• Brief und Plan Ihre Entscheidungen, Grenzen, Erfolgskriterien und das Vorgehen festhalten;
• der Bericht seine eigenen statistischen Ergebnisse nur aus der Python-Analyse bezieht;
• alle Pflichtdateien der gewählten Variante vorliegen.

Code-Eleganz ist kein eigenes Kriterium. Entscheidend ist, ob die Analyse verständlich, begrenzt, überprüfbar und für die Aussagen im Bericht ausreichend reproduzierbar ist.