Die „Peer Group Similarity“-Hypothese, Teil II: Das Experiment


Die soziolinguistische Varianz und was Author Metrics nicht untersuchen möchte

Echte Texte gegen echte Ghostwriter

PlagScan führte ein Experiment mit einer Schulklasse durch, bei dem die Schüler einen Aufsatz zu einem vorher genau definierten Thema schreiben sollten. In einem zweiten Schritt wurde dann Ghostwriter R aus dem Internet engagiert, um eine Hausarbeit zu exakt demselben Thema zu schreiben. Im Rahmen des Auftrags erhielt er exakt dieselben akademischen Artikel zum Lesen sowie dieselben Anforderungen bezüglich Schreibstil und Aufgabenstellung. Danach haben wir sowohl die Hausarbeiten der Schüler, als auch das von R verfasste Dokument in die PlagScan-Software geladen, um es mit Author Metrics zu analysieren.

Überprüfung der theoretischen Überlegungen

Nach bisherigen theoretischen Diskussionen und experimentellen Ergebnissen in der Stilometrie können Genre- und Themeninterferenzen eine Unterscheidung zwischen Autoren erschweren. Dies liegt daran, dass die gemeinsame Verwendung von Wörtern und Phrasen, die mit dem Schreiben zum gleichen Thema einhergeht sowie Schreibkonventionen für bestimmte Genres es erschweren, eine starke Autorensignatur zu erkennen, die für die Autorenverifizierung verwendet werden kann. Wir beobachteten in unserem Experiment, dass R hohe Extremwerte für praktisch jeden Messwert zeigte, den Author Metrics betrachtet. Da wir nach Thema und Genre kontrolliert haben, vermuten wir, dass alle in diesem Experiment unterschiedlichen Messwerte den Bildungs- und Sozialisationshintergrund des professionellen Ghostwriters darstellen. Sobald Rs Dokument aus dem Set der Schülerdokumente als Kontrollversuch entfernt wurde und Author Metrics erneut ausgeführt wurde, wurden keine Schülerbeiträge mehr rot markiert.

Die Rolle der „lexikalischen Originalität“

Um das Ergebnis zu veranschaulichen, ist es wichtig, uns genauer mit den angewendeten Messwerten zu beschäftigen: Lexikalische Originalität vergleicht die Anzahl der eindeutigen Wörter in einem Dokument mit anderen Dokumenten, die in PlagScan hochgeladen und zum Vergleich ausgewählt werden. Wir gehen davon aus, dass eine Gruppe von Schülern derselben Klasse, die die selben Lehrmaterialien benutzen und über das gleiche Thema schreiben, eine geringe Abweichung in Bezug auf die lexikalische Originalität aufweist. Ohne das Dokument des Ghostwriters ist dies in der Tat das, was wir beobachtet haben. Als das von Ghostwriter R geschriebene Dokument Teil der Testgruppe war, stellten wir fest, dass R eine sehr andere Sprache verwendete, um seine Gedanken auszudrücken. Obwohl R die gleichen Ressourcen erhalten hat, haben gewisse Formulierungen einen Hinweis darauf gegeben, dass R entweder ziemlich begabt, oder aber nicht über das akademische Niveau der anderen Schüler verfügt. Natürlich reicht dieser Messwert allein nicht aus, um durch Author Metrics einen Gesamteindruck zu erhalten. Da sich der Schreibstil von R maßgeblich von dem der anderen in seiner Gruppe unterschied, hat Author Metrics ihn rot markiert und dadurch eine weitere Überprüfung angeregt.

Die Grenzen der „Peer Group Similarity“-Hypothese

Wir haben ähnliche Experimente durchgeführt, die zu vergleichbaren Ergebnissen führten, und all diese Ergebnisse unterstützen für uns die „Peer Group Similarity“-Hypothese. Sie besagt, dass eine Klasse an Schülern eine Sprach- und Schreibgemeinschaft ist, in der es normale Unterschiede zwischen den einzelnen Mitgliedern im Sprachverhalten gibt. Diese Unterschiede lassen sich gut in ihrem akademischen Schreiben beobachten. Wir sind uns jedoch durchaus bewusst, dass weitere Experimente, die der sprachlichen Vielfalt der Bildung Rechnung tragen (Klassen mit multikulturellem Hintergrund), unsere Hypothese verfeinern oder widerlegen können. Zum Beispiel: Es kann kulturelle oder sozioökonomische Unterschiede innerhalb des Unterrichts geben, die die Leistung der Schüler über verschiedene Messwerte hinweg beeinflussen. Darüber hinaus gibt es inzwischen viele Diskussionen über neue pädagogische Ansätze, die anerkennen, dass in der Realität moderne Klassen über viele soziale Unterschiede verfügen und immer weniger homogen sind.

Worum es bei Author Metrics nicht geht

Schon jetzt stellen Klassen multikulturellen Hintergrund die Pädagogik vor die Herausforderung, wie sie die Plagiatsbekämpfung effektiv gestalten kann. Zu diesen Änderungen gehört es auch, dass sich Pädagogen der verschiedenen soziokulturellen Hintergründe in Klassen bewusst sind und sie in die Lernerfahrung miteinbeziehen. Zweifellos ist die multikulturelle Perspektive eine, die die Zukunft der Bildungslandschaft sowie der Pädagogik prägen wird und die PlagScan mit vollster Überzeugung unterstützt. Allerdings bewegt sich die Forschung im Moment vom Ansatz der Bewahrung der Integrität und einer Verbesserung des Lernverhaltens weg. Sie möchte vielmehr verschiedene Gruppen und Kategorien von Schülern anhand deren persönlichen Charakteristiken erkennen. Diesen Ansatz des „Author Profiling“ möchten wir bei PlagScan nicht einschlagen.

Was halten Sie von unseren Überlegungen? Wir freuen uns über Ihr Feedback zur „Peer Group Similarity“-Hypothese. Kommentieren Sie unter dem Artikel, oder schreiben Sie uns an presse@plagscan.com.

Falls Sie den ersten Teil verpasst haben, finden Sie ihn hier unter https://blog.plagscan.com/die-peer-group-similarity-hypothese-teil-i-die-grundlagen/

Schreibe einen Kommentar

Your email address will not be published. Required fields are marked *