Prof. Dr.-Ing. Hans-Georg Eßer
Professur für Betriebssysteme, FH Südwestfalen
Studiengänge Informatik (BSc), Angewandte Informatik (BSc/MSc), Angewandte KI (MSc)

swf.hgesser.de

Reviews auf easychair.org erstellen

In der Peer-Review-Phase erstellen Sie Reviews für die Ihnen zugeordneten Beiträge. Das funktioniert folgendermaßen:

1. Melden Sie sich bei https://easychair.org/ an und klicken Sie dann in der Übersichtstabelle der möglichen Rollen neben dem Konferenzseminar auf PC member.

   

2. Es erscheint die Übersicht aller Beiträge; für Sie ist aber wichtig, welche Beiträge Ihnen für den Peer-Review-Prozess zugeteilt wurden. Klicken Sie oben im Menü Reviews auf Assigned to me. Dann kommen Sie zu einer Tabelle, die nur eine Auswahl der Beiträge anzeigt. (Als studierende Teilnehmer:in sollten das zwei Beiträge sein; Betreuer:innen sehen alle betreuten Beiträge.)

   

3. Sie können nun über die Ordner-Symbole die Arbeiten als PDF-Dateien herunterladen.
4. Es folgen das Lesen, Verstehen und Bewerten der Arbeiten; schreiben Sie ausführliches Feedback in eine Textdatei, aus der Sie später Ihren Text kopieren können. Sie finden unter der Überschrift Inhaltliches weiter unten einige Hinweise, worauf beim Reviewing zu achten ist.
5. Wenn Sie für eine oder mehrere Arbeiten Ihre Bewertung erfassen möchten, loggen Sie sich wieder ein und wiederholen die Schritte 1 und 2. Klicken Sie dann neben der Arbeit, für die Sie einen Review anlegen möchten, auf das "+"-Symbol (Spalte: Add new review).
6. Zur Sicherheit steht oben auf der Seite noch einmal der Name des Beitrags, für den Sie jetzt den Review schreiben. Direkt darunter folgt eine Box mit der Überschrift Evaluation. Hier vergeben Sie zunächst einen Score, der zwischen +3 und -3 liegt. Es geht hier um die Frage, ob Sie die Annahme des Beitrags generell empfehlen oder nicht empfehlen würden; in einer echten Konferenz nutzen die Organisatoren diese Scores, um eine Annahmeentscheidung zu treffen. Wenn Sie denken, dass es sich im wesentlichen um einen ordentlichen Beitrag handelt (siehe wieder unten bei Inhaltliches), sollten Sie den Score 2 (accept) vergeben. Für einen aus Ihrer Sicht guten oder sehr guten Beitrag den Score 3 (strong accept).
7. In das Freitextfeld darunter tragen Sie Ihr detailliertes Feedback ein - das können Sie per Copy & Paste übernehmen. Sowohl dieses Detail-Feedback als auch den Score-Wert kann später der/die Autor:in des Beitrags einsehen.
8. Unter dem Freitextfeld geben Sie noch unter Reviewer's confidence an, wie sehr Sie glauben, sich mit dem Thema der Ausarbeitung auszukennen. Wenn Sie gerade zum ersten Mal von dem Thema gehört haben, wählen Sie 1 (none), ansonsten einen höheren Wert. Der Level 5 (expert) wäre denkbar, wenn Sie Ihre eigene Master-Arbeit über dieses Thema schreiben und sich bereits ein halbes Jahr in die Materie eingearbeitet haben. Anhand dieser Confidence-Werte können bei einer richtigen Konferenz die Organisatoren besser beurteilen, wie stark die Bewertung dieser/dieses Reviewer:in in die Gesamtwertung eingehen soll.
9. Unter Confidential remarks for the program committee gibt es ein weiteres Freitextfeld, das Sie für Hinweise an den Program Chair (hier also an mich, H.-G. Eßer) verwenden können. Hinweise, die Sie hier eintragen, erhält der/die Autor:in nicht.
10. Klicken Sie auf Submit review, um alle Daten zu speichern - damit ist der Review für dieses Paper abgeschlossen. Wenn Sie einen weiteren Review erfassen möchten, gehen Sie zurück zu Schritt 5.

Inhaltliches

Sie haben vielleicht von Ihrer/Ihrem Betreuer:in bereits einige Hinweise zur Vorabversion Ihrer Ausarbeitung erhalten oder in anderen Modulen des Studiums schriftliche Ausarbeitungen verfasst und dazu Rückmeldungen von der/dem Prüfer:in bekommen. Letztlich nehmen Sie für einen Peer Review selbst die Prüfer-Rolle ein.

Es geht zum einen darum, die Arbeit prinzipiell zu bewerten. Ist sie gut? Ist sie eher schwach? Was genau ist gut / weniger gut daran? Dazu kommt das Ziel, Anregungen zur Verbesserung der Arbeit zu geben. Wenn Sie eine Schwachstelle entdeckt haben, überlegen Sie, was man tun könnte, um die Arbeit zu verbessern, und schreiben Sie das in den Review mit rein.

Lesen Sie die Arbeit, versuchen Sie, sie zu verstehen, und denken Sie dann über die folgenden Punkte nach:

• Wurden die formalen Richtlinien eingehalten? Dazu gehören u.a. die korrekte Verwendung der Formatvorlage, das Erreichen der Mindestseitenzahl (wichtig), das Nicht-Überschreiten der Höchstseitenzahl und das Verwenden zumindest einiger Abbildungen und/oder Tabellen, zu denen es Bildunterschriften bzw. Tabellüberschriften geben muss.
• Zu den Formalia gehören übrigens auch Rechtschreibung, Grammatik, Zeichensetzung und Stil. Es ist nicht nötig, im Rahmen des Peer Reviews jedes fehlende Komma und jeden einzelnen Tippfehler anzugeben, aber wenn Sie in diesem Bereich eine Häufung von Fehlern feststellen, geben Sie exemplarisch einige an (z.B.: "1. Seite, 1. Spalte, im dritten Absatz fehlt ein Komma vor 'so dass'; gleicher Fehler an diversen weiteren Stellen").
• Ist die Arbeit zielgruppengerecht? Typische Zielgruppe der Arbeit sind Sie selbst, also Studierende der Informatik auf Master-Niveau, die also bereits einen ersten Hochschulabschluss in Informatik (oder einem verwandten Fach) haben und damit Grundlagen beherrschen.
• Verwendet die Arbeit "gute" Quellen und sind diese korrekt zitiert worden? Es wird hier keine vollständige Überprüfung aller Quellen erwartet, aber Sie sollten stichprobenartig einige ausgewählte Quellen beschaffen und ansehen und dann z.B. überlegen: Ist die Quelle seriös? Wurde deutlich gemacht, welche Inhalte aus der Quelle übernommen wurden? Ist bei einer längeren Quelle durch eine präzise Seitenangabe die zitierte Stelle in der Quelle aufzufinden? Generell ist hier auch zu fragen, ob die "Gesamtmischung" der Quellen akzeptabel ist. Das wäre etwa i.d.R. dann zu verneinen, wenn es sich ausschließlich um Quellen eines Software- oder Hardware-Anbieters handelt, z.B. diverse Whitepapers oder anderes Marketingmaterial. Der nötige Umfang der Nutzung "guter" Quellen kann aber stark vom gewählten Thema abhängen und z.B. bei eigenen Experimenten, Messungen etc. auch sehr gering sein.
• Hat die Arbeit einen roten Faden? Das bedeutet, dass man die Arbeit von vorne nach hinten lesen kann und jederzeit orientiert ist, warum gerade jetzt ein bestimmtes Teilthema erscheint. Es ist außerdem beim Lesen nicht nötig, mehrfach vor und zurück zu springen, weil z.B. Begriffe verwendet werden, die erst weiter hinten eingeführt/erklärt werden.
• Ist die Arbeit ohne Rückgriff auf externe Quellen verständlich? Bei dieser Frage besteht ein Zusammenhang mit der Zielgruppengerechtigkeit (s.o.).
• Behandelt die Arbeit überhaupt ein für Informatiker:innen relevantes Thema? Diese Frage ist bei einer echten Konferenz von entscheidender Bedeutung, und dort ist sie zudem auf das konkrete Thema der Konferenz bezogen, denn es werden dort nicht beliebige Themen der Informatik besprochen. Hier können Sie davon ausgehen, dass das Thema grundsätzlich mit einer/einem Betreuer:in abgesprochen wurde und damit zumindest prinzipiell relevant ist.

Es ist nicht nötig, extrem lange Reviews zu verfassen, und diese müssen auch nicht vollständig ausformuliert (ganze Sätze etc.) sein, es muss sich aber aus dem Review erkennen lassen, dass Sie die Arbeiten gelesen, darüber eine Weile nachgedacht, und dann den Versuch unternommen haben, hilfreiches Feedback zu geben.