Die meisten Programmkomitees bewerten keine Einreichungen. Sie bewerten ihre eigene Tagesform. Wer 140 Abstracts an drei Abenden liest, vergibt am ersten Abend strengere Noten als am dritten, belohnt gut formulierte Texte stärker als gute Ideen und erinnert sich an den Vortrag, der im Alphabet ganz vorne stand. Das ist keine Nachlässigkeit, sondern menschlich. Es ist aber ein Verfahrensproblem, und das lässt sich beheben.
Ein Call for Papers hat zwei Aufgaben: das Programm füllen und das Programm besser machen. Die erste Aufgabe erledigt fast jede Konferenz. An der zweiten scheitern viele, weil Bewertung und Auswahl in einer einzigen Excel-Datei mit zehn Spalten und vier Meinungen stattfinden.
Dieser Beitrag zeigt, wie du ein Bewertungsverfahren aufsetzt, das auch bei 200 Einreichungen nachvollziehbar bleibt, wo KI dir Vorarbeit abnimmt und wo die Entscheidung bei deinem Komitee bleiben muss.
Das Problem ist selten die Menge, sondern die Vergleichbarkeit
Zwei Bewertende, ein Abstract, zwei völlig verschiedene Noten: Das passiert, sobald die Kriterien nicht ausgeschrieben sind. „Gefällt mir“ ist kein Kriterium, „passt zum Programm“ auch nicht, solange niemand sagt, was das Programm braucht.
Ein tragfähiger Programmkomitee Bewertungsbogen hat fünf bis sechs Kriterien, jedes mit einer kurzen Skala und einem Ankerbeispiel für die oberste und die unterste Note:
- Relevanz für die Zielgruppe: Löst das Thema ein Problem, das die Teilnehmenden tatsächlich haben?
- Neuigkeitswert: Kommt etwas Neues oder wird Bekanntes lediglich erneut erzählt?
- Praxisbezug: Gibt es konkrete Fälle, Zahlen oder Erfahrungen statt reiner Theorie?
- Format-Eignung: Passt der Vorschlag zu Keynote, Session, Workshop oder Panel?
- Speaker-Eindruck: Gibt es eine Referenz, ein Video oder frühere Auftritte?
- Vielfalt-Beitrag: Ergänzt der Vorschlag das Programm, oder gibt es dazu schon drei ähnliche?
Die letzte Zeile wird oft vergessen. Sie lässt sich nicht pro Einreichung bewerten, sondern erst im Vergleich, deshalb gehört sie in eine zweite Runde.
Zwei Runden statt einer
Ein Ablauf, der sich bei mittelgroßen Konferenzen bewährt hat:
Runde 1: Einzelbewertung
Jede Einreichung bekommt mindestens zwei unabhängige Bewertungen, ohne dass die Bewertenden die Noten der anderen sehen. Das verhindert Ankereffekte. Wichtig ist, die Reihenfolge der Einreichungen pro Person zu mischen, damit nicht alle dieselben Texte am müden Ende lesen.
Runde 2: Programmbau
Das Komitee schaut nicht mehr auf Einzelnoten, sondern auf das Gesamtbild: Welche Themen sind doppelt, welche Zielgruppen fehlen, wie viele Neulinge sind im Programm, wie viele Wiederholungstäter? Hier entsteht aus einer Rangliste ein Programm.
Eine Beispielrechnung (Annahmen, keine Messwerte): 180 Einreichungen, zwei Bewertungen je Einreichung, durchschnittlich zehn Minuten pro Lesen und Bewerten. Das sind 360 Bewertungen und 60 Stunden Arbeit. Verteilt auf sechs Komiteemitglieder sind es zehn Stunden pro Person, ein Pensum, das neben dem Tagesgeschäft kaum jemand sauber erledigt. Wenn eine Vorsortierung 40 Prozent der Einreichungen eindeutig aussortiert (außerhalb des Themenrahmens, unvollständig, reiner Produktpitch), sinkt der Aufwand auf rund sechs Stunden pro Person.
Wo KI bei der Auswertung konkret hilft
KI ist hier ein Assistent für die Vorarbeit, nicht der Juror. Vier Einsatzfelder funktionieren in der Praxis gut:
Vollständigkeit und Formales prüfen
Ein Sprachmodell kann bei jeder Einreichung kontrollieren, ob Titel, Abstract, Lernziele, Format und Speaker-Angaben vorhanden sind, und fehlende Teile in einer Rückfrage anfordern. Das spart manuelles Hinterhertelefonieren.
Produktpitch erkennen
Ein Abstract, das im Kern ein Werbevortrag ist, lässt sich anhand klarer Merkmale markieren: Produktname im Titel, keine Kundenbeispiele, kein Erkenntnisgewinn ohne Kauf. Die Markierung ist ein Hinweis für das Komitee, kein Ausschluss.
Themen clustern
Aus 180 Abstracts werden zwölf Themenfelder mit Zuordnung. Du siehst sofort, dass 31 Einreichungen sich um KI im Marketing drehen und nur vier um Nachhaltigkeit, und kannst bewusst gegensteuern.
Kurzfassungen für die Bewertung
Statt 400-Wörter-Abstracts liest das Komitee zuerst eine Zusammenfassung in drei Sätzen, mit Link zum Original. Das beschleunigt die Runde, verlangt aber, dass das Original jederzeit einsehbar bleibt.
Was KI nicht übernehmen sollte: die Endnote. Ein Modell bewertet Sprachmuster, nicht die Relevanz für deine Community. Außerdem neigt es dazu, glatt formulierte Texte höher einzuschätzen als sperrige, die inhaltlich stärker sind. Wer KI einsetzt, sollte das in den CfP-Bedingungen offenlegen und personenbezogene Daten nur in Werkzeugen verarbeiten, mit denen ein Auftragsverarbeitungsvertrag besteht.
Drei Verzerrungen, die du aktiv bremsen kannst
Namensbonus
Bekannte Speaker bekommen bessere Noten, selbst bei schwächerem Abstract. Ein Gegenmittel ist die verdeckte erste Runde: Abstract und Titel sichtbar, Name und Firma ausgeblendet.
Sprachbonus
Muttersprachliche oder besonders flüssige Texte wirken kompetenter. Bitte das Komitee, bewusst auf Inhalt, Struktur und Beispiele zu achten.
Ähnlichkeitsbonus
Menschen bewerten Themen höher, die ihrer eigenen Arbeit ähneln. Das Clustern aus der ersten Runde macht sichtbar, ob das Programm ein Spiegel des Komitees geworden ist.
Ein einfacher Test nach Runde 2: Wie viele Sessions stammen von Personen, die schon im Vorjahr auf der Bühne standen? Wie viele von Organisationen, die bereits Sponsor sind? Es gibt keine richtige Zahl, aber eine Zahl, die du kennen und begründen können solltest.
Absagen und Zusagen: der Teil, der den Ruf entscheidet
Ein Call for Papers ist auch Markenpflege. Wer 120 Absagen verschickt, verschickt 120 Eindrücke von deiner Konferenz. Drei Regeln helfen:
- Feste Frist nennen: Schon im CfP steht, bis wann Zu- und Absagen kommen, und das Datum wird gehalten.
- Eine Zeile Begründung: Ein bis zwei Sätze zur Entscheidung kosten wenig und erhöhen die Chance, dass sich Abgelehnte im nächsten Jahr wieder bewerben.
- Zusage mit nächsten Schritten: Frist für die Annahme, Fristen für Folien und Bio, Ansprechperson, Hinweis zu Vergütung oder Reisekosten.
KI kann Textbausteine für Absagen und Zusagen vorbereiten, die du personalisierst. Der Absagetext an jemanden, der drei Monate an einem Vorschlag gearbeitet hat, sollte aber von einem Menschen gelesen und freigegeben werden.
Wo eventpage.ai ins Bild kommt
Die Bewertung selbst läuft bei den meisten Teams in einem eigenen Verfahren, und das kann so bleiben. Auf der Seite davor und danach entscheidet die Organisation: Die Eventseite mit klarer Beschreibung des Programmrahmens, die Anmeldung für Teilnehmende, das Ticketing und die Agenda, in die zugesagte Sessions später einfließen.
Mit eventpage.ai laufen Eventseite, Anmeldung und Ticketing an einem Ort zusammen. Für die Organisation erstellt das OrganizationKIT ein KI-Briefing mit Aufgaben, das sich als Grundlage für die Abstimmung im Komitee nutzen lässt, und mit dem CommunicationKIT bereitest du Mitteilungen an Speaker und Teilnehmende vor. Welche Funktionen in deinem Plan enthalten sind, zeigt die aktuelle Preis- und Funktionsübersicht.
Invitation Management rund um den Call for Papers
Nach der Auswahl endet der Prozess nicht mit der Bewertung. Zusagen, Absagen und die nächsten Schritte müssen klar bei den ausgewählten und abgelehnten Speakern ankommen. Genau hier wird Invitation Management zum Teil eines sauberen Ablaufs: Die Entscheidung aus dem Programmkomitee muss in eine verständliche Kommunikation mit Fristen, Folien, Bio, Ansprechperson sowie Hinweisen zu Vergütung oder Reisekosten überführt werden.
Gerade bei vielen Einreichungen hilft eine klare Trennung: Erst werden Einreichungen vergleichbar bewertet und das Programm kuratiert, danach werden die Entscheidungen strukturiert kommuniziert. So bleibt die Auswahl nachvollziehbar und die Kommunikation mit Speakern wird zum nächsten klaren Schritt im Konferenzprozess.
Fazit und nächster Schritt
Ein gutes Programm entsteht nicht aus mehr Meinungen, sondern aus vergleichbaren Bewertungen und einem zweiten Blick auf das Gesamtbild. KI verkürzt die Vorarbeit und macht Muster sichtbar, die Entscheidung bleibt beim Komitee.
Für den Start haben wir einen Bewertungsbogen mit sechs Kriterien, Skala und Ankerbeispielen zusammengestellt.
Wer sehen möchte, wie Eventseite, Anmeldung und Ticketing mit eventpage.ai zusammenspielen, kann direkt kostenlos starten.
