Kurz gesagt Subjektivität ist bei der Bewertung kreativer Konzepte nicht das Problem. Unbegründete Urteile, unterschiedliche Maßstäbe und nachträgliche Änderungen sind es. Eine belastbare Bewertung beruht auf unabhängiger Einzelbewertung, vorab beschriebenen Notenankern, einer festgelegten Rechenregel und einer Dokumentation, die mehr sagt als „Die Chemie hat nicht gepasst“.
Erst einzeln bewerten, dann diskutieren
Jedes Jurymitglied bewertet zunächst für sich und hält pro Kriterium eine kurze Begründung fest. Erst danach wird moderiert diskutiert. Abweichungen sind kein Fehler, solange sie auf das bekannt gemachte Kriterium zurückgehen. Eine bloße Mittelwertbildung macht aus fünf Geschmäckern noch keinen Maßstab.
Schulnoten mit Ankern
Schulnoten sind ehrlicher als die Behauptung, eine Zahl zwischen 0 und 100 sei von sich aus objektiv. Damit sie tragen, braucht jede Note einen vorab beschriebenen Anker:
| Note | Erfüllungsgrad | Anker |
|---|---|---|
| 1 | 100 % | Sehr starke, nachvollziehbar hergeleitete, eigenständige und überzeugend umsetzbare Erfüllung |
| 2 | 75 % | Gute und tragfähige Erfüllung mit kleineren Lücken |
| 3 | 50 % | Grundsätzlich brauchbar, aber mit erkennbaren Lücken in Herleitung, Relevanz oder Umsetzung |
| 4 | 25 % | Schwach oder nur teilweise passend, wesentliche Anforderungen bleiben offen |
| 5 | 0 % | Wesentliche Teile der Aufgabe verfehlt oder keine realistische Umsetzung erkennbar |
Fünf grobe Stufen erzeugen Sprünge. Zwischen einer guten 2 und einer schwachen 3 liegt ein Viertel der möglichen Punkte. Klare Anker und kurze Begründungen fangen das auf. Eine feinere Skala löst das Problem nicht automatisch, sie stattet das Bauchgefühl nur mit mehr Dezimalstellen aus.
Von der Note zur Punktezahl: ein Rechenbeispiel
Bei einer Gewichtung von 70 Prozent Qualität und 30 Prozent Preis stehen höchstens 700 Qualitäts- und 300 Preispunkte zur Verfügung.
- Preis: Das günstigste Angebot erhält 300 Punkte. Alle anderen erhalten: niedrigster Preis geteilt durch eigenen Preis, mal 300.
- Qualität: Die Qualitätspunkte werden ebenfalls am besten Angebot verankert und auf 700 hochgerechnet. Erreicht das beste Angebot nur 80 Prozent der möglichen Punkte, bekäme es ohne diese Normierung nur 560 Qualitätspunkte, während das günstigste Angebot die vollen 300 Preispunkte erhält.
700 Qualitätspunkte bedeuten dann „bestes Angebot im Wettbewerb“, nicht zwingend vollständige Erfüllung. Umrechnung und qualitative Mindestanforderungen müssen deshalb vorab feststehen.
Die Präsentation fair gestalten
- Bewertungsrelevante Elemente der Präsentation sind vorab angekündigt.
- Präsentationsunterlagen erhält die Jury erst bei der jeweiligen Präsentation.
- Beginn, Technik, Unterlagen, Personenzahl und Fragezeit sind für alle gleich.
- Nur Jurymitglieder, die alle Präsentationen vollständig gesehen haben, bewerten die Präsentation.
- 15 bis 30 Minuten Pause zwischen den Agenturen, damit sich die Jury sammeln kann und sich die Agenturen nicht im Stiegenhaus begegnen.
Begründen, was bewertet wurde
Für jedes Kriterium sollte die Dokumentation erkennen lassen, welches Merkmal bewertet wurde, welcher Maßstab galt, welche Stärken und Schwächen festgestellt wurden, wie sich das auf die Note auswirkte und wie das Angebot im Vergleich abschnitt. Rechtsgrundlagen sind insbesondere §§ 49, 140 und 142 BVergG 2018.
„Modern, sympathisch und kreativ“ kann ein ehrlicher Eindruck sein. Als Begründung ist es zu wenig. Belastbarer wäre etwa:
„Der Ansatz leitet die zentrale Idee nachvollziehbar aus dem Zugangsproblem der priorisierten Zielgruppe ab und überträgt sie konkret auf die vorgesehenen Kontaktpunkte. Für die regionale Ausrollung fehlen jedoch ein belastbarer Produktionsansatz und eine Darstellung der erforderlichen Ressourcen. Daher hohe, aber nicht höchste Bewertung im Kriterium Umsetzbarkeit.“