Phishing-Simulationen: Was die Klickquote wirklich über Security Awareness sagt

Eine Phishing-Simulation endet oft mit einer Zahl. 12 Prozent haben geklickt. Beim nächsten Lauf sind es 8 Prozent. Das Dashboard zeigt nach unten, also scheint das Training zu funktionieren.

So einfach ist die Rechnung nicht.

Eine Klickrate beschreibt zunächst nur, wie Menschen auf genau diese simulierte Mail reagiert haben. Ob sie zugleich etwas über den Lerneffekt eines Trainings aussagt, hängt davon ab, wie schwierig die Mail war, wer sie bekommen hat, welche Intervention vorher oder danach stattfand und wie vergleichbar die Kampagnen überhaupt sind.

Das macht die Klickrate nicht wertlos. Es macht sie erklärungsbedürftig.

Die Klickrate wirkt objektiver, als sie ist

Das Grundproblem kennt NIST aus der Praxis von Awareness-Programmen. Eine gut gemachte Phishing-Mail ist nicht genauso leicht oder schwer zu erkennen wie jede andere. Auch der Kontext zählt: Eine scheinbar plausible Nachricht über einen internen Vorgang kann für Beschäftigte deutlich glaubwürdiger sein als eine Mail, deren Anlass mit ihrer Arbeit wenig zu tun hat.

Genau dafür hat das National Institute of Standards and Technology die Phish Scale entwickelt. Sie bewertet die menschliche Erkennungsschwierigkeit einer simulierten Phishing-Mail und soll Trainingsverantwortlichen helfen, Klick- und Melderaten im Kontext der jeweiligen Übung zu interpretieren.

Das klingt nach einem technischen Detail. Für die Bewertung eines Awareness-Programms ist es aber zentral. Wenn Kampagne A leichter zu erkennen war als Kampagne B, kann eine veränderte Klickrate teilweise die veränderte Aufgabe widerspiegeln. Die Zahl allein trennt diesen Effekt nicht vom Lernen der Beschäftigten.

Der häufige Satz „Unsere Klickrate ist von X auf Y gesunken“ ist deshalb erst der Anfang einer Auswertung. Die nächste Frage lautet: Waren X und Y überhaupt vergleichbar?

Derselbe Mensch kann bei einer schwereren Mail anders aussehen

Eine große Reproduktionsstudie von Andrew Rozema und James Davis macht diesen Punkt ungewöhnlich deutlich. Die Forscher untersuchten 12.511 Beschäftigte eines US-Fintech-Unternehmens und kombinierten unterschiedliche Trainingsbedingungen mit Phishing-Mails verschiedener, nach der NIST Phish Scale bewerteter Schwierigkeit.

Für die Trainingsbedingungen fanden sie keinen signifikanten Haupteffekt auf Klickrate oder Melderate. Die Schwierigkeit der Phishing-Mail sagte das Verhalten dagegen sichtbar voraus.

Diese beiden Werte sind keine allgemeinen Benchmarks für andere Unternehmen. Genau das wäre die falsche Lesart. Sie zeigen innerhalb dieses Experiments, wie stark sich der beobachtete Wert verändern kann, obwohl die Kennzahl weiterhin einfach „Klickrate“ heißt.

Ein Vergleich über Abteilungen, Monate oder Anbieter hinweg wird dadurch heikel. Wer nur die Prozentzahl betrachtet, kann eine schwierigere Kampagne als Rückschritt interpretieren oder eine leichtere Kampagne als Lernerfolg.

Ein abgeschlossenes Training ist noch kein Verhaltensnachweis

Noch unbequemer wird die Sache, wenn man die Trainingsseite betrachtet. Grant Ho und neun weitere Forscher analysierten in einem großen US-Gesundheitsunternehmen über acht Monate zehn simulierte Phishing-Kampagnen mit mehr als 19.500 Beschäftigten.

Die Studie prüfte zwei verbreitete Ansätze: reguläres jährliches Cybersecurity-Awareness-Training und eingebettetes Training nach einer Phishing-Simulation. Für kürzlich abgeschlossenes jährliches Training fanden die Autoren keinen signifikanten Zusammenhang mit der Wahrscheinlichkeit, später an einer Simulation zu scheitern. Auch beim eingebetteten Training waren die absoluten Unterschiede zwischen trainierten und nicht trainierten Gruppen über verschiedene Inhalte hinweg sehr klein.

Ein möglicher Teil der Erklärung lag direkt im Nutzungsverhalten. Viele Beschäftigte verbrachten nur wenig Zeit mit dem eingebetteten Lernmaterial. Ein formal angebotenes oder abgeschlossenes Training ist eben nicht dasselbe wie intensive Auseinandersetzung und schon gar nicht dasselbe wie späteres Verhalten unter Zeitdruck.

Eine zweite große Feldstudie aus den Niederlanden passt in dieses Bild, obwohl sie anders aufgebaut war. David Gonzalez-Jimenez und Kollegen untersuchten 667 kleine und mittlere Unternehmen mit insgesamt 33.016 Beschäftigten. Eine vorherige Phishing-Übung senkte die Wahrscheinlichkeit eines späteren Klicks nur nicht-systematisch und kurzfristig; im Studiendesign lag der beobachtete Effekt ungefähr im Bereich eines Monats.

Auch daraus folgt nicht, dass Wiederholung nutzlos ist. Es folgt nur, dass „wir simulieren regelmäßig“ noch keine belastbare Aussage über einen dauerhaften Lerneffekt ist.

Daraus folgt nicht, dass Awareness-Interventionen wirkungslos sind

Man könnte die bisherigen Befunde als Argument gegen Security Awareness Training lesen. Das wäre genauso zu grob wie die Behauptung, jede sinkende Klickrate beweise dessen Erfolg.

Svetlana Bender, Samantha Horn, George Loewenstein und Olivia Roberts testeten mit rund 11.000 Beschäftigten einer großen US-Organisation eine engere Intervention. Nach einer ersten Pseudo-Phishing-Mail erhielten zufällig ausgewählte Beschäftigte Feedback zu ihrer Reaktion. Dieses Feedback reduzierte die Anfälligkeit für eine zweite Pseudo-Phishing-Mail. Bei Personen, die die erste Mail ignoriert hatten, stieg zudem die Wahrscheinlichkeit, die zweite zu melden.

Die Studie beweist nicht, dass sofortiges Feedback grundsätzlich besser ist als verzögertes Feedback. Der Zeitpunkt selbst wurde nicht gegeneinander randomisiert. Sie zeigt aber etwas Wichtiges: Ein konkreter, nah an der Situation platzierter Eingriff kann messbares Verhalten verändern.

Eine 2026 veröffentlichte Studie von Diego Madeira und Carina Alves kommt aus einem anderen Umfeld zu einer ähnlichen Richtung. In einer großen brasilianischen öffentlichen Organisation wurden 4.457 Beschäftigte in Bedingungen mit oder ohne unmittelbares Feedback sowie verpflichtender oder freiwilliger Trainingseinladung untersucht. Die Ergebnisse sprechen dafür, dass Feedback und die Art der Einbindung einen Unterschied machen können. Gleichzeitig waren Trainingsbeteiligung und spätere Phishing-Performance nicht einfach dieselbe Größe.

Wer diese Formate unter einem einzigen Label zusammenfasst, bekommt zwangsläufig widersprüchliche Antworten auf die Frage, ob Training wirkt.

Vier Dinge gehören in dieselbe Auswertung

Für die Praxis muss daraus kein Forschungsprojekt werden. Eine Phishing-Simulation wird schon deutlich aussagekräftiger, wenn vier Ebenen sauber getrennt dokumentiert werden.

1. Wie schwierig war die Simulation?

Eine Kampagne braucht Kontext. Welche erkennbaren Hinweise enthielt die Mail? Wie plausibel war ihr Anlass für die Zielgruppe? War sie für alle Empfänger ähnlich relevant? Eine etablierte Methode wie die NIST Phish Scale kann dabei helfen, Schwierigkeit nicht nur aus dem Bauch heraus zu beschreiben.

Ohne diese Ebene bleibt unklar, ob eine veränderte Klickrate auf verändertes Verhalten oder einfach auf einen anderen Test zurückgeht.

2. Was haben die Beschäftigten tatsächlich getan?

Klicken und Melden sind zwei verschiedene Verhaltenssignale. Wer nicht klickt, hat eine Mail möglicherweise erkannt, ignoriert oder schlicht nicht geöffnet. Wer sie aktiv meldet, zeigt ein anderes Verhalten, das für die Organisation ebenfalls relevant sein kann.

Beide Werte sind nützlich. Keiner von beiden beschreibt für sich allein „Security Awareness“ als Ganzes.

3. Welche Intervention wurde überhaupt getestet?

War vor der Simulation ein jährliches Training abgeschlossen worden? Gab es direkt nach einem Fehlklick Feedback? Mussten Beschäftigte ein Lernmodul bearbeiten? Wie viele taten das tatsächlich?

Die Feldstudien zeigen gerade an dieser Stelle große Unterschiede. Ein Training kann formal vorhanden sein und kaum genutzt werden. Eine kurze Feedback-Intervention kann dagegen in einem konkreten Experiment Wirkung zeigen. Für die Interpretation muss deshalb klar sein, welche Behandlung zwischen zwei Messpunkten tatsächlich stattgefunden hat.

4. Ist die Veränderung über Zeit und Kampagnen vergleichbar?

Ein einzelner niedriger Wert ist angenehm, aber analytisch schwach. Interessanter ist, ob sich Verhalten über mehrere ausreichend vergleichbare Kampagnen verändert und ob ein Effekt bestehen bleibt.

Dabei sollte die Organisation nicht versuchen, jede Phishing-Mail identisch zu machen. Das wäre unrealistisch und würde irgendwann nur noch Test-Routine messen. Sie sollte aber genügend Kontext festhalten, um Veränderungen nicht blind auf das Training zurückzuführen.

Eine gute Phishing-Simulation beantwortet eine engere Frage

Phishing-Simulationen können wertvolle Verhaltensdaten liefern. Ihr stärkster Nutzen liegt aber nicht darin, eine einzige Erfolgszahl für das gesamte Awareness-Programm zu produzieren.

Die Forschung der vergangenen Jahre spricht eher für eine engere Interpretation. Menschen reagieren unterschiedlich auf unterschiedlich schwierige Phishing-Mails. Verbreitete Trainingsformate zeigen in großen Feldstudien nicht automatisch den erwarteten Effekt. Gezieltes Feedback kann in anderen Experimenten sehr wohl spätere Reaktionen verbessern. Und beobachtete Verbesserungen können wieder verschwinden.

Damit wird die Auswertung anspruchsvoller, aber auch ehrlicher. Eine Klickrate sagt, was in einem konkreten Test passiert ist. Erst zusammen mit Schwierigkeit, Meldeverhalten, Intervention und Zeitverlauf wird daraus eine belastbarere Aussage darüber, ob sich das Awareness-Programm in die gewünschte Richtung bewegt.

Wer diese Ebenen trennt, muss eine schlechte Kampagne nicht schönrechnen. Er verhindert nur, dass eine präzise Prozentzahl mehr Gewissheit vortäuscht, als der Test tatsächlich liefern kann.