Learning Analytics: Welche Daten helfen – und welche nur gut aussehen?

Ein LMS kann sehr präzise zeigen, wer einen Kurs geöffnet, beendet oder einen Test bestanden hat. Das ist nützlich. Es ist nur noch keine Antwort auf die Frage, ob jemand etwas gelernt, später angewendet oder dadurch bessere Arbeit geleistet hat.

Genau an dieser Stelle kippt Learning Analytics schnell von Messung in Interpretation. Das Dashboard liefert eine Zahl. Was diese Zahl bedeutet, muss jemand anderes entscheiden.

Die sinnvollere Frage lautet deshalb nicht, welche Kennzahlen ein Lernsystem anzeigen kann. Sie lautet: Welche Entscheidung soll mit einer Kennzahl besser werden – und welche Daten reichen dafür tatsächlich aus?

Das System misst zuerst das System

Digitale Lernumgebungen können eine erstaunliche Menge an Aktivität erfassen. Der 1EdTech-Standard Caliper Analytics beschreibt beispielsweise Ereignisse rund um Lesen, Mediennutzung, Assessments, Sessions, Feedback oder Tool-Nutzung in einer gemeinsamen Sprache.

Das ist technisch wichtig. Wenn verschiedene Systeme Aktivitäten konsistent beschreiben, lassen sich Daten zusammenführen, vergleichen und auswerten.

Aber schon 1EdTech trennt zwischen Messungen von Lernaktivität und Lernergebnissen. Ein abgespieltes Video ist zunächst ein Ereignis. Ein abgeschlossener Kurs ist zunächst ein Prozessstatus. Ein bestandener Test ist ein Ergebnis in einer konkreten Prüfungssituation.

Keiner dieser Werte ist nutzlos. Nur beantwortet jeder eine andere Frage.

Wer wissen möchte, ob Beschäftigte ein verpflichtendes Lernangebot erreicht haben, braucht keine komplizierte Transferstudie. Wer herausfinden will, an welcher Stelle viele Nutzer einen Lernpfad verlassen, kann mit Ereignisdaten sehr weit kommen. Problematisch wird es erst, wenn aus diesen Beobachtungen eine stärkere Aussage gebaut wird, als das Messdesign trägt.

Schon „Leistung“ ist keine einheitliche Kennzahl

Man könnte erwarten, dass die Sache einfacher wird, sobald Learning Analytics nicht mehr nur Klicks und Abschlüsse betrachtet, sondern „Performance“.

Eine aktuelle Meta-Review zeigt eher das Gegenteil. Fran García-García und Kollegen werteten 19 systematische Reviews zur Nutzung von Learning Analytics für akademische Leistung aus. Alle 19 Reviews wurden nach AMSTAR 2 als methodisch kritisch niedrig eingestuft. Zugleich unterschieden sie sich erheblich darin, was überhaupt als akademische Leistung galt.

Teilweise wurden sehr breite Konstrukte untersucht, teilweise klarer definierte Indikatoren. Die Vorhersagekraft der verwendeten Variablen wurde nur selten berichtet. Heterogene und nicht vergleichbare Metriken begrenzten nach Einschätzung der Autoren robuste Schlussfolgerungen.

Die Untersuchung stammt aus der Hochschulforschung. Sie beweist deshalb nicht, dass Learning Analytics in Unternehmen dieselben Probleme hat. Methodisch ist der Befund trotzdem relevant: Ein überzeugendes Label macht aus unterschiedlichen Messgrößen noch keine vergleichbare Evidenz.

Completion kann genau die richtige Kennzahl sein

Die naheliegende Gegenreaktion wäre, einfache LMS-Metriken als „Vanity Metrics“ abzuwerten. Das wäre ebenfalls zu grob.

Completion beantwortet eine sehr konkrete Frage: Wurde ein definierter Lernprozess abgeschlossen? Zugriffs- und Ereignisdaten können zeigen, ob ein Angebot überhaupt genutzt wird oder an welcher Stelle ein digitaler Ablauf stockt. Für solche operativen Entscheidungen sind diese Daten nicht zweitklassig. Sie passen zur Frage.

Auch die Forschung zum Einsatz von Learning Analytics in Unternehmen spricht gegen eine Universalmetrik. Oleksandra Poquet, Lisa-Angelique Lim und Maarten de Laat untersuchten qualitativ, was Führungskräfte und Manager mit Verantwortung für Learning & Development an Learning Analytics wertschätzen. Die strategischen Orientierungen unterschieden sich; die tatsächlichen Analytics-Aktivitäten waren dagegen weniger vielfältig als die formulierten Ambitionen.

Das ist kein Beleg dafür, dass Unternehmen generell die falschen KPIs verwenden. Es zeigt aber eine relevante Spannung: Was eine Organisation mit Learning Analytics erreichen möchte und was sie tatsächlich misst, kann auseinanderliegen.

Damit wird aus der Kennzahlenfrage eine Designfrage. Nicht „Welche Daten haben wir?“, sondern „Welche Entscheidung müssen wir treffen?“

Ein Quizscore bleibt ein Quizscore

Assessments liegen näher am Lernen als ein Login. Trotzdem bleibt auch hier die Aussage an die konkrete Messung gebunden.

Ein Test kann zeigen, ob jemand definierte Fragen beantworten oder eine Aufgabe in der Testsituation lösen kann. Das ist mehr Information als die bloße Teilnahme. Ob dieselbe Person das Gelernte später in einer realen Arbeitssituation anwendet, ist damit noch nicht geklärt.

Wie schwierig schon diese nächste Stufe zu messen ist, zeigt eine 2026 veröffentlichte Scoping Review von Mirco Ardondi und Kollegen. Sie untersuchte Instrumente zur Evaluation von Trainingstransfer am Arbeitsplatz. In 45 einbezogenen Studien mit insgesamt 24.096 Teilnehmenden fanden die Autoren keine einheitliche Messlogik, sondern eine heterogene und fragmentierte Landschaft aus eigenständigen, kombinierten und kontextspezifisch entwickelten Instrumenten.

Das ist eine nützliche Bremse für jedes Dashboard, das aus einem Testwert direkt „Transfer“ macht.

Es bedeutet nicht, dass Transfer unmessbar wäre. Es bedeutet, dass die Messung näher an die tatsächliche Anwendung rücken muss – und dass die passende Operationalisierung vom Lernziel und Arbeitskontext abhängt.

Ein Business-KPI löst das Zuschreibungsproblem nicht

Noch überzeugender klingt es, Lern- mit Geschäftsdaten zu verbinden. Umsatz, Qualität, Produktivität oder Fehlerquoten wirken auf den ersten Blick aussagekräftiger als Kursabschlüsse.

Sie liegen tatsächlich näher an organisationalen Ergebnissen. Damit entsteht aber ein neues Problem: Was hat die Veränderung verursacht?

Ein Arbeitsplatz-Feldexperiment aus einer pharmazeutischen Vertriebsorganisation zeigt diese Spannung gut. Über drei Monate wurden nicht nur Pre- und Post-Assessments sowie formative Lernverhaltensdaten erfasst, sondern auch Quartalsumsätze. Die Autoren berichten positive kurzfristige Befunde zur learning-oriented assessment.

Gleichzeitig nennen sie selbst eine zentrale Einschränkung: Im Feldexperiment konnten mögliche Confounder nicht kontrolliert werden.

Genau das ist der Unterschied zwischen „Wir sehen einen Geschäftswert“ und „Das Training hat diesen Geschäftswert verursacht“. Ein KPI kann sehr relevant sein und trotzdem keine saubere Kausalaussage erlauben.

Je weiter die Analyse in reale Arbeits- und Geschäftsergebnisse hineinreicht, desto mehr andere Faktoren wirken mit. Ein neues Vertriebssystem, Marktbewegungen, Teamwechsel, Führung, Saison oder Prozessänderungen verschwinden nicht, nur weil Lern- und Businessdaten im selben Dashboard liegen.

Erst die Entscheidung, dann die Kennzahl

Für L&D ergibt sich daraus keine komplizierte Kennzahlenpyramide. Eher eine Reihenfolge beim Denken.

Wenn die Frage lautet, wer noch nachfassen muss, können Status- und Completion-Daten reichen.

Wenn die Frage lautet, wo ein digitales Lernangebot Reibung erzeugt, helfen Ereignisse, Nutzungsverläufe und Abbruchstellen.

Wenn die Frage lautet, ob definierte Kenntnisse oder Fähigkeiten im Lernkontext vorhanden sind, braucht es ein Assessment, das genau diese Leistung tatsächlich abbildet.

Wenn die Frage lautet, ob das Gelernte im Arbeitsalltag angewendet wird, muss die Messung näher an diese Anwendung rücken. Die Transferforschung zeigt zugleich, dass dafür kein universelles Instrument existiert.

Und wenn die Frage lautet, ob Weiterbildung ein Geschäftsergebnis verursacht hat, reicht auch der passendste Business-KPI allein nicht. Dann wird das Untersuchungsdesign genauso wichtig wie die Datenquelle.

Diese Fragen können im selben Analytics-System nebeneinanderstehen. Sie sollten nur nicht so behandelt werden, als wären sie austauschbar.

Eine gute Kennzahl verändert eine Entscheidung

Learning Analytics wird nicht dadurch reif, dass ein Dashboard immer mehr Kacheln bekommt. Es wird reif, wenn klar ist, welche Entscheidung eine Kennzahl unterstützt und wo ihre Aussage endet.

Das kann sehr einfache Daten aufwerten. Eine Completion-Rate kann für einen operativen Prozess die wichtigste Zahl des Tages sein. Ein komplexer „Learning Impact Score“ kann dagegen wertlos sein, wenn niemand erklären kann, was er genau misst.

Die Forschung liefert keinen universellen KPI-Katalog, der dieses Problem erledigt. Im Gegenteil: Gerade die aktuelle Evidenz zeigt, wie unterschiedlich Leistung und Transfer operationalisiert werden und wie schnell Messgrößen mehr Sicherheit ausstrahlen, als die Methodik rechtfertigt.

Für ein gutes Learning-Analytics-Setup ist deshalb nicht die Menge der Daten der beste Ausgangspunkt.

Es ist die Frage, die danach besser beantwortet werden soll.