Leicht zu messen vs. sinnvoll zu messen

Du hast ein klares Ziel für dein Produkt vor Augen. Du hast eine Hypothese, wie ihr dieses Ziel erreichen könnt. Plötzlich fällt irgendjemandem das berühmte Peter Drucker Zertifikat ein: „If you can’t measure it, you can’t improve it“. Ihr braucht Metriken! Kein Problem, ratz-fatz etabliert ihr ein paar KPIs – so schwer war das jetzt auch nicht. Ein paar Monate oder sogar Jahre später fragt ihr euch allerdings, ob euch diese KPIs auch dabei helfen, euer Ziel zu erreichen... Ein typischer Fehler: Du etablierst Kennzahlen, die zwar leicht zu messen sind (und damit schnell zu etablieren sind), die dir aber nicht bei deiner Zielerreichung helfen. Dieses Video kann dich dafür sensibilisieren, an der richtigen Stelle zu messen.

Transkript des Videos (automatisch erzeugt, bitte entschuldige mögliche Fehler)

Es gibt ja immer wieder so ein paar typische Fehler, die immer wieder und immer wieder und immer wieder gemacht werden. Und heute soll es genau um einen von diesen typischen Fehlern gehen. Nämlich dass Dinge gemessen werden, die zwar leicht zu messen sind, die aber nicht notwendigerweise sinnvoll sind zu messen. Ich versuche das mal an einem Beispiel zu erläutern. Zum einen, was so der typische Fehler ist, wie der sich zeigt, warum der ein Fehler ist, wo die Gefahr besteht und was man auch stattdessen machen kann oder wie man so ein bisschen seine eigenen Antennen ausrichten kann. Dass einem dieser Fehler nicht einfach unvermittelt, unverhofft passiert.

Also nehmen wir mal so ein Szenario: Du hast ein Produkt, ich sage mal einfach so ein E-Commerce Laden und du bist am Überlegen, wie kannst du das weiter verbessern und kommst dann zu dem Schluss, dass du sagst, wir sollten mal versuchen unseren durchschnittlichen Einkaufswert zu erhöhen von 100 Euro auf 110 Euro. Oder von mir aus auch 1000 Euro und dann 1100 Euro. Das ist also das übergreifende Ziel. Und als nächstes überlegst du dir: Wie können wir dieses Ziel erreichen? Naja, und die Maßnahme, die euch dann einfällt, ist: Alles klar, wir haben so eine Empfehlungsfunktion. Kunden wie du haben auch XYZ gekauft. Also ist ja inzwischen Klassiker. Gibt es meistens Out-of-the-box, Amazon hat das und so weiter und so fort. Und um das dann umzusetzen, überlegt ihr euch: Okay, was müssen wir denn machen? Wir müssen an der Webseite Anpassungen vornehmen, an dem Design, an dem Layout. Wir müssen irgendwie unsere Kunden clustern, dass wir überhaupt mal feststellen: Wo haben wir denn Ähnlichkeiten zwischen unseren Kunden? Und wir müssen natürlich auch unsere Produkte clustern, dass wir also feststellen können: Welche Produkte werden denn zusammen gekauft? Also das sind so die drei großen Aktivitäten, die ihr euch vorgenommen habt. Und nächster Schritt ist dann, ihr schreibt User-Stories, um das noch weiter herunterzubrechen und dann am Ende auch umzusetzen.

Und dann kommt irgendjemand um die Ecke, erinnert sich daran: Oh, es gab da mal so einen Management-Denker, Peter Drucker, der sagte: "If you can't measure it, you can't improve it." Also wir müssen etwas messen. Wir müssen messen, das ist total wichtig, aber was genau?

Und da ist jetzt die Gefahr, dass ihr nämlich unter Druck versucht, möglichst schnell irgendwelche Messungen, irgendwelche KPIs zu definieren. Also so der Klassiker ist: Wie viele User-Stories setzen wir denn pro Zeiteinheit um? Oder auch: Wie viele Story-Points setzen wir pro Zeiteinheit um. Oder so etwas wie: Wie viele Stunden arbeiten wir an diesen Maßnahmen? Und all das kann man natürlich messen. Und all das gibt auch... All das liefert auch Ergebnisse und gibt auch bestimmte Indizien: Seid ihr gut unterwegs oder weniger gut unterwegs? Aber die Frage ist: Hilft euch das? Überlegt hier nochmal... Wir treten nochmal einen Schritt zurück von diesen ganz kleinteiligen User-Stories und Umsetzung und wie auch immer. Das Ziel ist, wir wollen den durchschnittlichen Einkaufswert von 1000 Euro auf 1100 Euro steigern. Aber das, was ich gerade gesagt habe mit User-Stories und Story-Points und Stunden, das hat alles nichts mit dem Einkaufswert zu tun. Und die riesengroße Gefahr ist einfach, dass ihr sagt: Ah ja, wenn wir die User-Stories alle umgesetzt haben, dann sind wir fertig. Oder wenn wir so und so viele Stunden gearbeitet haben, dann sind wir fertig. Aber fertig seid ihr eigentlich erst dann, wenn ihr entweder das Ziel erreicht habt, nämlich von 1000 auf 1100 Euro, oder aber in dem Moment, wo ihr eine bewusste Entscheidung getroffen habt: Nein, dieses Ziel, das können wir nicht erreichen. Wir schreiben das jetzt ab. Es ist unrealistisch, zu hoch gegriffen oder oder oder.

Ich habe da vor langer, langer Zeit schon mal so eine Übersicht gemacht: Kausalkette im Projekt. Und in dieser Kette kann man überall messen. Und die Frage ist halt immer nur: Was hilft mir das? Ich versuche, diese Kausalkette hier nochmal mit dir gemeinsam aufzumalen.

Okay, also es geht um die Kausalkette im Projekt oder in der Produktentwicklung. Was führt zu welchen nächsten Ergebnissen oder Schritten? Und los geht es in der Regel mit irgendeinem Input. Also ich packe etwas dort hinein und meistens ist das schlicht Arbeitszeit. Kann ich den Input messen? Ja sogar ganz leicht. Ich muss einfach nur allen Leuten sagen: Schreib mal bitte die Stunden auf, die ihr für das Thema arbeitet. Oder auch wenn ihr irgendwie mit Externen zusammenarbeitet, muss man nur die Rechnungen zählen, die eingereicht werden und schon hat man den Input total simpel gemessen.

Was passiert dann? Als nächstes werden irgendwelche Aktivitäten durchgeführt. Also mit dem Input erstellt man beispielsweise ein Design oder man entwickelt etwas oder man testet etwas oder man erstellt einen Projektplan. All das sind Aktivitäten. Kann man die Aktivitäten messen? Ja, auch da ganz einfach zu messen. Ich muss nur gucken, ich muss den Leuten über die Schulter gucken: Was machst denn du gerade? Ich mache einen Projektplan. Wunderbar. Haken dran. Also auch Aktivitäten, total leicht zu messen, zu erfassen.

Was kommt denn dann daraus raus? Aus den Aktivitäten kommen dann meistens irgendwelche Deliverables raus, also Arbeitsergebnisse. Ich habe halt einen fertigen Projektplan oder ich habe eine fertige Klasse programmiert. Oder ich habe eine Anzahl von Tests durchgeführt. Und diese sogenannten Deliverables, auch da ist wieder das Schöne, die sind völlig einfach zu zählen, die sind klar abgegrenzt. Ich kann da hinschauen und sagen: Hab ich, hab ich, hab ich. Mach ich Haken dran. Leicht zu messen.

Die Summe von diesen ganzen Deliverables führt dann auch wieder meistens zu einem sogenannten Output. Da kommt irgendwas hinten raus, z. B. eine neue Funktionalität oder ein neues Feature oder was auch immer. Aber Output ist in der Regel funktionierende Software. Und auch hier, das ist wieder relativ leicht zu messen. Da sind wir dann auf der Ebene: Wie viele Features haben wir ausgeliefert? Oder wie viele User-Storys haben wir umgesetzt? Oder welche Elemente unserer Roadmap haben wir umgesetzt? Auch hier relativ leicht zu messen. Nicht mehr ganz so leicht wie beim Input, als es nur noch darum ging, wer arbeitet eigentlich wieviel Zeit. Aber auch immer noch einfach zu messen.

So, haben wir es damit? Nein, denn in der Regel wollen wir ja gar nicht irgendetwas liefern, sondern wir wollen etwas erreichen. Und da sind wir dann bei einem Element, was üblicherweise Outcome genannt wird. Das ist also das, was wir eigentlich erreichen wollen. Zum Beispiel die Erhöhung des durchschnittlichen Einkaufswerts von 1000 Euro auf 1100 Euro. Das wäre also so etwas wie ein Outcome. So, kann man das messen? Ja in der Regel schon. Bei sowas wie in einem durchschnittlichen Warenkorbwert ist es sogar relativ leicht zu messen. Die Problematik an der Stelle ist die folgende: Diese Kausalkette, die wir uns hier überlegt haben... Ich stecke da gewisse Arbeit rein, ich mache irgendetwas, da kommt auch was bei raus. Ergo führt das dann auch dazu, dass sich mein Einkaufswert erhöht. Das ist an der Stelle nicht mehr zwangsläufig so. Denn ganz am Anfang, als wir gesagt haben, wir brauchen so eine Empfehlungs-Maschinerie, das ist halt eine Hypothese. Die Empfehlungs-Maschinerie, Output, führt dazu, dass sich der durchschnittliche Einkaufswert erhöht. Das ist das Outcome. Aber zwischen Output und Outcome, da gibt es nicht zwangsläufig einen vorher erkennbaren Zusammenhang. Das ist eine Hypothese. Und in dem Moment, wo wir hier eine Veränderung sehen, dann kann es sein... Ja, kommt genau durch unsere Maßnahme. Kann aber auch passieren, dass wir hier zwar ein positives Ergebnis sehen, aber das liegt nicht an der Empfehlungs-Maschinerie, sondern an irgendwas anderem. Kann auch sein, dass wir hier gar nichts sehen, dass also das Outcome gleich bleibt, aber der Output sehr wohl dazu führt, dass wir hier eine Verbesserung haben. Denn ohne diese Funktionalität wäre es noch viel schlimmer. Lange Rede, um zu sagen, zwischen Output und Outcome ist die Verbindung nicht so ganz leicht herzustellen. Das kann daran liegen. Es kann aber auch an allen möglichen anderen Einflussfaktoren liegen, die nicht so leicht isolierbar sind.

Sind wir damit fertig? Nein, noch nicht ganz. Es gibt noch eine weitere Stufe, nämlich Impact. So ein bisschen flapsig formuliert, das ist: Wir wollen die Welt ein Stück besser machen. Denn wie soll ich sagen, das zielt so ein bisschen auf die Mission oder auf die Vision ein, die wir damit erreichen wollen. Also sagen wir mal, wir sind jetzt nicht nur ein 08/15 E-Commerce Laden, sondern wir verkaufen ausschließlich... Keine Ahnung... Kleidung aus Bio-Baumwolle, hergestellt in einem zertifizierten Produktionsprozess unter Vermeidung von Kinderarbeit, mit gerechter Entlohnung und so weiter und so fort mit dem Ziel, die Welt ein Stück gerechter und besser zu machen. Also habe ich mir jetzt gerade ausgedacht. Und dann wäre ja hier Impact: Wir wollen die Welt ein Stück besser machen. Auch da wäre dann so ein bisschen die Kausalkette, in dem Moment, wo viele Leute viel bei uns einkaufen, führt es dazu, dass die Welt ein bisschen schöner wird. Also im Sinne von: Wenn wir es schaffen, den durchschnittlichen Einkaufswert von 1000 auf 1100 Euro zu erhöhen, wird die Welt ein Stück besser, weil die gleichen Leute dann weniger bei H&M oder Zara oder Primark oder wo auch immer einkaufen. Das ist so ein bisschen an der Stelle die Logik, der Zusammenhang zwischen Outcome und Impact. Und du siehst, hier ist so die direkte Kausalität noch schwieriger herzustellen. Führt denn der erhöhte Warenkorbwert tatsächlich dazu, dass die Welt ein Stückchen besser wird? Ja, vielleicht. Wahrscheinlich kann man das messen über einen sehr langen Zeitraum. Kann man da die Kausalität sofort herstellen? Da wird es schon ganz schön schwer.

So, das ist die Kausalkette in Projekt und allgemein in der Produktentwicklung. Wobei soll dir das helfen? Wenn es also darum geht, dass irgendwie die Frage hochkommt: Oh, wir müssen was messen, wir müssen wissen, wie wir unterwegs sind, überleg dir sehr genau die Metrik, die du gerade im Kopf hast. Auf welcher dieser Stufen ist die Metrik? Misst du den Input? Misst du Outcome? Misst du Deliverables? Wo bist du? Und warum willst du das eigentlich wissen? Denn es kann sehr sinnvoll sein, tatsächlich den Input zu messen. Kann man machen. Der einzige Punkt ist nur, das gibt dir keine Auskunft darüber, ob du dein Ziel tatsächlich erreichst. Denn ich sage es mal so, du kannst natürlich eine Million Arbeitsstunden investieren und es kann trotzdem für die Tonne sein. Also du weißt ganz genau, wie viel du investiert hast, du hast ein wunderbares Monitoring auf deinem Input. Es sagt dir aber nichts darüber, ob du auf dem richtigen Weg in Richtung Outcome bist. Dafür will ich dich eigentlich nur sensibilisieren.

Also überleg dir in Ruhe, was du eigentlich misst. Bitte kein Schnellschuss, so im Sinne von: Oh, wir müssen unbedingt irgendwas messen. Ja, dann miss halt irgendwas, aber das hilft dir nicht. Und zweitens überleg dir auch in Ruhe, wann du fertig bist. Ja, wie sieht dein Erfolg aus? Sieht dann Erfolg aus: Ich bin fertig, wenn ich 200 Stunden gearbeitet habe. Sieht dein Erfolg aus, oder bist du erfolgreich, wenn du dabei bist, einen Projektplan zu erstellen. Bist du erfolgreich, wenn du einen Projektplan erstellt hast. Bist du erfolgreich, wenn du ein Feature ausgeliefert hast. Oder bist du erfolgreich, wenn der durchschnittliche Warenkorbwert um 10 Prozent gestiegen ist. Wie sieht für dich dein Erfolg aus und wie kannst du messen und überprüfen, ob du da bist. Das sind meine zwei Tipps, meine zwei Gedankenanstöße für dich.

Ich hoffe, du konntest hier das eine oder andere mitnehmen. Und denk bitte in jedem Fall daran, das Leben ist zu kurz, um in beschissenen Projekten zu arbeiten. Bis bald.