Home / Marketing / Arbeiten mit Schwarzen Kisten oder wie Messtools arbeiten ist rätselhaft
Was will uns diese Statistik sagen?

Foto: ‚Handbuch der Statistik des österreichischen Kaiserstaates‘ – Seite 113. Quelle: Flickr-Commons – The British Library

Wie misst man eigentlich Social-Media-Kampagnen? Ganz klar: Mit Werkzeugen, mit Tools. Nur: Was und wie genau messen die nun eigentlich den Erfolg einer Kampagne? Das ist eine Frage, die nicht so einfach zu beantworten ist obwohl sie einfach zu sein scheint. Software-Tools messen halt Werte. Sie messen das, was da ist. Sie messen, was vorhanden ist. Nur: Wie messen die das denn jetzt wirklich und wie vertrauenswürdig sind diese Instrumente?

Lassen wir erst mal den Ansatz von Quantitativ und Qualitativ außen vor – dass dieser auch eine wichtige Rolle spielt ist klar, denn wie misst man den Wert eines Tweets? Wie misst man den Wert eines Facebook-Beitrags? Was ist das eigentlich diese „Qualität“ – und wird die Qualität nicht eigentlich vom Nutzer aus gewertet? Entscheidet nicht der Nutzer letzten Endes was für ihn Qualität ist und wenn das nun lustige Katzenbilder sind, dann sind lustige Katzenbilder Qualität? Da haben wir ja schon nach wenigen Fragen recht tiefes Wasser erreicht – das Problem ist: Solange das semantische Web nicht Wirklichkeit ist und wir tatsächlich Tools haben, die Stimmungen exakt bewerten können – oder zumindest für uns, die wir ja alles so sehr Schwierigkeiten mit Ironie und Satire im Internet haben, oh doch – oder zumindest verstehen wie etwas gemeint ist … so lange können wir die Frage ob etwas Qualität hat oder nicht nicht mit Tools messen. Natürlich gibt es Bewertungs-Tools, die Tweets bewerten können, aber diese sind nicht perfekt. Und werden das auch nie sein, weil jedes Tool eigentlich wenn es Qualität messen möchte erst mal unsere persönliche Sichtweise der Qualität gesagt bekommen muss. Wie geschrieben: Tiefes Wasser ist tief. Schade, dass diese Fragestellung meistens gar nicht diskutiert wird.

Was Werkzeuge gut messen können sind quantitative Werte. Wie viele Fans gewannen wir im Vergleich zum letzten Quartal? Sagt uns Facebook selbst mit seinem internen Mess-Tool. Wie viele Retweets hatten wir? Twitter hat ein Statistik-Tool. Diese Tools liefern im Endeffekt die „harten Zahlen“ – nur: Wie messen sie die? Und messen sie die auch wirklich korrekt? 2013 meldete Facebook, es hätte wegen eines Bugs falsche Zahlen geliefert und man würde in Zukunft natürlich die richtigen Auswertungen ausgeben. Soweit zu der Verlässlichkeit von Tools… Und wenn man nicht unbedingt den Tools von Facebook vertrauen darf, wie ist das dann mit Tools, die die API von Facebook anzapfen – die Programmierschnittstelle – und so an die Werte kommen? 2013 waren wohl auch diese falsch.

Schwarzen Kisten muss man vertrauen können

Im Endeffekt muss man sich klarmachen: Wir alle arbeiten mit Schwarzen Kisten. Wir wissen zwar, dass Zahlen an der einen Seite der Kiste in die Software hereinkommen, wir wissen aber nicht genau wie diese Zahlen verarbeitet und gemessen werden, geschweige denn dass wir wirklich verstehen wie das vor sich geht – wir haben am Ende des Prozesses aus der Schwarzen Kiste halt die Ergebnisse, die wir haben. Und wir müssen den Schwarzen Kisten vertrauen, dass die einigermaßen richtig oder korrekt messen. Das ist die Krux des Ganzen – und das gilt nicht nur für Social Media, das gilt auch für Google Analytics und Piwik oder andere Mess-Software. Gut, wenn diese Software offenlegt wie genau sie was bewertet und misst, dann haben wir eine transparente Kiste und können nachvollziehen wie Werte entstanden sind. Aber in der Regel können wir das halt nicht und müssen daher auf das vertrauen, was uns diese Schwarzen Kisten auswerfen.

Das Merkwürdige ist aber: Selbst wenn wir nicht genau wissen, wie Zahlen zustande kommen und selbst wenn diese falsch sein sollten – in einem System an sich sind sie dennoch nutze. Wenn auch keiner weiß ob die Zahlen bei KLOUT wirklich richtig messen oder was KLOUT da eigentlich misst; solange diese Zahlen innerhalb des KLOUT-Systems vorkommen sind sie tatsächlich vergleichbar. Selbst wenn mein Schrittzähler nicht unbedingt wirklich auf den Punkt genau misst – so habe ich dennoch im Laufe der Zeit eine Datenübersicht und kann mit dieser operieren. Und wenn der Schrittzähler derselben Marke, den jemand anderer trägt, ebenfalls genau so falsch misst – dann kann ich tatsächlich annähernd vergleichen. In dem Fall spielt offenbar die Tatsache, dass der Wert nicht RICHTIG ist keine Rolle, denn ich habe zwei Werte und ich habe im Endeffekt über einen längeren Zeitraum eine Skala. Selbst damit kann ich arbeiten. Solange ich weiß, dass der Zähler nicht unbedingt richtig misst und um das festzustellen bräuchte ich mehrere Zähler von anderer Machart. Oder ich muss mich auf einen Wissenschaftler verlassen, der den Aktivitätentracker genau nach der Atomuhr mit einer speziellen Software aktualisiert, die dann mit GPS-Sensoren feststellt, wie oft ich wo unterwegs bin, diese Werte dann trianguliert und im doppelten Verhältnis zur aktiven Schrittzahl setzt, die sich dann wiederum teilen muss durch die Durchschnittsgeschwindigkeit… Oder anders gesagt: Wir müssen uns dann auf eine Schwarze Kiste verlassen, die von einem Wissenschaftler geprüft und für absolut total glaubwürdig befunden wurde. Wie war das noch: Vertrauen ist der Anfang von Allem?

Über Christian Spliess

Der selbstständige Journalist und Social Media Redakteur Christian Spließ begleitet Unternehmen und Organisationen bei der erfolgreichen Umsetzung von Social Media Kampagnen. Christian Spließ ist einer der Social Influencer in NRW - vor allem über Twitter und Facebook.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Theme developed by TouchSize - Premium WordPress Themes and Websites