Glaubwürdigkeit und wahrheitsgemäße Antworten – das sind die Bausteine auf denen Marktforscherinnen und Marktforscher im Bereich der Onlinebefragung u.a. bauen. Doch wie aufmerksam und ehrlich sind die Befragten bei einer Befragung im Internet? Während man in einem persönlichen Interview (Face-to-Face) seinen Interviewpartner „beobachten“ und dadurch zumindest ansatzweise abschätzen kann, wie sehr er die Frage versteht bzw. er gewillt ist sie ordnunsgemäß zu beantworten, fehlt diese Kontrolle bei Umfragen im Netz.

Stimmen die Onlinebefragungen wirklich?

Das Hauptproblem bei Onlinebefragungen ist es, dass sich Teilnehmer „einfach nur mal so durchklicken“ können. Da dies nicht (bzw. nur schwer) kontrollierbar ist, erhalten Marktforscherinnen und Marktforscher unter Umständen verzerrte Ergebnisse in ihrer Erhebung. Diese Verzerrungen der Tatsachen, gilt es zu vermeiden, denn nicht nur der Marktforscher, sondern vor allem der Kunde möchte natürlich „saubere“ Ergebnisse. Doch was kann man tun, um sogenannte Straightliner¹, Random Responder² oder einfach nur unaufmerksame Teilnehmerinnen und Teilnehmer einer Onlineumfrage herauszufiltern? Hier müssen oft neue Wege gefunden werden und man kann sagen, es wurden schon einige sehr gute gefunden!

Stellen Sie kleine Fallen in Ihrer Onlineumfrage

Die Lösung ist ziemlich banal: Man stellt den Umfrageteilnehmern kleine „Fallen“ in der Onlinebefragung. Durch das gezielte Stellen von kleinen Stolpersteinen kann man in Befragungen herausfinden, ob sich jemand nur schnell durchklickt hat oder die Fragen und wird Antworten wirklich genau liest. Auch für Panelbetreiber bietet sich hier die Möglichkeit, die Ernsthaftigkeit, der Teilnehmer zu prüfen. Wiederholungstäter, die mehrfach in solche Fallen getreten sind, können nun selektiert und bei zukünftigen Einladungen zur Teilnahme an Befragungen ausgeschlossen werden.

Möglichkeit 1 – Wird eine Frage vollständig bei einer Online-Befragung gelesen und verstanden?

Bei dieser Art der Überprüfung der Aufmerksamkeit der Teilnehmerinnen und Teilnehmer einer Befragung wird in der Instruktion zur Frage die auszuwählende Antwort vorgegeben (Instructered Response Items). Ein Beispiel dafür:

Welches dieser drei Produkte würden Sie kaufen?
Klicken Sie auf Produkt B, um zu zeigen, dass Sie aufmerksam bei der Umfrage sind.
ο Produkt A
ο Produkt B
ο Produkt C

In der Instruktion wird den Teilnehmenden vorgegeben, welche Antwort sie auswählen sollen. Wer nun die falsche Antwort auswählt, hat die Frage bzw. den Text nicht aufmerksam (genug) gelesen. Sollte dieses Verhalten bei Befragten mehrmals auftreten, muss man prüfen, ob es sich lohnt diesen Teilnehmer weiterhin zu Befragungen einzuladen.

Möglichkeit 2 – Werden Instruktionen bei Online-Umfrage gelesen?

Ähnlich, wie bei sogenannten Instructered Response Items, wird in dieser Methode der User aufgefordert, etwas Besonderes zu tun – zum Beispiel auf einen bestimmten Bereich des Bildschirms zu klicken. Diese Methode nennt man Instructional Manipulation Checks. Die Instruktionen werden dabei innerhalb der Beschreibung zur Frage mitgegeben.
Ein Beispiel dafür:

Urlaubsorte

Im Folgenden stellen wir Ihnen zwei Hotels vor. Bitte lesen Sie sich die Informationen zu den Hotels genau durch und beantworten Sie im Anschluss die Frage.

Hotel A
Hier handelt sich um ein Hotel der 3-Sterne-Kategorie zum Preis von 120 Euro pro Nacht im Doppelzimmer. Das Hotel liegt am Strand und bietet Zimmer mit WLAN, Badewanne und Meerblick. Sie haben im Übernachtungspreis das Frühstück enthalten.

Hotel B
Hier handelt sich um ein Hotel der 4-Sterne-Kategorie zum Preis von 160 Euro pro Nacht im Doppelzimmer. Wir möchten wissen, ob Sie auch wirklich alles lesen. Bitte klicken daher auf die Überschrift Urlaubsorte, um zu zeigen, dass Sie alles gelesen haben. Sie haben im Übernachtungspreis das Frühstück nicht enthalten.

Hotel C
Hier handelt sich um ein Hotel der 5-Sterne-Kategorie zum Preis von 200 Euro pro Nacht im Doppelzimmer. Das Hotel liegt am Strand und bietet Zimmer mit WLAN, Badewanne und Meerblick. Sie haben im Übernachtungspreis das Frühstück enthalten.

Welches Hotel würden Sie buchen?
ο Hotel A
ο Hotel B
ο Hotel C

Möglichkeit 3 – Werden wirklich alle Antwortmöglichkeiten einer Onlineumfrage gelesen?

Eine dritte Methode, um die Aufmerksamkeit der Teilnehmerinnen und Teilnehmer einer Befragung zu testen ist es, bei den Antwortmöglichkeiten eine „Pflichtangabe“ (sogenannte Instructed Response Items) zusätzlich mitzugeben. Dadurch kann festgestellt (verifiziert) werden, ob wirklich alle Antwortmöglichkeiten gelesen wurden. Ein Beispiel dafür:

Urlaubsarten

Im Folgenden sehen Sie eine Liste mit Beispielen für Urlaube. Bitte wählen Sie aus, welche Arten von Urlauben grundsätzlich für Sie in Frage kämen.
ο Bade-Urlaub am Meer in einem abgeschlossenen Ressort ohne Ausflüge = reiner Badeurlaub
ο Bade-Urlaub am Meer in einem abgeschlossenen Ressort mit Ausflüge = Bade-Aktiv-Urlaub
ο Bitte wählen Sie diese Antwort zusätzlich zu Ihren Antworten aus, um zu zeigen, dass Sie aufmerksam sind
ο Wanderurlaub in den Bergen = Wanderurlaub
ο Urlaub mit Wanderungen, Ausflügen und Radtouren = Aktiv-Urlaub

Fazit: Bei einer Onlinebefragung einfach mal die Teilnehmer wachrütteln!

Diese kleinen Fallen (auch Türsteherfragen genannt) bieten eine gute Alternative für Quality Checks in Onlineumfragen. Es lässt sich einerseits herausfinden, ob Fragen, Antworten oder Instruktionen vollständig gelesen und verstanden werden und andererseits hat man so die Möglichkeit Teilnehmer, die es nicht so genau nehmen bzw. zu nachlässig sind, zu identifizieren. Wiederholungstäter können somit herausgefiltert und bei zukünftigen Befragungen ausgeschlossen werden. Kleine Fallen sind also gute Mittel zur Qualitätssicherung und können dazu beitragen, dass die wahrheitsgemäßen Antworten gesteigert werden.

¹ Straightliner: Eine Teilnehmerin oder ein Teilnehmer einer Online-Befragung, welcher in einer Itembatterie (=Zusammenstellung von Aussagen bfragt oder Fragen, sogenannten Items, zum selben Gegenstand mit dem gleichen Antwortformat) durchweg die gleiche Antwort ankreuzt.

² Ramdon Responder: Eine Teilnehmerin oder ein Teilnehmer einer Online-Befragung, welcher wahllos irgendwelche Antworten anklickt.

Quelle: Belinda Merkle, Dr. Lars Kaczmirek, Dr. Otto Hellweg: „Du kommst hier nicht rein – Türsteherfragen identifizieren nachlässige Teilnehmer in Online-Umfragen“, planung&analyse Zeitschrift für Marktforschung und Marketing, Ausgabe 1/2016, Seite 36 ff.