Your address will show here +12 34 56 78

Weitere Erhebungsmethoden sollen aus Gründen der Vollständigkeit kurz erwähnt werden:

  • Videofeedback: Die während der Durchführung aufgenommenen Videos werden gemeinsam mit den Testpersonen angesehen und Unklarheiten, welche während des Testens aufgetreten sind, können im Nachhinein erläutert werden.
  • Logfile-Analyse: Alle Handlungen der ProbandInnen werden in einer Datei gespeichert und unterstützen dadurch die klassische Beobachtung.
  • Eye-Tracking (Aufmerksamkeitsanalyse): Mit der Blickmessung können Bewegungen und Fixierungen der TesterInnen wahrgenommen werden. Unter anderem können so Websites und deren wichtigste Aspekte analysiert werden.
  • Co-discovery oder Constructive-Interaction: Zwei TeilnehmerInnen bearbeiten eine Aufgabe gemeinsam und diskutieren darüber. Gegenüber Thinking-Aloud stellt diese Methode eine natürlichere Situation für die ProbandInnen dar.
  • Coaching-method: Üblicherweise findet bei Usability-Tests keine Interaktion zwischen TesterInnen und ExpertInnen statt. Bei dieser Methode hingegen ist das besonders erwünscht. (Vgl. Sarodnick/Brau, 2006, S. 163.)

Quellen:

Sarodnick, Florian/Brau, Henning: Methoden der Usability Evaluation. Wissenschaftliche Grundlagen und praktische Anwendung (Praxis der Arbeits- und Organisationspsychologie), Bern, 2006

0

Bei der Thinking-Aloud-Methode sprechen EndnutzerInnen während sie Aufgaben am System ausführen. Beim „lauten Denken“ handelt es sich um eine Methode der bewussten Erfassung handlungsbegleitender Kognitionen und Emotionen. Es können so mit wenigen AnwenderInnen qualitativ wertvolle Informationen gewonnen werden. Durch das „laute Denken“ wird es Usability-ExpertInnen ermöglicht, die Missverständnisse der EndanwenderInnen besser zu verstehen. Herauszufinden, warum NutzerInnen aus diversesten Gründen so handeln, wie sie eben handeln, ist einer der Vorteile von THA. (Vgl. Holzinger, 2005, S. 73.)

Als Nachteile dieser Methode stellen sich die ungewohnte und oftmals anstrengende Durchführung, aufgrund der Doppelbelastung, dar. Im Gegensatz zum „lauten Denken“, können sich ProbandInnen beim Video-Feedback (findet retrospektiv statt) gänzlich auf die jeweiligen Aufgaben selbst konzentrieren. Allerdings ist THA einfacher in der Durchführung. (Vgl. Sarodnick/Brau, 2006, S. 163.)

Quellen:

Holzinger, Andreas: Usability engineering methods for software developers, in: Communications of the ACM, 48, 1/2005, S. 71–74

Sarodnick, Florian/Brau, Henning: Methoden der Usability Evaluation. Wissenschaftliche Grundlagen und praktische Anwendung (Praxis der Arbeits- und Organisationspsychologie), Bern, 2006

0

In der Literatur werden die Begriffe Usability-Testing und Usability-Evaluation häufig gleichgesetzt. Usability-Testing soll im Zuge dieser Arbeit als Prozess zum Wahrnehmen von Usability eines Produkts oder Systems durch die Observation von NutzerInnen verstanden werden. Grundsätzlich gilt für alle Usability-Tests, dass nicht die BenutzerInnen selbst getestet werden, sondern das Testen eines Produkts bzw. Systems. (Vgl. Krannich, 2010, S. 145) Andere Begriffe sind etwa Nutzertest oder Benutzbarkeitstest. NutzerInnen stehen dabei unter Beobachtung von Usability-ExpertInnen. Es sollen Schlussfolgerungen aus der Observation, Kommentaren, anschließenden Befragungen oder auch Messungen gezogen werden.

Usability-Tests können in induktive (formative Evaluation) und deduktive (summative Evaluation) unterschieden werden. Bei induktiven Tests sollen Vorabversionen bzw. Prototypen auf Verbesserungen überprüft werden. Bei deduktiven Tests werden mehrere Alternativen miteinander verglichen oder ein einzelnes System auf seine Leistungsfähigkeit überprüft. Deduktive Tests werden üblicherweise in einer Laborumgebung durchgeführt, um Störvariablen auszuschließen. Alle Tests haben gemeinsam, dass definierte Arbeitsaufgaben unter Beobachtung von AnwenderInnen ausgeübt werden. Unterschieden werden kann des Weiteren zwischen „within-subject design“ und „between-subject-design“. Bei ersterem testet eine Person mehrere (meist alle) Varianten, im zweiten Fall werden gewisse Varianten nur von einer bestimmten Gruppe durchgeführt. (Vgl. Sarodnick/Brau, 2006, S. 155ff.)

Quellen:

Krannich, Dennis: Mobile Usability-Testing. Ein toolbasiertes Vorgehensmodell zum Rapid-Prototyping und Usability-Testing von Mobilen Systemen im originären Benutzungskontext, Bremen, Universität Bremen, Dissertation, 2010

Sarodnick, Florian/Brau, Henning: Methoden der Usability Evaluation. Wissenschaftliche Grundlagen und praktische Anwendung (Praxis der Arbeits- und Organisationspsychologie), Bern, 2006

0

Neben den bereits beschriebenen Expertentests ist das Testen mit EndnutzerInnen eine weitere grundlegende Usability-Methode. Durch die AnwenderInnen selbst wird ersichtlich, wie Sie diese Systeme in der Realität nutzen und welche Schnittstellen-Probleme es tatsächlich gibt. Bekannte Methoden sind unter anderem Thinking-Aloud (THA), Feldbeobachtungen und Befragungen. (Vgl. Holzinger, 2005, S. 73.) Weitere werden in dieser Tabelle kurz erklärt:

Methode Beschreibung
Kontextbezogene Befragung Befragung/Interview während NutzerInnen in gewohnter Arbeitsumgebung Tätigkeiten ausüben, um Kontext besser zu verstehen und wie diese Tätigkeiten mögliche Interaktionen beeinflussen können.
Feldbeobachtung/Ethnografische Studie Angewendet bei komplexen Studien, welche tiefen Einblick der NutzerInnen während dem gewohnten Nutzungskontext liefern.
Interviews und Fokusgruppen In einer Kleingruppe werden, begleitet durch einen Moderator, Diskussionen über Funktionen oder Arbeitsabläufe diskutiert.
Journaled Session NutzerInnen werden während der Systeminteraktion beobachtet und befragt (Kombination aus Befragung und Usability-Testing).
Incident Diaries / Self-Reporting Logs NutzerInnen dokumentieren ihre Aktionen und Tätigkeiten über einen längeren Zeitraum selbst.
Performance Measurement Messung der Leistung von AnwenderInnen (z.B. Zeit, Abbruch-, Fehlerrate).
Wizard-of-Oz-Method ProbandInnen wird vorgegeben, dass sie mit einem autonomen System kommunizieren. Dahinter verbirgt sich allerdings eine Person, welche die Reaktionen erzeugt.

Tabelle: Beispiele von Nutzertests (Vgl. Krannich, 2010, S. 145f.)

Quellen:

Holzinger, Andreas: Usability engineering methods for software developers, in: Communications of the ACM, 48, 1/2005, S. 71–74

Krannich, Dennis: Mobile Usability-Testing. Ein toolbasiertes Vorgehensmodell zum Rapid-Prototyping und Usability-Testing von Mobilen Systemen im originären Benutzungskontext, Bremen, Universität Bremen, Dissertation, 2010

0

Der pluralistische Walkthrough versucht die Schwächen des kognitiven durch die Integration von Produkt-EntwicklerInnen, Produkt-Teammitglieder und repräsentative NutzerInnen auszugleichen. Der PUW ist durch folgende fünf Charakteristika definiert:

  1. Integration von NutzerInnen und ProduktentwicklerInnen.
  2. Benutzeroberflächen werden in der selben Reihenfolge vorgestellt, wie es bei tatsächlichen NutzerInnen sein würde.
  3. Alle TeilnehmerInnen nehmen die Rolle von EndnutzerInnen an.
  4. Alle TeilnehmerInnen notieren vor der Gruppendiskussion, welche Aktionen sie in der Rolle der NutzerInnen durchführen würden.
  5. Die repräsentativen NutzerInnen sprechen in der Diskussion immer zuerst. (Vgl. Hollingsed/Novick, 2007, S. 251.)

Der PUW wird in Form eines Workshops durchgeführt, wobei anhand einer Mustervorlage (z.B. ein Mock-Up) ein Szenario simuliert wird. Die TeilnehmerInnen versuchen Lösungen zu finden, welche anschließend diskutiert werden. Der Usability-Experte nimmt immer die Rolle des Moderators und Vermittlers ein. Er präsentiert die vom Design-Team vorgesehene Musterlösung. BenutzerInnen stellen anschließend ihre Lösungswege dar. EntwicklerInnen nehmen erst ganz zum Schluss an der Diskussion teil, um die NutzerInnen nicht zu verunsichern. (Vgl. Moser, 2012, S. 228f.)

Quellen:

Hollingsed, Tasha/Novick, David G.: Usability inspection methods after 15 years of research and practice, in: Novick, David G./Spinuzzi, Clay (Hrsg.): Proceedings of the 25th annual ACM international conference on Design of communication, New York, 2007, S. 249–255

Moser, Christian: User Experience Design. Mit erlebniszentrierter Softwareentwicklung zu Produkten, die begeistern, Berlin, Heidelberg, 2012

0

Auch bei dieser Methode versetzen sich ExpertInnen in die Rollen von NutzerInnen. Die Methode hat ihren Ursprung in der Kognitionspsychologie und identifiziert überflüssige Schritte, ungünstige Elemente in der Bedienung oder unpassende Beschriftungen. ExpertInnen müssen die Arbeitsabläufe und Bedürfnisse der NutzerInnen kennen, ansonsten werden durch unrichtige Annahmen imaginäre Probleme aufgezeigt. (Vgl. Moser, 2012, S. 234) Der Prozess des kognitiven Walkthrough besteht aus einer Vorbereitungs- und einer Analyse-Phase. In der Vorbereitungsphase definieren GutachterInnen etwa die Rollen von NutzerInnen, die Tasks und auch die Tätigkeiten, welche durchgeführt werden sollen. In der Analysephase werden folgende vier Schritte eines allgemeinen Problemlösungsprozess durchgearbeitet:

  1. Versuchen NutzerInnen gewünschte Effekte zu erreichen?
  2. Erkennen NutzerInnen, dass die korrekte Handlung zur Verfügung steht?
  3. Erkennen NutzerInnen, dass diese einwandfreie Handlung zum gewünschten Effekt führt?
  4. Erkennen NutzerInnen einen Fortschritt, wenn korrekte Handlungen durchgeführt werden? (Vgl. Sarodnick/Brau, 2006, S. 146ff.)

Der Walkthrough wird genauestens protokolliert. Wird eine Frage mit Nein beantwortet, wird festgehalten, warum und welche Verbesserungsvorschläge es geben kann. (Vgl. Moser, 2012, S. 234)

Quellen:

Moser, Christian: User Experience Design. Mit erlebniszentrierter Softwareentwicklung zu Produkten, die begeistern, Berlin, Heidelberg, 2012

Sarodnick, Florian/Brau, Henning: Methoden der Usability Evaluation. Wissenschaftliche Grundlagen und praktische Anwendung (Praxis der Arbeits- und Organisationspsychologie), Bern, 2006

0

Heuristische Evaluation wurde 1990 von Nielsen und Molich als Methode der Evaluierung von Benutzeroberflächen entwickelt. Eine kleine Gruppe an Usability-ExpertInnen evaluiert eine Benutzeroberfläche anhand eines definierten Leitfadens und notiert den Ausprägungsgrad eines Usability-Problems und wo es auftritt. Der Vorteil dieser Methode ist, dass sie relativ kostengünstig durchgeführt werden kann und eine intuitive Methode zu Beginn des Design-Prozess darstellt. Nachteile der Methode sind die Anzahl an ExpertInnen und ein mögliches Verfälschen der Ergebnisse aufgrund verschiedener Denkweisen, sowie das Fehlen möglicher Lösungsvorschläge beim Finden von Usability-Problemen. Nielsen und Molich fanden heraus, dass fünf bis zehn GutachterInnen zwischen 55 und 90 Prozent aller bekannten Probleme identifizierten. (Vgl. Hollingsed/Novick, 2007, S. 249f.) 

Abbildung: Prozentueller Anteil an gefundenen Fehlern im Verhältnis zur Anzahl der Test-User
(Abbildung entnommen aus: Nielsen, 2000.)

1993 veröffentlichten Nielsen und Landauer eine fundierte Studie, welche sich mit einem mathematischen Modell zum Aufzeigen der Probleme beschäftigte. Wie in Abbildung 19 ersichtlich, bestätigen sie, dass ab einer Anzahl von fünf NutzerInnen, nur noch wenige neue Probleme erkannt werden. (Vgl. Nielsen/Landauer, 1993, S. 206ff)

Nielsen und Molich veröffentlichten eine Liste mit zehn generellen Heuristiken. Diese sind allerdings nicht mehr aktuell. Gegenwärtige Heuristiken sind etwa jene, welche in DIN EN ISO 9241-10 definiert sind, unter anderem Aufgabenangemessenheit, Erwartungskonformität oder auch Lernförderlichkeit. (Vgl. Sarodnick/Brau, 2006, S. 138ff.)

Quellen:

Hollingsed, Tasha/Novick, David G.: Usability inspection methods after 15 years of research and practice, in: Novick, David G./Spinuzzi, Clay (Hrsg.): Proceedings of the 25th annual ACM international conference on Design of communication, New York, 2007, S. 249–255

Nielsen, Jakob/Landauer, Thomas K.: A mathematical model of the finding of usability problems, in: Arnold, Bert/van der Veer, Gerrit/White, Ted (Hrsg.): Proceedings of the INTERACT ’93 and CHI ’93 Conference on Human Factors in Computing Systems, New York, 1993, S. 206–213

Sarodnick, Florian/Brau, Henning: Methoden der Usability Evaluation. Wissenschaftliche Grundlagen und praktische Anwendung (Praxis der Arbeits- und Organisationspsychologie), Bern, 2006

0

Expertenorientierte Evaluationsmethoden werden auch als Usability-Inspektionen bezeichnet. Als ExpertInnen eignen sich etwa Usability-SpezialistInnen, Software-Entwicklungs-BeraterInnen, NutzerInnen mit vorhandenem Fachwissen oder auch Fachleute aus anderen Bereichen. Wie bereits beschrieben, steht das Finden von Usability-Problemen bei Expertentests im Vordergrund. (Vgl. Moser, 2012, S. 225f.) Beispiele für Expertentests finden sich in der Tabelle wieder.

Methode Beschreibung
Heuristische Evaluation Ein System wird aufgrund etablierter Prinzipen (=Heuristiken) untersucht.
Kognitiver Walkthrough Usability-ExpertInnen versetzen sich in die Lage von EndnutzerInnen und absolvieren anhand eines Prototypen typische Aufgaben des späteren Arbeitsumfelds.
Pluralistischer Walkthrough EntwicklerInnen, ExpertInnen und NutzerInnen setzen sich gemeinsam mit einer Benutzerschnittstelle auseinander und diskutieren in einem Workshop Elemente der Interaktionen.
Heuristischer Walkthrough Ist eine Kombination aus heuristischer Evaluation und Anwendungsszenarien.
Feature-Inspektion Es wird überprüft, ob der Funktionsablauf und –umfang mit den Erwartungen der NutzerInnen übereinstimmt.
Konsistenz-Inspektion Untersuchungen von Produkten bzgl. ihrer Konsistenz (z.B. Ausrichtung von Elementen)
Standards-Inspektion Ob gewisse Standards einer Software / eines Systems eingehalten werden, wird von einem Usability-Experten überprüft.

Tabelle: Beispiele von Expertentests (Vgl. Krannich, 2010, S. 143.)

Quellen:

Moser, Christian: User Experience Design. Mit erlebniszentrierter Softwareentwicklung zu Produkten, die begeistern, Berlin, Heidelberg, 2012

Krannich, Dennis: Mobile Usability-Testing. Ein toolbasiertes Vorgehensmodell zum Rapid-Prototyping und Usability-Testing von Mobilen Systemen im originären Benutzungskontext, Bremen, Universität Bremen, Dissertation, 2010

0

In den vergangenen Jahrzehnten wurden diverse Methoden der Usability-Evaluation entwickelt. Die Mehrheit hat das gemeinsame Ziel, Aussagen über die Effektivität, Effizienz und Zufriedenheit über Produkte durch deren Benutzung zu treffen. Aufgrund der unterschiedlichen Vor- und Nachteile der jeweiligen Methoden, muss mit Berücksichtigung der Ziele, dem Status des Projektes, vorhandenem Wissen und dem Zugang zu den NutzerInnen im Vorfeld eine Wahl an zweckmäßigen Methoden getroffen werden. Die am besten geeignetste Methode für die jeweilige Situation zu finden, ist die Herausforderung. Alle Evaluationsmethoden unterliegen den Gütekriterien Objektivität (Unbeeinflusstheit), Reliabilität (Zuverlässigkeit) und Validität (Gültigkeit). (Vgl. Moser, 2012, S. 224.) Die folgende Abbildung stellt die Entwicklung einzelner Verfahren in einem zeitlichen Horizont dar.

Abbildung: Methoden der Usability-Evaluation im zeitlichen Verlauf
(Abbildung entnommen aus: Krannich, 2010, S. 142.)

Eine Gruppierung von Usability-Methoden ist jene nach Nutzertests (empirisch) und Expertentests (analytisch). TeilnehmerInnen sollen bei Nutzertests möglichst realistische Aufgaben durchführen. Sie werden dabei beobachtet, wie sie diese lösen. Ziel ist es, Schwachstellen zu identifizieren. Nutzertests zeigen im Vergleich zu Expertentests lediglich tatsächliche Usability-Probleme auf – die Planung und Auswertung ist allerdings mit höherem Aufwand verbunden. Bei Expertentests werden von ExpertInnen Benutzeroberflächen in Bezug auf charakteristische Usability-Probleme untersucht. Im Gegensatz zu Nutzertests, liefern Expertentests nur Hinweise auf potentielle Usability-Probleme. Es kann nicht gesagt werden, ob diese auch tatsächlich in der Praxis auftreten. Demgegenüber sind Expertentests schneller und effizienter durchführbar als Nutzertests. (Vgl. Moser, 2012, S. 225.)

Desweiteren können Evaluationen in formative und summative unterteilt werden. Formative Evaluationen werden vor einem Designprozess durchgeführt, um frühzeitig potenzielle Usability-Probleme aufzudecken. Summative Evaluationen werden angewendet, um zwei oder mehr Alternativen zu vergleichen. (Vgl. Sarodnick/Brau, 2006, S. 20.) Der Fokus der vorliegenden Masterarbeit liegt auf den Nutzertests. Die in diesem Kapitel vorgestellten Evaluationsmethoden bilden nur einen Auszug der wichtigsten und für diese Arbeit relevanten Methoden ab und erheben keinen Anspruch auf Vollständigkeit. Es gibt keine Methode, die alle Situationen im selben Ausmaß abdeckt. Um die richtige bzw. jene Methode, welche optimal geeignet ist, auszuwählen, müssen Faktoren wie Zeit, Verfügbarkeit oder Aufwand berücksichtigt werden. (Vgl. Ham et al., 2006, S. 261.)

Quellen:

Moser, Christian: User Experience Design. Mit erlebniszentrierter Softwareentwicklung zu Produkten, die begeistern, Berlin, Heidelberg, 2012

Sarodnick, Florian/Brau, Henning: Methoden der Usability Evaluation. Wissenschaftliche Grundlagen und praktische Anwendung (Praxis der Arbeits- und Organisationspsychologie), Bern, 2006

Ham, Dong-Han et al.: Conceptual Framework and Models for Identifying and Organizing Usability Impact Factors of Mobile Phones, in: Kjeldskov, Jesper/Paay, Jeni (Hrsg.): OZCHI 2006. Conference proceedings, 20-24 November, Sydney: design-activities, artefacts, and environments (ACM international conference proceeding series), New York, 2006, S. 261–268

0