beluga

Für alle KollegInnen unter 50 eine sehr kurze Geschichte der Usability-Evaluation von Online-Katalogen; danach geht’s weiter mit beluga.

<geschichte>
1987 und 1990 erschienen die British Library Research Papers über OKAPI, den ersten OPAC, der erwiesene Probleme der User konsequent auffing. Vor allem durch Logfile-Analysen wusste man: Kunden verschreiben sich, ohne es zu bemerken, verwenden Suchtermini, die zu keinen Matches mit Stich- oder Schlagwörtern führen, finden relevante Treffer nicht, weil sie in unzweckmäßig sortierten Listen untergehen, finden zu viele Treffer, die sie auf Grund einer widersinnigen Verwendung von booleschen Operatoren nicht eingrenzen können, sind verwirrt von Fachjargon und Featurismus. Das hat sich bis heute nicht geändert.

Man reagierte schon damals mit Stemming (Porter Algorithmus), Spellchecker (Soundex), Äquivalenzlisten (Beispiel: 2nd world war = second world war = 2. world war = II. world war), Closest Match und Relevanzsortierung, Relevance Feedback (im Sinne von ‚more like this’) und einer Beschränkung auf zwei Voreinstellungen: ‚Suche mit einem Thema‘ und ‚Suche nach einer bekannten Schrift‘. Das alles wird heute wieder entdeckt, weil der Innovationsdruck durch neue Vorbilder – nun nicht versteckt in Forschungsberichten, sondern sichtbar im Internet – groß ist.

Also was ist neu?

• Die Verlinkungs- und Vernetzungsmöglichkeiten im WWW (Hyperlinks und offene Programmierschnittstellen)
• Die Gewöhnung der User an Google
• Mehr Volltexte in Katalogen
• Das Konzept des View-based Browsings/Drill-Downs
• lucene/solr

</geschichte>

Nun aber zum Überleben in Zeiten der Usability-Evaluation von beluga. Bisher verwenden wir folgende Methoden der Anwenderpartizipation:

• Focus Group Interviews (bisher mit Lehrenden, in Zukunft auch mit Studierenden unter Verwendung von Mockups)
• Online-Feedback von Nutzern der Lehr-/Lern-Plattform CommSy
• Heuristische Evaluation des ersten Prototypen nach allgemein anerkannten Usability-Kriterien für Suchmaschienen
• Tests der gegenwärtigen beluga-Suche in einem Usability-Labor (mit 8 Testpersonen)

Wir machen das, um nicht – selbstverliebt – für uns sondern für unsere Kunden zu entwickeln, um nicht das zu implementieren, was möglich ist, sondern das was gebraucht wird. Dabei gehen wir zyklisch vor: Unser erster Prototyp ist eine Backmischung aus 300 g Focus Group Interviews, 600 g solr und einer Prise Mashup. Den Kuchen haben wir in den letzten 2 Wochen 8 Testpersonen (Studierende ab 4. Semester) zu essen gegeben. Sie haben es überlebt, wir auch. Allerdings sind einige Testergebnisse nicht leicht verdaulich:

• Anders als erwartet, vermissten die Testpersonen (TPP) eine erweiterte Suche, wenn es um Known-Item-Suchen ging. Ihr Referenzmodell war der Bibliothekskatalog so wie sie ihn kannten. Das nackte Suchfeld verunsicherte und enttäuschte sie.
• Die Enttäuschung war groß, wenn es keine Inhaltsbeschreibungen gab, an denen sich Relevanz festmachen ließ.
• Sie vermissten einen Weg, die relvantesten und gleichzeitig aktuellsten Schriften herauszufiltern.
• Alle TPP vermissten Aufsätze oder hätten gerne gewusst, welche Inhalte sie von dem Katalog erwarten können.
• Einiges, das uns evident erschien, wurde missverstanden – darunter die Sortierfunktion, die nicht nur von einer TP als zusätzlicher Filter verstanden wurde. Deshalb wurde die Sortierfunktion nur von einer TP zweckmäßig eingesetzt.
• Vermisst wurde die Unterscheidung einer Suche von und über eine Person.
• Die Filter könnten hilfreicher sein – in ihrer Art, ihrer Abfolge und ihren Benennungen.
• Über die Funktion „weitere Titel finden …“ lässt sich nach den Tests keine eindeutige Aussage machen.

Dies sind ein paar wesentliche Testergebnisse, die wir in langen Sitzungen unter Konsum von Schokoladenkuchen und beluga-buns hin und her wälzen. Für die nächsten Entwicklungsschritte sind wir zu folgenden Entscheidungen gekommen:

Wir werden der Prägung unserer TPP durch den konventionellen Katalog zunächst nicht Rechnung tragen. Bevor wir über Voreinstellungen vor dem ersten Suchschritt nachdenken (z.B. leicht erweiterte Suche, Reiter, Dialoge), werden wir ausprobieren, welche Probleme wir durch Nachbesserungen im Interface und ein Ausreizen aller Möglichkeiten unter solr lösen können. Dabei haben wir folgenden Aufgaben höchste Priorität eingeräumt:

• Optimierung des Relevance Ranking, des Drill-Downs und der Ähnlichkeitssuche
• Implemtierung Spellcheck
• Visualisierung des Kataloginhalts nach Publikationsformen
• prominentere Platzierung von Inhaltsverzeichnissen/GBS
• Usability-Optimierung der Merkliste und der Navigation in Treffermengen

Die resultierende beluga-Version werden wir wiederum testen, um informierte Vorstellungen über dann noch notwendige Zusatz-Optionen zu entwickeln. Zusätzlich planen wir Focus Group Interviews mit Studierenden, um in Sachen Mashups und User Generated Content klarer zu sehen.

Was mich interessieren würde: Hat ein Leser/eine Leserin dieses Blogs eine zündende Idee zu folgenden Fragen:

• Wie können wir eine Unterscheidung nach Thematischer Suche und KnownItem-Suche voreinstellen? Unsere eigenen Ideen dazu sind noch unbefriedigend.
• Welches ist ein eleganter und gebrauchstauglicher Weg, unter Verwendung von solr eine Schnittmenge der relevantesten und gleichzeitig aktuellsten Titel zu finden?

(Mehr über OKAPI von Birger Hjørland)