beluga

Sieben Studentinnen und Studenten der HAW Hamburg haben beluga 0.7 unter der Leitung von Prof. Ursula Schulz während des letzten Semesters auf Herz und Nieren bzw. auf Usability und Accessibility geprüft. Nach einer Heuristischen Evaluation, einem Cognitive Walkthrough, vielen Tests zur Barrierefreiheit und noch mehr Stunden im Usability-Labor der HAW übergeben wir diese Woche der Stabi unseren knapp 120 Seiten umfassenden Bericht. Herausgekommen sind einige für uns überraschende Erkenntnisse. Verwundert hat uns, dass nur wenige unserer Testpersonen die rechts oben platzierten Felder wahrgenommen und richtig interpretiert haben. Positiv aufgefallen ist, dass auch ProbandInnen ohne größere OPAC-Erfahrungen schnell zu guten Rechercheergebnissen kamen.

Anstelle einer reinen Aufzählung unserer Ergebnisse zeigen wir lieber einen kleinen Zusammenschnitt unserer Videoaufnahmen aus dem Usability-Labor:

Get the Flash Player to see this player.

Beim Usability-Test kam die sogenannte Videofeedback-Methode zum Einsatz. Zunächst haben wir unsere Testpersonen vier Aufgaben in Stillarbeit bearbeiteten lassen und sie dabei aufgezeichnet. Nach einem kurzen Fragebogen wurden den ProbandInnen die Videomitschnitte der von ihnen bearbeiteten Aufgaben vorgeführt. Dabei haben wir die Testpersonen angehalten, ihre Vorgehensweisen und Aktionen zu kommentieren und zu erklären.

Die folgenden Kommentare haben wir so oder ähnlich besonders oft gehört:

“Die rechte Spalte fand ich praktisch”
Wie man sieht, waren die spontanen Reaktionen der Testpersonen insgesamt sehr positiv. Gerade die vielen Einschränkungsmöglichkeiten durch die Drilldowns und das minimalistische Design kamen bei den ProbandInnen gut an.

“Ich hab’ nur geschaut wo ich etwas eingeben kann”
Die Grafik auf der Startseite, die die Anzahl der vorhandenen Medientypen visualisiert, ist erwartungsgemäß gefloppt. Für die Testpersonen schien das Suchfeld das einzig Wichtige der Startseite zu sein.

“Ich hab’ immer nur auf das Farbige geachtet”
Als problematisch stellten sich die geschlossenen Facetten heraus, die von den meisten ProbandInnen entweder übersehen oder als nicht verfügbar interpretiert wurden. Vor allem weniger internetaffine Testpersonen erkannten die Navigationsmöglichkeit über die schwarzen Dreiecke nicht.

“Das graue Feld in der Mitte wirkt irgendwie komisch”
Über die Akzeptanz der Funktion “Aufsatzdatenbanken zu Ihrer Suche” lässt sich nach den Tests keine klare Aussage treffen. Wir haben aber festgestellt, dass die Position des Feldes innerhalb der Trefferliste bei den Testpersonen zu Irritationen geführt hat und für NutzerInnen von Screenreadern unvorteilhaft ist.

“Eine Buchbeschreibung fänd’ ich wirklich praktisch”
Fast alle ProbandInnen wünschten sich mehr Anhaltspunkte, um die Relevanz der einzelnen Treffer besser beurteilen zu können. Dabei wurde von einigen Testpersonen der Wunsch nach Rezensionen geäußert (ganz im Gegensatz zu den Fokusgruppen). Die in der Vollanzeige hinterlegten Google Book Search-Auszüge und Inhaltsverzeichnisse kamen gut an, wurden aber (immer noch) viel zu oft übersehen.

Ginge es nach uns, würde beluga in Zukunft so aussehen:

Redesign-Empfehlungen: Startseite

Redesign-Empfehlungen: Trefferliste, Datenbank-Recommender ausgeklappt

Redesign-Empfehlungen: Trefferliste

Redesign-Empfehlungen: Detailanzeige

Zum Schluss noch ein Satz zur Barrierefreiheit: Beim BITV-Test erreichte beluga 0.7 immerhin 84 von 100 Punkten und gilt somit als “eingeschränkt zugänglich”.

Vergangene Woche fand der alljährliche BibliothekarInnen-Tag statt - diesmal in Erfurt. Einen beluga-Vortrag im eigentlichen Sinn gab es dort nicht, wohl aber zwei Präsentationen mit beluga-Bezug:

Die Anbindung von beluga an Lernmanagement-Systeme wie CommSy sowie die Möglichkeit, Literaturlisten aus beluga in soziale Netzwerke wie life zu exportieren habe ich in der Session “Bibliothek 2.0″ gezeigt:

In der Zukunftswerkstatt habe ich ein paar Best-Practice-Beispiele für Katalog 2.0-Funktionen vorgestellt, die meiner Ansicht nach dazu taugen, den BenutzerInnen Glücksgefühle bei der Arbeit mit den neuen Tools zu vermitteln. Hier sind die Präsentationsfolien:

Im Bibliotheksdienst 43 (2009) 5, S. 527-537 erschienen und hier als PDF: Partizipative Entwicklung von Diensten in der Bibliothek 2.0: Methoden und Ergebnisse aus Katalog 2.0-Projekten. Der Artikel fasst die Ergebnisse aus Usability-Studien, Fokusgruppen und anderen Forschungen rund um den Katalog 2.0 aus beluga und anderen Projekten zusammen.

The presentation also features a map with links to the quite stunning number of Next Generation Catalogs in European libraries. Suggestions for additions are very welcome!

CommunityWalk Map - Next Generation Catalogs in Europe

beluga 0.7 ist online, interner Codename “Die aufgemischte Version”. Warum? Mit den Verfügbarkeitsinformationen über DAIA, dem Fachprofil-Webservice der Bremer E-LIB und dem Online Update Fetch des GBV nutzen wir diverse Webservices und Schnittstellen zur Anreicherung und Aktualisierung von beluga- Daten. Was im Einzelnen ist neu? Weiterlesen »

Letzte Woche hatten wir bei beluga Besuch von den sympathischen Machern von Mediabird. Fabian Gebert und Frank Wolf studieren an der Uni Hamburg und haben eine Lücke in ihrem persönlichen Bedarf an E-Learning-Tools gefüllt: Mit Mediabird stellen sie ein webbasiertes Werkzeug zur Verfügung, mit sich digitale Texte annotieren und taggen lassen. Das daraus gezogene Wissen lässt sich mit Mediabird darüber hinaus in Karteikartenform aufbereiten und zur Prüfungsvorbereitung - allein oder in virtuellen Gruppen - nutzen. Der Luhmann’sche Zettelkasten im 2.0-Format, sozusagen.

Wir hatten Mediabird schon auf der Campus Innovation im letzten November kennengelernt und uns vorgenommen, über eine mögliche Integration dieses Tools in beluga nachzudenken.  Seither haben wir in den Fokusgruppen mit Studierenden aber mehr über deren Anforderungen an den Katalog 2.0 gelernt und vor allem ihre Skepsis in Bezug auf die Erstellung von “user-generated content” und die kollaborative Arbeit an Texten zu spüren bekommen. Weswegen wir mit Freude zur Kenntnis genommen haben, dass sich die Mediabird-Macher auch schon an die Betreiber von E-Learning-Plattformen gewendet haben und tatsächlich auch die Integration von Mediabird in CommSy bevorsteht, denn dort, in den abgeschlossenen Räumen voller bekannter Personen, scheinen die sozialen und kollaborativen Funktionen derzeit die beste Chance auf Nutzung zu haben. Im Auge behalten werden wir Mediabird dennoch!

Partizipative Entwicklung, die dritte: Nach Fokusgruppen mit Lehrenden vor einem Jahr, dem Test des ersten Prototypen im Usability-Labor im Oktober haben wir kürzlich wieder BenutzerInnen und ihre Bedürfnisse erforscht: Zwei Fokusgruppen mit 14 Studierenden aus unterschiedlichen Fachrichtungen haben im Januar stattgefunden und uns dabei geholfen, die Vorstellungen der Zielgruppe vom Katalog und ihre Anforderungen daran besser zu verstehen.

Ein wichtiges Ergebnis ist die neuerliche Bestätigung unserer Vorgehensweise: “Gut, dass endlich mal die gefragt werden, die später darunter leiden werden” ist eines unserer Lieblingszitate. Was haben wir darüber hinaus gelernt? Weiterlesen »

Das Rezept für beluga 0.5 hat Uschi Schulz hier im Blog bereits beschrieben: 300 g Fokusgruppen, 600 g Solr und eine Prise Mashup. Hat nicht schlecht geschmeckt, geht aber besser: beluga 0.6 ist da, und wir haben zusätzlich 300 g Usability-Studien und je eine Handvoll UnAPI und refbase untergemischt. Bitte hier entlang zum Probieren. Weiterlesen »

1986, als Deutschland seinen ersten OPAC sah, waren die RSWK ein Schildbürgerstreich: Es wurde in dem Jahr ein aufwändiges Regelwerk für Kartenkataloge vorgelegt. Nun sind die RSWK da, und - wie mit so vielen anderen Fremddaten induzierten Sachzwängen - müssen wir damit leben. Der Tragödie zweiten Teil kann man bei Heidrun Wiesenmüller im Bibliotheksdienst Heft 10 (2008) nachlesen: Kaum eine Bibliothek hat die RSWK so umgesetzt, wie sie einst gedacht waren - was bedeutet, dass nur wenige sie ernst nahmen. Neuere Versuche, RSWK-Ketten, ihre Permutationen und Einzel-Schlagwörter mit ihren SWD-Verweisungen doch noch irgendwie online-tauglich zu gestalten, erweisen sich als benutzerferne Workarounds. Jedem, der sich damit näher beschäftigen möchte oder muss, sei der sehr gut recherchierte Aufsatz von Wiesenmüller empfohlen.

I may be wrong, but: Jetzt, wo uns Lucene/Solr das intuitiv verständlich Drill-Down beschert, machen die RSWK auf einmal Sinn, oder? Sie liefern uns die Facetten (und ihre Foci), die zu jeder größeren Klassifikation gehören (dort als Schlüssel) bzw. die S. R. Ranganathan vor einem halben Jahrhundert in seiner PMEST-Formel für seine Colon-Classification einführte. Ein Auge zugedrückt, entspricht Personality den Personen-Schlagwörtern (SWW), Matter und Energy den Sach-SWW, Space den Geographika und Time den Zeit-SWW. Darüber hinaus liefern die RSWK Form-SWW. Nur letztere erkenne ich in den Filtern von Bibliothekskatalogen wieder.

Ranganathans Formel ist kein Selbstzweck: Zeit und Ort sind wesentlich Aspekte in den Geistes- und Geowissenschaften. In den bibliothekarischen Datenformaten (zumindest MARC, MAB, PICA) werden neben Form- auch Geo- und Zeit-SWW mit Indikatoren versehen. Endlich können wir Zeit- und Ortsfacetten als frei kombinierbare Filter anbieten; Fragen von Citation Order oder gar Permutationen müssen uns das Leben nicht mehr erschweren. Und wir verzichten gerade jetzt darauf?

Meine Frage an euch Blog-LeserInnen: Woran liegt das?

• Wurden beim Mapping in kataloginterne Formate die Indikatoren nicht mittransportiert?

• Erscheinen euch die zusätzlichen Orts- und Zeitfacetten zu viel und deshalb verwirrend für unsere Kunden?

• Wurden die Indikatoren in den MARC, MAB, PICA-Daten zu wenig verwendet, so dass die Datengrundlage, die ich vermute, gar nicht vorhanden ist?

• Übersehe ich etwas?

Für alle KollegInnen unter 50 eine sehr kurze Geschichte der Usability-Evaluation von Online-Katalogen; danach geht’s weiter mit beluga.

<geschichte>
1987 und 1990 erschienen die British Library Research Papers über OKAPI, den ersten OPAC, der erwiesene Probleme der User konsequent auffing. Vor allem durch Logfile-Analysen wusste man: Kunden verschreiben sich, ohne es zu bemerken, verwenden Suchtermini, die zu keinen Matches mit Stich- oder Schlagwörtern führen, finden relevante Treffer nicht, weil sie in unzweckmäßig sortierten Listen untergehen, finden zu viele Treffer, die sie auf Grund einer widersinnigen Verwendung von booleschen Operatoren nicht eingrenzen können, sind verwirrt von Fachjargon und Featurismus. Das hat sich bis heute nicht geändert.

Man reagierte schon damals mit Stemming (Porter Algorithmus), Spellchecker (Soundex), Äquivalenzlisten (Beispiel: 2nd world war = second world war = 2. world war = II. world war), Closest Match und Relevanzsortierung, Relevance Feedback (im Sinne von ‚more like this’) und einer Beschränkung auf zwei Voreinstellungen: ‘Suche mit einem Thema’ und ‘Suche nach einer bekannten Schrift’. Das alles wird heute wieder entdeckt, weil der Innovationsdruck durch neue Vorbilder - nun nicht versteckt in Forschungsberichten, sondern sichtbar im Internet - groß ist.

Also was ist neu?

• Die Verlinkungs- und Vernetzungsmöglichkeiten im WWW (Hyperlinks und offene Programmierschnittstellen)
• Die Gewöhnung der User an Google
• Mehr Volltexte in Katalogen
• Das Konzept des View-based Browsings/Drill-Downs
• lucene/solr

</geschichte>

Nun aber zum Überleben in Zeiten der Usability-Evaluation von beluga. Bisher verwenden wir folgende Methoden der Anwenderpartizipation:

• Focus Group Interviews (bisher mit Lehrenden, in Zukunft auch mit Studierenden unter Verwendung von Mockups)
• Online-Feedback von Nutzern der Lehr-/Lern-Plattform CommSy
• Heuristische Evaluation des ersten Prototypen nach allgemein anerkannten Usability-Kriterien für Suchmaschienen
• Tests der gegenwärtigen beluga-Suche in einem Usability-Labor (mit 8 Testpersonen)

Wir machen das, um nicht - selbstverliebt - für uns sondern für unsere Kunden zu entwickeln, um nicht das zu implementieren, was möglich ist, sondern das was gebraucht wird. Dabei gehen wir zyklisch vor: Unser erster Prototyp ist eine Backmischung aus 300 g Focus Group Interviews, 600 g solr und einer Prise Mashup. Den Kuchen haben wir in den letzten 2 Wochen 8 Testpersonen (Studierende ab 4. Semester) zu essen gegeben. Sie haben es überlebt, wir auch. Allerdings sind einige Testergebnisse nicht leicht verdaulich:

• Anders als erwartet, vermissten die Testpersonen (TPP) eine erweiterte Suche, wenn es um Known-Item-Suchen ging. Ihr Referenzmodell war der Bibliothekskatalog so wie sie ihn kannten. Das nackte Suchfeld verunsicherte und enttäuschte sie.
• Die Enttäuschung war groß, wenn es keine Inhaltsbeschreibungen gab, an denen sich Relevanz festmachen ließ.
• Sie vermissten einen Weg, die relvantesten und gleichzeitig aktuellsten Schriften herauszufiltern.
• Alle TPP vermissten Aufsätze oder hätten gerne gewusst, welche Inhalte sie von dem Katalog erwarten können.
• Einiges, das uns evident erschien, wurde missverstanden - darunter die Sortierfunktion, die nicht nur von einer TP als zusätzlicher Filter verstanden wurde. Deshalb wurde die Sortierfunktion nur von einer TP zweckmäßig eingesetzt.
• Vermisst wurde die Unterscheidung einer Suche von und über eine Person.
• Die Filter könnten hilfreicher sein - in ihrer Art, ihrer Abfolge und ihren Benennungen.
• Über die Funktion “weitere Titel finden …” lässt sich nach den Tests keine eindeutige Aussage machen.

Dies sind ein paar wesentliche Testergebnisse, die wir in langen Sitzungen unter Konsum von Schokoladenkuchen und beluga-buns hin und her wälzen. Für die nächsten Entwicklungsschritte sind wir zu folgenden Entscheidungen gekommen:

Wir werden der Prägung unserer TPP durch den konventionellen Katalog zunächst nicht Rechnung tragen. Bevor wir über Voreinstellungen vor dem ersten Suchschritt nachdenken (z.B. leicht erweiterte Suche, Reiter, Dialoge), werden wir ausprobieren, welche Probleme wir durch Nachbesserungen im Interface und ein Ausreizen aller Möglichkeiten unter solr lösen können. Dabei haben wir folgenden Aufgaben höchste Priorität eingeräumt:

• Optimierung des Relevance Ranking, des Drill-Downs und der Ähnlichkeitssuche
• Implemtierung Spellcheck
• Visualisierung des Kataloginhalts nach Publikationsformen
• prominentere Platzierung von Inhaltsverzeichnissen/GBS
• Usability-Optimierung der Merkliste und der Navigation in Treffermengen

Die resultierende beluga-Version werden wir wiederum testen, um informierte Vorstellungen über dann noch notwendige Zusatz-Optionen zu entwickeln. Zusätzlich planen wir Focus Group Interviews mit Studierenden, um in Sachen Mashups und User Generated Content klarer zu sehen.

Was mich interessieren würde: Hat ein Leser/eine Leserin dieses Blogs eine zündende Idee zu folgenden Fragen:

• Wie können wir eine Unterscheidung nach Thematischer Suche und KnownItem-Suche voreinstellen? Unsere eigenen Ideen dazu sind noch unbefriedigend.
• Welches ist ein eleganter und gebrauchstauglicher Weg, unter Verwendung von solr eine Schnittmenge der relevantesten und gleichzeitig aktuellsten Titel zu finden?

(Mehr über OKAPI von Birger Hjørland)