We interviewden Ryan Walter, Principal User Experience (UX) Researcher bij EBSCO, voor inzichten in de relatie tussen gebruikersfeedback en ontwikkelstrategieën. Ook vertelt hij hoe beide hebben bijgedragen aan de vernieuwde interface die gebruikersvoorkeuren en gebruikspatronen naadloos verbindt. Lees verder voor meer informatie over het belang van gebruikerstesten en de invloed van feedback op het verbeteren van de gebruikservaring in EBSCO Discovery Service en EBSCOhost.
Kun je iets vertellen over de rol van gebruikerstesten en feedback bij de ontwikkeling van de nieuwe interface? Hoe heeft EBSCO ervoor de stem van de gebruiker geïntegreerd in het proces?
Gebruikerstesten zijn essentieel voor ons ontwikkelingsproces. In mijn jaren bij EBSCO’s UX Research Team hebben we honderden onderzoeken gedaan naar de behoeften, doelen en het gedrag van al onze gebruikers – van bibliothecarissen tot universiteitsstudenten, gebruikers bij openbare bibliotheken, medici en onderzoekers. We gebruiken verschillende onderzoeksmethoden om data te verzamelen, waaronder contextuele interviews, bruikbaarheidstesten, concepttesten, kaartsortering, benchmarking en A/B-testen, om er maar een paar te noemen.
Voor de nieuwe gebruikersinterface hebben mijn team en ik jarenlang de uitdagingen geobserveerd die studenten tegenkomen bij het gebruik van traditionele bibliotheekinterfaces. Bij het ontwerpen van de nieuwe EDS- en EBSCOhost-omgeving wilden we ons richten op de ervaring van studenten en ervoor zorgen dat ze zich niet geïntimideerd of uitgesloten voelden.
Welke belangrijke inzichten of uitdagingen kwamen naar voren uit gesprekken met studenten? En hoe heeft dit het ontwerp en de functionaliteiten van de nieuwe interface gestuurd?
Tijdens het ontwerpen van de nieuwe interface hebben we veel studenten geïnterviewd over hun onderzoeksbehoeften. Dat onderzoek is nog gaande, maar vanaf het begin waren er een paar belangrijke thema's die overeenkwamen in de ervaringen van studenten in verschillende studiegebieden en organisaties.
Zo ontdekten we dat studenten meestal zelfstandig onderzoek doen binnen een strakke deadline. Dit onderzoek is vrijwel altijd ter ondersteuning van lesopdrachten waarvan ze er vele hebben in de loop van een semester – vaak tegelijkertijd en op verschillende vakgebieden. Ze doen dit werk in avonden en weekenden, en zijn over het algemeen niet geneigd om hulp te vragen, dus ze werken niet samen met hun docenten of bibliothecarissen. Sommigen hebben bibliotheekinstructies gehad, sommigen niet. In elk geval zijn zij in een positie waarin ze snel bronnen moeten vinden, en dat moeten ze zelf doen.
Daarnaast zijn deze opdrachten vaak zeer gestructureerd met een duidelijke reeks vereisten en verwachtingen op het gebied van acceptabele bronnen. Hun onderzoeksaanpak is daarom vaak zeer praktisch. Ze zoeken naar relevante full-textdocumenten die ze kunnen downloaden en snel kunnen doornemen, om vervolgens snel aan de slag te kunnen met schrijven en verdere uitvoering van de opdracht.
Tot slot, en dit is het belangrijkste: ze proberen dit allemaal te doen in een bibliotheekinterface die, volgens hun normen, verouderd en verwarrend is, en vele malen complexer dan hun behoeften vereisen. Studenten vandaag de dag verwachten dat hun digitale omgevingen uitnodigend en intuïtief zijn, en wantrouwen gedateerde overvolle interfaces die niet voldoen aan moderne designstandaarden. Deze verwachtingen worden al op jonge leeftijd gevormd door mobiele technologie, app-ontwerp, sociale media en zoekmachines die zoeken in natuurlijke taal ondersteunen. Daarom voelen studenten zich steeds meer aangetrokken tot databanken op het open web zoals Google Scholar of JSTOR; deze zijn moderner en begrijpelijker, en sluiten beter aan op de verwachtingen van studenten over hoe een zoekervaring zou moeten aanvoelen. Ik refereer vaak aan aan citatie van een instructiebibliothecaris over de terughoudendheid van studenten om bibliotheekbronnen op te zoeken: “Onze studenten willen dat dingen gewoon werken. Ze zijn door Google getraind om resultaten te boeken op basis van een paar trefwoorden of een hele zin. Ze verwachten niet dat ze moeten leren hoe ze iets moeten gebruiken.”
Vanaf het begin was het daarom een belangrijk doel voor de nieuwe gebruikersinterface om een omgeving te ontwerpen die studenten in staat stelt om op effectieve wijze zelf onderzoek te doen en die hen inspireert om de bronnen van hun bibliotheek verder te verkennen.
Kun je specifieke voorbeelden geven van gebruikersbehoeften of pijnpunten die naar aanleiding van de feedback zijn geïdentificeerd? Hoe heeft dit geleid tot gerichte aanpassingen van de interface?
Een goed voorbeeld hiervan zijn de veranderingen die we hebben doorgevoerd in de filteropties. Filters zijn een belangrijk onderdeel van de zoekworkflow van studenten, die vaak de voorkeur geven aan peer-reviewed full-textbronnen om te voldoen aan de vereisten van hun lesopdrachten. Uit uitgebreide bruikbaarheidstesten bleek echter ook dat veel van de filters die in de klassieke interface werden getoond – bijvoorbeeld contentleverancier, geografie, locatie en meer – verkeerd worden begrepen door studenten. Ze worden daardoor waarschijnlijk verkeerd gebruikt, wat leidt tot suboptimale zoekresultaten, verwarring en onnodige frustraties. Daarnaast maakte de aanwezigheid van deze extra filters het vaak lastiger voor studenten om de filters te vinden die zij zochten, waardoor de cognitieve belasting die nodig is om veelvoorkomende onderzoekstaken uit te voeren, toenam.
Toen we de ruwe gebruiksdata van filters in de klassieke interface bekeken, zagen we een vergelijkbaar verhaal. Filters als “full-text”, “peer-reviewed” en “in mijn bibliotheek” en datumfilters zorgden voor het overgrote deel van het filtergebruik, terwijl de overige filters elk minder dan 1% van het totale filtergebruik uitmaakten.
Deze informatie zette ons aan het denken over het prioriteren van filteropties op basis van gebruik en behoefte. Het was duidelijk dat de meeste gebruikers de meeste filters over het algemeen niet nodig hadden. Verschillende ontwerp- en testrondes hebben geleid tot de ontwikkeling van “Quick Filters” – snelle filteropties die de meest gebruikte verfijningsopties direct onder het zoekvenster tonen. De minder vaak gebruikte filters zijn indien nodig beschikbaar in een apart paneel. Deze wijzigingen in de filterworkflow worden vaak genoemd als een welkome verbetering in onze bruikbaarheidsstudies. Vooral studenten vinden het in de nieuwe interface veel gemakkelijker om de filters te identificeren die zinvol zijn voor hun zoekopdracht en de kwaliteit van hun resultaten helpen te verbeteren.
Voorbeeld van “Quick Filters” in de nieuwe interface.
Een ander voorbeeld is de keuze om bij een nieuwe implementatie van de nieuwe gebruikersinterface standaard te kiezen voor eenvoudig zoeken in plaats van geavanceerd zoeken. Net als filteren is geavanceerd zoeken een gebied dat studenten in verwarring kan brengen, omdat het een groot aantal resultaatbeperkers en zoekopties biedt die vaak hun behoeften en begrip te boven gaan. In vrijwel al onze observaties van organisch zoekgedrag van studenten, hebben we gezien dat zij eenvoudigweg een paar basistermen of een frase in een zoekvenster willen tikken en dan willen beginnen met het bekijken van hun resultaten. Na die eerste zoekopdracht bekijken ze de top 5 of top 10 van de resultaten misschien een paar seconden voordat ze hun zoektermen steeds verder verfijnen. Bij elke opdracht evalueren ze welke termen naar de meest relevante en veelbelovende bronnen leiden. Zelfs docenten konden, wanneer we hen in gebruikersstudies vroegen te demonstreren hoe zij doorgaans onderzoek uitvoeren, beginnen met geavanceerd zoeken, maar vielen uiteindelijk vaak terug op dezelfde eenvoudige, iteratieve trefwoordbenadering die hun studenten gebruiken.
Toen het ging om het vastleggen van zoekworkflows in de nieuwe interface, hebben we daarom besloten om standaard te kiezen voor eenvoudig zoeken, simpelweg omdat dit het meest toegankelijke en praktische startpunt is voor het merendeel van onze gebruikers. Het tonen van slechts één zoekvak met een paar belangrijke filters vermindert overweldiging, stimuleert interactie en geeft het onderzoeksproces een vliegende start.
Kun je voorbeelden geven van gevallen waarin feedback van gebruikers direct is vertaald naar nieuwe functies of aanpassingen? Hoe hebben jullie ervoor gezorgd dat de suggesties van gebruikers effectief zijn verwerkt?
Zoals ik al eerder aangaf, is een terugkerend thema dat we hebben gehoord in onze gesprekken met studenten dat ze meestal moeten jongleren met meerdere opdrachten waarvoor ze onderzoek moeten doen voor verschillende lessen. Als gevolg daarvan zijn hun onderzoeksinspanningen vaak "touch and go", divers, uitgevoerd in meer dan één sessie, mogelijk op meer dan één apparaat; kortom, ze zijn nooit niet aan het multitasken. Deze gewoonten weerspiegelen de groeiende verwachting van studenten (en alle gebruikers) dat werk dat online uitgevoerd wordt, wordt vastgelegd en terug te vinden is. Als ik op dinsdag een blik werp op een artikel, is de verwachting dat ik het op donderdag gemakkelijk terug kan vinden in mijn bekeken items.
De prominente plek van het dashboard in de nieuwe gebruikersinterface komt tegemoet aan deze verwachting, en legt de nadruk op tools voor het organiseren van onderzoek zoals het aanmaken van projecten en het opslaan van resultaten. Studenten kunnen daarmee snel belangrijke bronnen opslaan en onderscheid maken tussen meerdere opdrachten. Het maakt ook het wisselen tussen laptop en mobiel een fluitje van een cent, omdat studenten in hun account op elk gewenst toestel hebben tot de informatie.
Dit alles resulteert in een set functionaliteiten en tools die studenten het gevoel geeft dat ze hun onderzoekservaring onder controle hebben en die het gebruik van hun bibliotheekwebsite en -bronnen stimuleert.
Gebruikersfeedback bevat vaak uiteenlopende meningen. Hoe zijn jullie met deze diversiteit omgegaan om een balans te vinden tussen geavanceerde functionaliteit voor ervaren onderzoekers en een eenvoudigere ervaring voor nieuwe gebruikers?
Feedback van bibliothecarissen is altijd een essentieel onderdeel van ons onderzoek geweest. We zetten ons in om een interface te maken waarmee bibliothecarissen onderzoeksmethoden en informatievaardigheden kunnen aanleren, en waarmee studenten zelf relevante, betrouwbare content kunnen ontdekken. Voor bibliothecarissen en meer ervaren onderzoekers blijven we doorlopend nieuwe geavanceerde zoekfuncties in de nieuwe interface introduceren, waaronder zoekopties, zoekgeschiedenis en thesaurusfunctionaliteiten. Ons doel is om geavanceerd zoeken dé plek te maken voor de ervaren gebruiker die vertrouwt op geavanceerde zoektools voor zijn onderzoek, training van nieuwe generaties wetenschappers, en belangrijke bijdragen aan zijn vakgebied.
Hebben jullie meetbare verbeteringen in de gebruiksvriendelijkheid of gebruikerstevredenheid waargenomen als gevolg van de veranderingen? Wat waren enkele opvallende resultaten?
Een van de belangrijkste manieren waarop we het succes van een product meten, is door middel van bruikbaarheidsbenchmarking. EBSCO's gebruikersonderzoeksteam voert periodiek benchmarks van de nieuwe interface uit met studenten, docenten en bibliothecarissen van over de hele wereld. Deelnemers wordt gevraagd een reeks veelvoorkomende onderzoekstaken uit te voeren en te beoordelen hoe gemakkelijk dat is. De antwoorden worden vervolgens gescoord aan de hand van de System Usability Scale (SUS). Dit levert een algehele bruikbaarheidsscore tussen 0 en 100 op, met een uitgangswaarde van 68.
In de zeven benchmarkstudies die we hebben uitgevoerd sinds de publicatie van de nieuwe interface, zagen we een gemiddelde SUS van 92 onder studenten en 84 onder docenten en bibliothecarissen. In ons meest recente benchmarkonderzoek, uitgevoerd in juli 2023, zagen we een SUS van 97 onder studenten, wat uitzonderlijk hoog is. We zagen ook hoge scores op algemeen gebruiksgemak, vertrouwen in het gebruik en waarschijnlijkheid van gebruik onder studenten. Dit was verheugend voor mijn team en mijzelf omdat, zoals ik al zei, het verhogen van het gebruik en het vertrouwen één van de belangrijkste doelen was bij het ontwerpen van de nieuwe interface.
Overzicht van de resultaten van de benchmarkstudie van juli 2023.
Factoren die studenten consequent noemden bij de waarschijnlijkheid van gebruik waren onder andere snelle filters, gemak van citeren en opslaan, eenvoud van zoeken, gehighlighte zoektermen in de resultatenlijst en de algehele heldere, moderne esthetiek van de omgeving.
Hoe worden gebruikers betrokken bij de doorlopende verbetering van de interface na de lancering? Worden gebruikers aangemoedigd hun ervaringen en suggesties te delen?
We houden voortdurend gesprekken met studenten, docenten en bibliothecarissen over de nieuwe interface, en voeren onderzoek uit om feedback te genereren over nieuwe functies en verfijningen. Het afgelopen jaar hebben we een diepgaand onderzoek gedaan naar de bruikbaarheid van filters om de gebruiksworkflows te verbeteren. De resultaten van dat onderzoek hebben geleid tot een reeks aanpassingen aan het filterpanel die momenteel worden ontwikkeld. Deze verbeteringen zullen het navigeren door het filterpanel eenvoudiger maken, actieve filterselecties beter zichtbaar maken, en omvatten de introductie van 'sticky filters' voor het behouden van filterselecties bij het maken van verfijningen in geavanceerd zoeken.
Hoe heeft de integratie van gebruikerstesten en feedback het ontwikkelingsproces van de nieuwe interface verrijkt?
Gebruikerstesten hebben ons van een ontwikkelingsmodel dat alleen naar de markt kijkt, gebracht naar een model inzichten zoekt op het gebied van de veranderende behoeften en verwachtingen van al onze gebruikers. Het heeft onze inspanningen gericht op het oplossen van problemen waarvan we voorheen niet wisten dat ze bestonden, en heeft onze kennis over de bibliotheekgebruiker uitgebreid met uiteenlopende gewoonten en opvattingen. Het is niet altijd gemakkelijk om een balans te vinden tussen de uiteenlopende behoeften van onze gebruikers. Toch is de uitdaging de moeite waard, en ik denk dat de veranderingen die we in de nieuwe interface hebben aangebracht, zullen leiden tot meer gebruik door studenten en een nieuw enthousiasme voor de bronnen van de bibliotheek.
_ _ _
De ontwikkeling van de nieuwe interface van EBSCO Discovery Service en EBSCOhost is een duidelijk voorbeeld van gebruikersgericht design. Uitgebreide gebruikerstesten en feedback gaven inzicht in de uiteenlopende behoeften en gewoontes van onze gebruikers, wat resulteerde in praktische verbeteringen zoals geprioriteerde filtering en gestroomlijnde zoekopties. De positieve bruikbaarheidsdata, waaronder gemiddelde System Usability Scale (SUS) scores van 92 onder studenten en 84 onder docenten voor EDS, onderstrepen de positieve impact van deze veranderingen. Voortdurende samenwerking met gebruikers blijft centraal staan om ervoor te zorgen dat de interface blijft passen bij de veranderende gebruikersverwachtingen. Deze gezamenlijke reis van gebruikers en ontwikkelaars benadrukt de transformerende invloed van feedback op het ontwikkelproces, en leidt uiteindelijk tot een interface die de effectiviteit van gebruikersgericht design bewijst.
