Natural Language Understanding (NLU) is toonaangevend op het gebied van het gebruik van kunstmatige intelligentie (Artificial Intelligence, AI) bij zoeken. Een nieuwe bètafunctie van EBSCO Discovery Service (EDS) en EBSCOhost met de naam “Natural Language Search” combineert de analytische intelligentie van NLU met het robuuste zoekalgoritme dat EBSCO heeft ontwikkeld aan de hand van tientallen jaren testen en configuratie specifiek voor de behoeften van onderzoekers.
EBSCO omarmt de kracht van NLU om de effectiviteit van onderzoek te verbeteren en de onderzoekservaring te transformeren. Hoewel NLU de technologie is achter de nieuwe Natural Language Search in EBSCO Discovery Service en EBSCOhost, is de functie geavanceerd zoeken nog steeds beschikbaar zonder dat er gebruik wordt gemaakt van AI, tenzij dat specifiek gekozen wordt. Door de kracht van EBSCO’s zoekmachine te combineren met NLU, ontstaat een adaptieve zoekmogelijkheid die de zoekvoorkeuren en ervaringsniveaus van alle gebruikers respecteert.
In augustus en september van 2024 heeft EBSCO bètatests uitgevoerd rondom deze nieuwe zoekmodus in EBSCO Discovery Service en EBSCOhost onder 60 studenten en 30 gevorderde onderzoekers. In dit artikel vatten we het gebruikersonderzoek en de belangrijkste bevindingen samen.
Wat is de “Natural Language Search” functie?
EBSCO's Natural Language Search is een geavanceerde functie die NLU gebruikt om zoekopdrachten van gebruikers nauwkeuriger te interpreteren, zodat de intentie van de gebruiker wordt gevolgd. Dit leidt tot preciezere zoekresultaten, wat cruciaal is voor onderzoekers die snel specifieke informatie moeten vinden. Natural Language Search is toegankelijk via de opties voor geavanceerd zoeken. Het vormt een aanvulling op traditionele zoekmethoden door de zoekcriteria en -parameters van de gebruiker te begrijpen en te respecteren, zonder dat gebruikers de “code” van geavanceerdere zoekfuncties hoeven te kraken.
Zoals een respondent opmerkte:
“Ik was onder de indruk van de dekking en de relevantie van het zoeken in natuurlijke taal, omdat het elementen naar boven haalde die niet zo gemakkelijk toegankelijk waren in een pure trefwoordzoekopdracht. Tegelijkertijd zag ik het voordeel van EBSCO’s relevantie-algoritme, omdat het geen geïsoleerde semantische zoekopdracht zonder context leek. Ik denk dat minder ervaren onderzoekers zullen profiteren van het gemak van het gebruik van natuurlijke taal, en meer ervaren gebruikers de mogelijkheid zullen hebben om zoekopdrachten samen te stellen die gebruik maken van de combinatie van trefwoorden/metadata en semantisch zoeken (en ook nieuwe gebieden kunnen ontdekken die buiten hun expertise vallen).” - Aan bètatest deelnemende onderzoeker [quote vertaald uit het Engels]
Over de bètatest
Tijdens het testen kregen deelnemers uit de geavanceerde gebruikersgroep een enquête waarin hen werd gevraagd om ten minste drie zoekopdrachten in natuurlijke taal uit te voeren met Natural Language Search uitgeschakeld, en daarna nog een met Natural Language Search ingeschakeld. Deelnemers werd gevraagd naar hun eerste indruk op een schaal van 1-5, vervolgens werd hen gevraagd om de relevantie van de resultaten van elke zoekopdracht te beoordelen op een schaal van 1-5, en tot slot vroegen we hen om aan te geven of ze de functie zouden inschakelen als deze beschikbaar was.
Op vergelijkbare wijze maakten de deelnemers in de studentengroep gebruik van een A/B-test waarbij een zoekopdracht in natuurlijke taal twee keer werd uitgevoerd in de EDS-interface: één keer met Natural Language Search aan en één keer met deze functie uitgeschakeld. Respondenten werden gevraagd naar hun indrukken, de relevantie van beide zoekopdrachten, en tot slot naar hoe de nieuwe zoekmodus zich verhoudt tot andere zoekfuncties die ze hadden gebruikt.
Feedback ontvangen van deelnemers aan de bètatest
Uit de test kwamen de volgende resultaten:
- 57% van de onderzoekers had een positieve indruk van Natural Language Search, waarbij 27% zowel Natural Language Search als traditionele zoekmodi nuttig vond.
- Gemiddeld 74% van de onderzoekers vond Natural Language Search zeer relevant.
- 67% van de deelnemende studenten gaf aan dat hun zoekervaring met Natural Language Search beter was dan met andere zoekmachines die ze eerder voor onderzoek gebruikten.
- 87% van de studenten zei dat het eenvoudiger was om zoekresultaten van goede kwaliteit te vinden met Natural Language Search.
- 63% van de gevorderde onderzoekers gaf aan dat ze Natural Language Search als zoekmodus zouden inschakelen.
Veelgehoorde reacties waren dat zoeken in natuurlijke taal de potentie heeft om traditionele zoekmethoden aan te vullen, waarbij zaken als zoekvragen en -kwalificaties beter kunnen worden behandeld in de zoekmodus van natuurlijke taal.
Over het testen met vragende zoekopdrachten:
“Het lijkt erg gebruiksvriendelijk omdat er geen geavanceerde zoekopdrachten nodig zijn om aan je onderzoek te beginnen. Het vereenvoudigt het zoeken en maakt het toegankelijk voor beginners.” - Aan bètatest deelnemende onderzoeker [quote vertaald uit het Engels]
Over het testen met niet-Booleaanse kwalificaties:
“Ik gebruikte echte zoekopdrachten van MBO-studenten en was compleet omver geblazen door hoe de AI-tool relevante resultaten kon verkrijgen voor slecht gestructureerde zoekopdrachten. Als ik dezelfde zoekopdrachten uitvoerde op basis van de traditionele proximity search, kreeg ik vaak 0 treffers. Een voorbeeld: een zoekopdracht naar “How does dehumanizing language affect us” kreeg geen hits, maar de AI-tool vond veel relevante resultaten die direct op de eerste pagina werden weergegeven. Een ander voorbeeld: “Factors in safety measures in high schools’ gun violence”. Nul resultaten in de traditionele zoekopdracht, maar de AI-tool vond wel een aantal relevante artikelen. Bij veel andere zoekopdrachten die ik heb uitgevoerd, vond AI relevante bronnen, terwijl de traditionele zoekmethoden bronnen opleverden die niet geschikt waren.” - Aan bètatest deelnemende onderzoeker [quote vertaald uit het Engels]
Respondenten benadrukten dat Natural Language Search helpt om het onderzoeksproces te versnellen door de stress van het uitvoeren van een perfecte zoekopdracht te verminderen, en velen waren verrast dat de zoekmodus de context van hun zoekopdracht oppikte. Dit voordeel werd zeer gewaardeerd door zowel studenten als gevorderde onderzoekers, die het op prijs stelden dat de zoekmodus alleen artikelen ophaalde die aan hun specifieke behoefte voldeden waardoor zij veel tijd bespaarden.
“De tools kunnen de context van een zoekopdracht begrijpen, wat leidt tot nauwkeurigere en relevantere zoekresultaten. Dit helpt bij het verfijnen van zoekopdrachten en het leveren van resultaten die nauw aansluiten bij de onderzoeksvraag van de gebruiker.” - Aan bètatest deelnemende onderzoeker [quote vertaald uit het Engels]
Enkele van de gemeenschappelijke thema’s die werden aangedragen voor verbetering waren dat de Natural Language Search ofwel moet detecteren dat er een Booleaanse zoekopdracht wordt uitgevoerd en dan automatisch moet overschakelen naar de traditionele zoekmodus, óf dat de Natural Language Search beter moet inspelen op Booleaanse zoekopdrachten, vooral die met “NOT” als operator. Een ander thema was dat de Natural Language Search te veel resultaten opleverde, wat overweldigend kan zijn voor een onderzoeker.
“Het contrast tussen de aantallen zoekresultaten die werden gegenereerd bij het gebruik van de Natural Language Search en de traditionele proximity search was behoorlijk verbluffend. Vaak genereerden zoekopdrachten die tot wel 20.000 resultaten opleverden bij het gebruik van Natural Language Search, slechts 10-500 resultaten bij het gebruik van proximity search. Hoewel de grote hoeveelheid zoekresultaten het wel wat moeilijker maakt om je zoekopdracht te verfijnen, wordt dit probleem enigszins ondervangen door de onderwerptermen.” - Aan bètatest deelnemende onderzoeker [quote vertaald uit het Engels]
Er werd een breed spectrum aan soorten zoekopdrachten uitgevoerd door de deelnemers. Sommigen behandelden het zoeken in natuurlijke taal als een zoekopdracht op trefwoorden (voorbeeld: “hotdogs”), terwijl anderen vragen invoerden (voorbeeld: “What was relationship between the women's suffrage movement and prohibition?"), of specifieke zoekopdrachten met kwalificaties (voorbeeld: “Epidurals but not including childbirth”). Sommige geavanceerde onderzoekers gaven toe dat ze probeerden de zoekmodus te “breken” met gerandomiseerde of moeilijke vragen (voorbeeld: “xenomorph art in Egypt or Summer”) om de tolerantie van de zoekmodus met moeilijke vragen te testen. Voor het laatste voorbeeld meldde de betreffende bètatester dat de resultaten veel relevanter waren voor tweede zoekopdracht in natuurlijke taal, zonder perfect te zijn, en dat er documenten zijn verschenen die de gebruiker in staat stelde een context te creëren van waaruit hij zich verder op het onderwerp kan richten. Aanvullende tests zijn gepland om de voordelen en verbeteringen voor elke zoekmodus voor specifieke zoektypes te onderzoeken.
Door bètatesters aangedragen verbeteringen voor Natural Language Search
Op basis van de feedback van bètatesters heeft EBSCO de grens voor relevante gevonden documenten aangepast om het hoge aantal hits in de resultatenlijst te verminderen. Ook zijn we bezig met het verbeteren van de manier waarop Natural Language Search omgaat met Booleaanse query's. Daarnaast worden er meer gevarieerde querytests uitgevoerd, zoals verschillende vragen en kwalificaties, lange query's en negatieve zoekopdrachten, om de grenzen van de nieuwe zoekmodus te testen.
Hoewel de meeste bètazoekopdrachten in het Engels werden uitgevoerd, gaven sommigen die in het Frans zochten aan dat ze graag zouden zien dat de Natural Language Search de taal van hun zoekopdracht aangaf en content in diezelfde taal zou wegen in hun resultaten. Een andere bevinding was dat elke deelnemer een ander begrip had van wat “natuurlijk zoeken” betekende, dus er wordt onderzocht hoe de zoekmodus kan worden gelabeld en gedocumenteerd.
Er werd ook vaak gevraagd naar transparantie in hoe Natural Language Search is geïmplementeerd.
“Met een Booleaanse zoekopdracht kan ik gebruikers leren hoe ze een zoekopdracht zo kunnen maken dat deze werkt, of hoe ze een slechte zoekopdracht zo kunnen aanpassen dat deze werkt met nieuwe termen of onderwerpen. Er is daarentegen geen kant-en-klare manier om te vertellen waarom AI-zoekresultaten wel of niet werken. Dit is het grote probleem van het werken met iets dat in feite een zwarte doos is.” - Aan bètatest deelnemende onderzoeker [quote vertaald uit het Engels]
Bibliothecarissen willen duidelijkheid over hoe het proces werkt en welke uitbreidingen er eventueel plaatsvinden. Naar aanleiding hiervan zijn er tests gaande om een transparantielaag toe te voegen die laat zien hoe de zoekopdracht is verwerkt en die aangeeft dat er AI is gebruikt om de zoekopdracht te analyseren. Hoewel velen nog twijfelen over het gebruik van Natural Language Search in de huidige staat, lijken velen hoopvol en bereid om opnieuw te testen zodra er verdere verbeteringen zijn aangebracht.
De meeste deelnemers zijn het erover eens dat zoeken in natuurlijke taal onderzoek makkelijker zal maken voor beginnende onderzoekers. Eén respondent zei: “Ik vond het heel eenvoudig en rechttoe-rechtaan; ik zie dit als een heel nuttig hulpmiddel voor studenten.” Een andere deelnemer: “Het maakt het makkelijk voor studenten om relevante resultaten te krijgen zonder geavanceerde zoektechnieken te hoeven leren.” De meesten waren het er ook over eens dat traditioneel zoeken hun keuze blijft voor het uitvoeren en onderwijzen van geavanceerd onderzoek.
Wat EBSCO heeft geleerd van de bètatest
De waardevolle feedback van deelnemers zorgt nu al voor verbeteringen in de zoekmodus. Over het algemeen lijkt Natural Language Search de traditionele zoekmodus aan te vullen. Als een gebruiker niet zeker weet hoe hij moet zoeken en er geen bibliothecaris is om te helpen, helpt deze zoekmodus de gebruiker te beginnen met zoeken. Zoeken in natuurlijke taal bleek het meest nuttig te zijn voor eenvoudige vragen en vragen met kwalificaties. Hoewel er nog steeds ruimte is voor verbetering, optimaliseert Natural Language Search nu al de resultaten voor specifiek zoekgedrag waar meer traditionele zoekmethoden niet goed mee overweg kunnen. En aan de andere kant is de traditionele zoekmodus nog steeds zeer sterk in het ophalen van relevante resultaten uit Booleaanse zoekopdrachten. De tests hebben ons geleerd om deze voordelen samen te brengen in één zoekervaring die aansluit op alle zoekpatronen en om gaandeweg extra moghelijkheden te creëren.
Een andere bevinding heeft te maken met AI in het algemeen. Er zijn nog veel onzekerheden over hoe AI kan worden gebruikt in de academische wereld en hoe AI werkt. We zetten ons in om educatieve materialen te maken, te documenteren hoe we AI gebruiken en ervoor te zorgen dat we nauw samenwerken met zowel uitgevers als klanten naarmate het begrip van AI en het juiste gebruik hiervan verder worden gedefinieerd.
Wilt u meer weten?
EBSCO lanceerde in juni 2024 haar AI-bètaprogramma. We delen op deze blog samenvattingen zoals deze van de uitkomsten. In 2025 zullen we tevens een academisch onderzoeksartikel publiceren over hoe ons werk en onze bevindingen passen in de bredere wetenschap van AI in de academische wereld.
