In deze tijd waarin evoluerende technologie de toegang tot informatie transformeert, passen bibliotheken zich aan aan dit veranderende digitale tijdperk waarin AI een centrale rol speelt. AI-tools zorgen voor een revolutie in de onderzoeksplatformen van bibliotheken, verbeteren zoekmogelijkheden en brengen gebruikers snel bij de juiste informatie. Het is echter cruciaal om een balans te vinden tussen innovatieve AI-functies en een doordachte aanpak.
EBSCO omarmt de kracht van generatieve AI in onderzoeksplatformen om onderzoek te transformeren en de effectiviteit ervan te verbeteren. We hebben ook richtlijnen opgesteld die helpen onze benadering van AI op een verantwoorde, ethische en veilige manier te sturen.
We zijn begonnen met het testen en ontwikkelen van AI-mogelijkheden in de gebruikersinterface van onze onderzoeksplatformen voor bibliotheken, EBSCO Discovery Service (EDS) en EBSCOhost. Eén zo'n project draait om een functie genaamd 'AI Insights'.
Wat is ‘AI Insights’?
EBSCO’s AI Insights is een generatieve AI-functie die drie tot vijf hoofdpunten van een artikel samenvat zodat gebruikers snel de relevantie ervan voor hun onderzoek kunnen beoordelen. De functie is toegankelijk via een knop in EBSCO’s vernieuwde interface voor EBSCO Discovery Service en EBSCOhost, en is een waardevolle aanvulling op samenvattingen en onderwerpclassificaties. De Insights zijn gemarkeerd als AI-gegenereerd, met een disclaimer waarin gebruikers worden aangespoord vóór gebruik de nauwkeurigheid ervan te verifiëren.
Bètatest van AI Insights
Tussen april en mei van 2024 heeft EBSCO een bètaversie van AI Insights geïntroduceerd bij een groep van 50 bibliotheken. Er werd ook een gebruikersonderzoek uitgevoerd onder 20 eindgebruikers, en in juni werden focusgroepdiscussies gehouden met kleine groepen deelnemende bètaklanten.
Welke feedback kregen jullie van de bètatesters?
Gevraagd naar hun algemene indruk van de AI Insights tool:
- Antwoordde 20% van de respondenten zeer positief
- Antwoordde 41% enigszins positief
- Antwoordde 15% neutraal
- Antwoordde 20% enigszins negatief
- Antwoordde 4% zeer negatief
Het onderzoek onder eindgebruikers toonde aan dat:
- 96% van de gebruikers die zich identificeren als efficiëntiezoekers AI Insights zeer nuttig vond
- 85% van de gebruikers die zich identificeren als onderzoeksliefhebbers AI Insights nuttig vond
- 20% van de gebruikers die zich identificeren als zeer ervaren onderzoekers AI Insights neutraal nuttig vond
Daarnaast was gemiddeld 85% van de eindgebruikers van mening dat AI Insights een significant positieve impact zou hebben op de workflow van gebruikers.
Gemeenschappelijke thema’s in de positieve feedback waren dat AI Insights een handige aanvulling zijn op samenvattingen, de efficiëntie van het onderzoek vergroten en makkelijker te lezen zijn dan de meeste samenvattingen, waardoor het een geweldige manier is om beginnende onderzoekers te helpen complexe wetenschappelijke werken te begrijpen. Sommige bètatesters waardeerden de mogelijkheid om AI Insights voor artikelen die in andere talen zijn geschreven in het Engels te kunnen lezen, en anderen zagen een mogelijkheid om het te gebruiken als een trainer voor informatievaardigheden voor de gebruikers van deze onderzoeksplatformen.
“Ik zie mogelijkheden voor verschillende vroege fases van het onderzoeksproces, zoals het bepalen van trefwoorden en subonderwerpen, het beperken en verbreden van onderwerpen, het bepalen van de grote lijnen, etc.” – Bibliothecaris in de bètatest
Respondenten benadrukten dat AI Insights het onderzoeksproces helpen versnellen door een beknopte evaluatietool te bieden voordat de volledige artikelen worden gelezen. Dit voordeel werd zeer gewaardeerd door zowel studenten als gevorderde onderzoekers, die de tijdsbesparing door het uitfilteren van artikelen die irrelevant waren voor hun onderzoek op prijs stelden.
“Ik zou meer onderzoek doen. Ik kan snel de teksten vinden die ik nodig heb; ik verspil geen tijd met het lezen van teksten die ik niet kan gebruiken ... het maakt mijn onderzoek productiever en efficiënter. In plaats van er uren over te doen om de perfecte bron te vinden, kost het me hier maar een paar minuten.” – Geavanceerde onderzoeker
Sommige beginnende onderzoekers waren eerder geneigd om inzichten direct op hun onderzoek toe te passen zonder eerst de bron te raadplegen, terwijl sommige faculteitsleden onzeker waren over de voordelen van Insights ten opzichte van samenvattingen.
“Het is een mooi overzicht, maar ik weet niet of het nuttiger is dan de abstract die meestal bij het artikel staat. Ik zou in het artikel moeten klikken om meer informatie te krijgen over de grootte van het onderzoek, hoeveel studenten het omvatte, of het secundair of undergraduate was, etc.” – Faculteitslid
Dit wordt ondersteund door wetenschappelijke bevindingen die suggereren dat er meer informatievaardigheden voor AI nodig zijn. School- en academische bibliothecarissen die deelnamen aan de bètatest voorzagen dit risico, maar het verwijst ook naar een voordeel dat vaak werd genoemd in de feedback van meerdere respondenten: dat de AI Insights functie een “leermoment” biedt voor de begindagen van AI, en kan helpen bij voor onderwijs in informatievaardigheden.
Er was wisselende tolerantie voor onnauwkeurigheden van generatieve AI onder de bètatesters. Een aantal focusgroepdeelnemers van onderzoeksbibliotheken benoemde dat generatieve AI niet voldoet aan de behoeften van hun gebruikers totdat het consistenter nauwkeurig is, en anderen gaven aan dat ze AI Insights niet konden inschakelen totdat het citeerbaar of reproduceerbaar was. We hebben gemerkt dat de AI Insights met nauwkeurigheidsproblemen vooral diegene waren die andere referenties aanhaalden als hun hoofdtekst, zoals boek- en literatuurreviews. De meerderheid van de respondenten en deelnemers aan de focusgroepen was niet zo bezorgd omdat ze het risico op schade voor hun bibliotheekgebruikers laag achtten. Veel focusgroepdeelnemers wezen op het eerdergenoemde voordeel dat AI Insights informatievaardigheidsdocenten de mogelijkheid biedt om AI-geletterdheid op te nemen in hun onderwijs. Ze kunnen studenten instrueren over de incidentele tekortkomingen van GenAI-technologieën – een cruciaal punt dat veel van hen nog moeten leren.
Welke verbeteringen hebben bètatesters aangedragen voor AI Insights?
Afgezien van verbeterde nauwkeurigheid voor referentiemateriaal zoals recensies, stelden sommige bètatesters voor dat AI Insights altijd hetzelfde aantal inzichten moet genereren voor consistentie, waar anderen het op prijs stelden dat het aantal varieerde afhankelijk van de brontekst. Sommigen wilden reproduceerbare inzichten voor eenvoudigere verificatie in academisch werk, terwijl anderen de flexibiliteit waardeerden om inzichten te regenereren voor betere formulering. Transparantie in hoe de tool werkt, was ook belangrijk. Bibliothecarissen wilden graag duidelijkheid over waarom de functie beschikbaar is voor sommige artikelen, maar niet voor andere. Dit inzicht zou hen helpen om AI Insights effectiever te onderwijzen en te gebruiken.
Wat heeft EBSCO van deze feedback geleerd, en hoe beïnvloedt dit de roadmap voor AI Insights?
De productmanagers van EBSCO hebben waardevolle inzichten opgedaan uit de feedback van de bèta's, waaruit bleek dat de mate waarin bibliotheken comfortabel zijn met AI-tools varieert. Wanneer AI Insights later dit jaar wordt gelanceerd voor de EDS- en EBSCOhost-onderzoeksplatformen, kunnen klanten daarom kiezen of ze deze functie willen inschakelen (het zal standaard uitgeschakeld zijn). Een belangrijke ontdekking is de behoefte om bibliothecarissen in staat te stellen AI-geletterdheid te doceren. We zullen dit ondersteunen middels een artikel op EBSCO Connect met veelgestelde vragen en materialen over AI bij EBSCO. EBSCO zal AI Insights voortdurend verfijnen, en feedback en suggesties voor verbeteringen zullen worden meegenomen. AI Insights zal naar verwachting eind 2024 beschikbaar zijn; meer details hierover volgen.
Wilt u meer weten?
EBSCO lanceerde in juni 2024 haar AI-bètaprogramma. We zullen de komende tijd meer samenvattingen zoals deze van de uitkomsten delen. In 2025 zullen we tevens een academisch onderzoeksartikel publiceren over hoe ons werk en onze bevindingen passen in de bredere wetenschap van AI in de academische wereld. Alle materialen en informatie kunt u vinden op onze website.