„Natural Language Understanding“ (NLU; das Verständnis des natürlichen Sprachgebrauchs) ist ein äußerst wichtiges Thema, wenn es um den Einsatz künstlicher Intelligenz (KI) bei der Recherche geht. Eine neue Betafunktionalität von EBSCO Discovery Service (EDS) und EBSCOhost namens „Natural Language Search“ kombiniert die Parsing-Intelligenz von NLU mit dem umfassenden Suchalgorithmus, den EBSCO in jahrzehntelangen Tests entwickelt und mit neuen Konfigurationen speziell auf die Bedürfnisse von Forschenden und Studierenden angepasst hat.
EBSCO nutzt die Möglichkeiten von NLU in Rechercheplattformen für Bibliotheken, um die Effektivität der Recherche zu steigern und die Rechercheerfahrung zu transformieren. Obwohl NLU die Technologie hinter dem neuen „Natural Language Search“-Modus von EBSCO Discovery Service und EBSCOhost ist, wird die erweiterte Suche noch immer von der Suche selbst bestimmt und nutzt keine KI. Durch die Kombination der Leistungsfähigkeit der EBSCO-Suchmaschine mit NLU konzentriert sich EBSCO auf die Entwicklung einer adaptiven Suche, die alle Suchpräferenzen und Erfahrungsstufen der Nutzer:innen berücksichtigt.
Im August und September 2024 führte EBSCO einen Betatest des neuen „Natural Language Search“-Modus auf EBSCO Discovery Service und EBSCOhost mit 60 Studierenden und 30 erfahrenen Forschenden durch. In diesem Artikel gehen wir näher auf die Ergebnisse dieser Nutzerforschung ein.
Was ist die „Natural Language Search“-Funktionalität?
EBSCOs „Natural Language Search“ ist eine moderne, fortschrittliche Funktionalität, die NLU nutzt, um Nutzeranfragen genau zu analysieren und sicherzustellen, dass die Absicht der Nutzer:innen berücksichtigt wird. Dies führt zu präziseren Suchergebnissen, was für Forschende und Studierende, die bestimmte Informationen schnell finden müssen, entscheidend ist. Die „Natural Language Search“, die über die Optionen der erweiterten Suchmodi zugänglich ist, ergänzt herkömmliche Suchmethoden, indem sie die Qualifizierungsmerkmale und Parameter der Nutzer:innen bei der Suche versteht und berücksichtigt, ohne dass die Nutzer:innen die Funktionalitäten der erweiterten Suche im Detail kennen und verstehen müssen.
Eine der befragten Personen bemerkte: „Ich war beeindruckt von dem Umfang und der Relevanz der natürlichen Sprachsuche, weil sie Ergebnisse hervorbrachte, die bei einer reinen Suche mit Suchbegriffen nicht so leicht zugänglich waren. Gleichzeitig konnte ich den Nutzen von EBSCOs Relevanzalgorithmus erkennen, da es nicht wie eine isolierte semantische Suchabfrage ohne Kontext erschien. Ich denke, dass weniger erfahrene Nutzer:innen von der Verwendung der natürlichen Sprache profitieren werden. Erfahrenere Nutzer:innen dagegen werden die Möglichkeit haben, Suchanfragen zu erstellen, die die Vorteile von Suchbegriffen/Metadaten und semantischer Suchtechnologie nutzen können (und neue Bereiche außerhalb ihres Fachgebiets erkunden können).“ – Teilnehmende Person der Betatest-Studie
Betatest der Suche in natürlicher Sprache
Während des Tests erhielten die Teilnehmenden der erfahrenen, fortgeschrittenen Nutzergruppe eine Umfrage, in der sie gebeten wurden, mindestens drei Suchabfragen mit natürlichem Sprachgebrauch mit ausgeschaltetem Modus für die „Natural Language Search“ durchzuführen und anschließend eine weitere mit aktiviertem Modus für die „Natural Language Search“. Die Teilnehmenden wurden gebeten, ihre ersten Eindrücke zu bewerten (auf einer Skala von 1 bis 5), die Relevanz der Ergebnisse einzuschätzen (auf einer Skala von 1 bis 5) und schließlich anzugeben, ob sie die Funktionalität einschalten würden, wenn diese verfügbar wäre.
In ähnlicher Weise wurde bei den Nutzertests mit den Studierenden ein A/B-Test durchgeführt, bei dem eine Suchabfrage mit natürlichem Sprachgebrauch in derselben EDS-Oberfläche durchgeführt wurde, allerdings mit aktiviertem und deaktiviertem Modus für die „Natural Language Search“. Sie wurden anschließend nach ihren Eindrücken gefragt, um die Relevanz der einzelnen Abfragen auf einer Skala von 1 bis 5 zu bewerten. Schließlich wurden sie gefragt, wie die Suche mit „Natural Language Search“ im Vergleich zu anderen von ihnen verwendeten Suchen abschneidet.
Welches Feedback gaben die Teilnehmenden des Betatests?
Auf die Frage nach dem Gesamteindruck der Suche in der natürlichen Sprache, dem Eindruck der Relevanz der Ergebnisse und der erwarteten Nutzung des Suchmodus gaben die Befragten die folgenden Antworten:
- 57 % der befragten Personen hatten einen positiven Eindruck von der Suche in der natürlichen Sprache, wobei 27 % sowohl die „Natural Language Search“ als auch die traditionelle Suche für nützlich hielten.
- Durchschnittlich 74 % der befragten Personen hielten die Ergebnisse der „Natural Language Search“ für sehr relevant.
- 67 % der teilnehmenden Studierenden gaben an, dass ihre Sucherfahrung mit der „Natural Language Search“ besser war als mit anderen Suchmaschinen, die sie für ihre Recherchezwecke verwendet haben.
- 87 % der teilnehmenden Studierenden gaben an, dass es mit der „Natural Language Search“ einfacher sei, hochwertige Suchergebnisse zu erhalten.
- Von den erfahrenen Forschenden gaben 63 % an, dass sie die „Natural Language Search“ als Suchmodus verwenden würden.
Das Feedback spiegelte insgesamt wider, dass die „Natural Language Search“ das Potenzial hat, traditionelle Suchmethoden zu ergänzen, wobei Elemente wie Fragen und Qualifizierungsmerkmale in der Suche mit dem „Natural Language Search“-Modus womöglich besser berücksichtigt werden können.
Teilnehmende des Betatests, die vollständige Fragen bei ihrer Suchanfrage genutzt haben, meinten: „Es scheint sehr nutzerfreundlich zu sein, da keine erweiterte Suche erforderlich ist, um mit der Recherche zu beginnen. Das vereinfacht die Suche und macht sie auch für Anfänger:innen einfach zugänglich.“ – Teilnehmende Person der Betatest-Studie
Teilnehmende des Betatests, die nicht-boolesche Qualifizierungsmerkmale bei ihrer Suchanfrage genutzt haben, sagten: „Ich habe echte Suchanfragen von Studierenden eines Community Colleges verwendet und war sehr erstaunt darüber, wie gut das KI-Tool relevante Ergebnisse aus schlecht strukturierten Suchanfragen abrufen konnte. Wenn ich die gleichen Suchanfragen mit der traditionellen Proximity-Search durchführte, erhielt ich oft keine Treffer. Zum Beispiel ergab die Suche „Wie wirkt sich entmenschlichende Sprache auf uns aus?“ keine Treffer. Das KI-Tool dagegen fand viele relevante Ergebnisse, die auf der ersten Seite angezeigt wurden. Ein anderes Beispiel: Die Suche nach „Faktoren der Sicherheitsmaßnahmen bei Waffengewalt an High Schools“ ergab keine Ergebnisse bei der traditionellen Suche. Das KI-Tool fand jedoch einige relevante Artikel. Bei vielen anderen Recherchen, die ich durchgeführt habe, fand die KI relevante Inhalte, während die traditionelle Suche zu Ergebnissen führte, die nicht immer geeignet waren.“ – Teilnehmende Person der Betatest-Studie
Die befragten Personen betonten, dass die „Natural Language Search“ den Recherche- und Forschungsprozess beschleunigt, indem sie den Stress, die die Suche nach der perfekten Suchanfrage auslösen kann, deutlich verringert. Viele waren sehr erstaunt, dass der Suchmodus den Kontext ihrer Suche erkannt hat. Dieser Vorteil wurde von Studierenden und erfahrenen Forschenden gleichermaßen genannt. Sie schätzten die Zeitersparnis, die ihnen der Suchmodus durch das Auffinden von Artikeln bringt, die ihren spezifischen Anforderungen entsprechen.
„Die Tools können den Kontext einer Suchanfrage erfassen, was zu genaueren und relevanteren Suchergebnissen führt. Dies hilft dabei, die Suche zu verfeinern und Ergebnisse zu liefern, die eng auf die Untersuchungsfrage der Nutzer:innen abgestimmt sind.“ – Teilnehmende Person der Betatest-Studie
Zu den genannten Verbesserungsvorschlägen gehörte, dass der „Natural Language Search“-Modus entweder eine boolesche Abfrage erkennen und automatisch in den traditionellen Suchmodus wechseln sollte oder dass der „Natural Language Search“-Modus besser auf boolesche Abfragen eingeht, insbesondere auf solche mit dem Operator „NOT“. Ein weiterer Punkt war, dass der „Natural Language Search“-Modus zu viele Ergebnisse liefert, was für die Nutzer:innen überwältigend sein kann.
„Der Kontrast zwischen der Menge der Suchergebnisse, die bei der Verwendung der Betatest-Version der „Natural Language Search“ im Vergleich mit der traditionellen Proximity-Suche angezeigt wurden, war ziemlich überwältigend. Bei Abfragen, die bei der „Natural Language Search“ bis zu 20.000 Ergebnisse lieferten, wurden bei der Proximity-Suche oft nur 10-500 Ergebnisse angezeigt. Die große Menge an Suchergebnissen macht es zwar etwas schwieriger, die Suche einzugrenzen, aber dieses Problem wird durch die Verschlagwortung (Subject Terms) etwas erleichtert“. [Anmerkung: Durch die Schlagworte kann ganz einfach auf relevante Ergebnisse eingegrenzt werden.] – Teilnehmende Person der Betatest-Studie
Die Teilnehmenden wählten ein breites Spektrum an Abfragetypen. Einige nutzten die „Natural Language Search“ als Suche mit Keywords (Betatest-Suche: „Hotdogs“), andere gaben Fragestellungen ein (Betatest-Suche: „Welche Beziehung bestand zwischen der Frauenwahlrechtsbewegung und der Prohibition?") oder verwendeten spezifische Abfragen mit Qualifizierungsmerkmalen (Betatest-Suche: „Epidurale Eingriffe, jedoch nicht bei der Entbindung“). Einige erfahrene Forschende gaben an, dass sie bewusst versuchten, die Suche mit willkürlichen oder sehr schwierigen Fragen zu „brechen“ (Betatest-Suche: „Xenomorphe Kunst in Ägypten oder im Sommer“), um die Toleranz des Suchmodus bei schwierigen Fragen zu testen. In diesem Beispiel berichtete die Person, dass „die Ergebnisse in der zweiten [der „Natural Language Search“] viel relevanter, jedoch auch nicht perfekt waren... allerdings tauchten [in der „Natural Language Search“] Dokumente auf, die es ermöglichten, einen Kontext zu schaffen, den man als Grundlage nutzen konnte, um sich besser auf das gewählte Thema fokussieren zu können“. Weitere Tests sind bereits geplant, um die Vorteile und Verbesserungen der einzelnen Suchmodi für bestimmte Suchtypen weiter zu untersuchen.
Welche Verbesserungen haben die Teilnehmenden des Betatests für die „Natural Language Search“ empfohlen?
Auf der Grundlage des Feedbacks der Teilnehmenden des Betatests hat EBSCO den Schwellenwert für das Auffinden relevanter Dokumente angepasst, um die hohe Anzahl der gefundenen Dokumente in der Ergebnisliste zu reduzieren. EBSCO verbessert auch den Umgang der „Natural Language Search“ mit booleschen Suchanfragen und testet verschiedene Suchtypen, wie z. B. unterschiedliche Fragestellungen und „Qualifiers“, lange Suchanfragen und „negative“ Suchanfragen, um die Grenzen des neuen Suchmodus zu testen.
Während die meisten Suchen im Betatest in englischer Sprache durchgeführt wurden, gaben einige Teilnehmenden, die in französischer Sprache suchten, an, dass sie es begrüßen würden, wenn die „Natural Language Search“ die Sprache ihrer Abfrage erkennen und Inhalte in dieser Sprache in den Ergebnissen entsprechend höher gewichten würde. Ein weiteres Ergebnis war, dass jede teilnehmende Person ein unterschiedliches Verständnis davon hatte, was „Natural Language Search“ bedeutet, so dass aktuell betrachtet wird, wie genau der Suchmodus bezeichnet und dokumentiert werden sollte.
Eine weitere häufig gestellte Frage war die nach der Transparenz bei der Implementierung der natürlichsprachlichen Suche.
„Bei einer booleschen Suche kann ich den Nutzer:innen beibringen, wie sie eine Suche so gestalten können, dass sie funktioniert, oder wie sie eine schlechte Suche anpassen können, damit sie mit neuen Begriffen oder Schlagworten besser funktioniert. Im Gegensatz dazu gibt es keine Möglichkeit zu sagen, weshalb die KI relevante Suchergebnisse liefert bzw. nicht liefert. Das ist das große Problem bei der Arbeit mit einer Art Blackbox.“ – Teilnehmende Person der Betatest-Studie
Die Bibliothekar:innen möchten Klarheit darüber, wie das „Parsing“ funktioniert und welche Erweiterungen ggf. vorgenommen werden. Daher werden derzeit Tests durchgeführt, um eine Transparenzebene hinzuzufügen, die anzeigt, wie die Suchabfrage gestellt wurde, die die KI zum Parsen der Anfrage verwendete, und um die Vorteile der traditionellen Suche und der „Natural Language Search“ zu kombinieren.
Während viele noch unschlüssig sind, wie die „Natural Language Search“ in ihrer jetzigen Form eingesetzt werden sollte, zeigten sich viele hoffnungsvoll und bereit, weitere Tests durchzuführen, sobald weitere Verbesserungen vorgenommen wurden.
Die meisten waren sich einig, dass die Suche in natürlicher Sprache die Recherche in der Bibliothek für Beginner:innen erleichtern würde. Eine teilnehmende Person sagte: „Ich fand es sehr einfach und unkompliziert, ich kann mir vorstellen, dass dies ein sehr nützliches Tool für Studierende ist.“ Eine andere Person sagte: „Die Funktionalität wird es den Studierenden leicht machen, relevante Ergebnisse zu erhalten, ohne fortgeschrittene Suchtechniken erlernen zu müssen.“ Viele andere meinten jedoch auch, dass die traditionelle Suche ihre erste Wahl für die Durchführung und Lehre fortgeschrittener Recherchen und Recherchemethoden bleibt.
Welche Schlüsse hat EBSCO aus diesem Betatest gezogen?
Das wertvolle Feedback der Teilnehmenden hat bereits zu einigen Verbesserungen des Suchmodus geführt. Insgesamt scheint der Suchmodus in natürlicher Sprache den traditionellen Suchmodus zu ergänzen. Wenn ein:e Nutzer:in unsicher ist, wie eine Suche aufgebaut werden sollte, und kein:e Bibliothekar:in zur Unterstützung da ist, hilft die „Natural Language Search“ den Nutzer:innen, mit der Suche zu beginnen. Die Suche in natürlicher Sprache erwies sich als besonders hilfreich bei einfachen Fragen oder bei Fragen mit Qualifizierungsmerkmalen. Es gibt zwar noch Verbesserungsmöglichkeiten, aber die „Natural Language Search“ verbessert bereits die Ergebnisse für bestimmte Verhaltensweisen bei der Suche, bei der die traditionelle Suche häufig keine optimalen Ergebnisse liefert. Auf der anderen Seite ist die traditionelle Suche so fortschrittlich und leistungsstark wie eh und je, wenn es darum geht, relevante Ergebnisse aus booleschen Suchanfragen abzurufen. Was wir bei EBSCO aus diesem Test gelernt haben, ist die Zusammenführung dieser Vorteile zu einer Sucherfahrung, die allen Suchmustern gerecht werden kann, und die Schaffung weiterer Suchvorteile auf dem Weg dorthin.
Eine weitere Erkenntnis bezieht sich auf KI im Allgemeinen. Es gibt immer noch viele Unklarheiten darüber, wie KI in der Wissenschaft eingesetzt werden kann und wie die KI funktioniert. Wie bei allen KI-Themen bei EBSCO sind wir bestrebt, Lehrmaterialien zu erstellen, zu dokumentieren, wie wir KI einsetzen, und sicherzustellen, dass wir mit Verlagen und Kund:innen zusammenarbeiten, wenn das Verständnis von KI und ihre angemessene Nutzung definiert ist.
Möchten Sie mehr erfahren?
EBSCO hat im Juni 2024 das „EBSCO KI-Beta-Programm“ ins Leben gerufen. Wir werden in naher Zukunft weitere Zusammenfassungen wie diese über die Ergebnisse veröffentlichen. Im Jahr 2025 werden wir außerdem einen wissenschaftlichen Forschungsartikel darüber veröffentlichen, wie sich unsere Arbeit und unsere Ergebnisse in die breitere Wissenschaft der KI im wissenschaftlich-akademischen Bereich einfügen.
