Comprendere il linguaggio naturale nelle piattaforme di ricerca bibliotecaria - risultati della versione Beta del Natural Language Search di EBSCO

Il Natural Language Understanding (NLU), ovvero la Comprensione del linguaggio naturale, rappresenta l'avanguardia dell'intelligenza artificiale (IA) applicata alla ricerca. La nuova funzionalità beta di EBSCO Discovery Service (EDS) ed EBSCOhost, chiamata Natural Language Search o Ricerca in linguaggio naturale, combina l'intelligenza di analisi del NLU con il robusto algoritmo di ricerca di EBSCO, perfezionato nel corso di decenni di test e configurazioni mirate alle esigenze dei ricercatori.

La Ricerca in linguaggio naturale di EBSCO è una funzionalità avanzata che sfrutta la tecnologia di Comprensione del Linguaggio Naturale (NLU) per interpretare le query degli utenti in modo più preciso, rispettando l'intento di ricerca. Questo consente di ottenere risultati più accurati, fondamentali per i ricercatori che hanno bisogno di trovare informazioni specifiche rapidamente. Accessibile tramite le opzioni dei modelli di ricerca avanzata, la ricerca in linguaggio naturale completa i metodi di ricerca tradizionali, comprendendo e rispettando i qualificatori e i parametri indicati dagli utenti, senza richiedere loro di "decifrare" le funzioni di ricerca avanzata fino a quando non ne avranno bisogno nelle fasi successive del loro percorso di ricerca.

Un partecipante al programma beta ha commentato:

"Mi ha colpito la profondità e la rilevanza della ricerca in linguaggio naturale: ha individuato elementi non facilmente accessibili con una semplice ricerca basata su parole chiave. Allo stesso tempo, ho apprezzato il vantaggio dell'algoritmo di rilevanza di EBSCO, che non sembrava una ricerca semantica isolata dal contesto. Penso che gli utenti meno esperti troveranno utile la semplicità del linguaggio naturale, mentre quelli più esperti potranno creare ricerche che combinino parole chiave, metadati e ricerca semantica, esplorando anche nuove aree al di fuori della loro competenza."

— Partecipante al programma beta

Durante la fase di test, ai partecipanti del gruppo di utenti avanzati è stato proposto un sondaggio in cui veniva chiesto di effettuare almeno tre ricerche in linguaggio naturale con la modalità Ricerca in linguaggio naturale disattivata e altre tre con la modalità attivata. I partecipanti hanno valutato le loro prime impressioni su una scala da 1 a 5. Successivamente, hanno assegnato un punteggio alla rilevanza dei risultati ottenuti in ciascun caso, sempre su una scala da 1 a 5. Infine, hanno indicato se avrebbero attivato questa funzione qualora fosse stata disponibile.

Allo stesso modo, il test condotto con gli studenti universitari ha previsto un approccio A/B: una query in linguaggio naturale è stata eseguita nella stessa interfaccia di EDS, ma una volta con la modalità Ricerca in linguaggio naturale attivata e una volta disattivata. Anche in questo caso, gli studenti hanno condiviso le loro impressioni, valutato la rilevanza dei risultati su una scala da 1 a 5 e, infine, confrontato la modalità Ricerca in linguaggio naturale con altri metodi di ricerca che avevano utilizzato.

Quando è stato chiesto ai beta tester un’opinione sulla Ricerca in linguaggio naturale, riguardo alle impressioni generali, alla rilevanza dei risultati e all'utilizzo previsto della modalità di ricerca:

• Il 57% dei ricercatori ha avuto un’impressione positiva sulla Ricerca in linguaggio naturale, e il 27% ha trovato utili sia questa modalità sia quella tradizionale.
• In media, il 74% dei ricercatori ha ritenuto la Ricerca in linguaggio naturale altamente rilevante.
• Il 67% dei partecipanti universitari ha riportato che l’esperienza di ricerca con la Ricerca in linguaggio naturale è stata migliore rispetto ad altri motori di ricerca utilizzati per le proprie esigenze di studio.
• L’87% degli studenti universitari ha dichiarato che è stato più facile ottenere risultati di qualità utilizzando la Ricerca in linguaggio naturale.
• Il 63% dei ricercatori avanzati ha affermato che attiverebbe la Ricerca in linguaggio naturale come modalità predefinita.

Ne emerge che la Ricerca in linguaggio naturale ha il potenziale di affiancare i metodi di ricerca tradizionali, offrendo un valore aggiunto per domande e qualificatori che possono essere meglio gestiti attraverso questa modalità.

Quando i beta tester hanno formulato domande: 
"Sembra molto intuitivo poiché non sono necessarie ricerche avanzate per iniziare. Semplifica il processo rendendolo accessibile ai principianti."
– Partecipante al beta test

Quando i beta tester hanno utilizzato qualificatori non booleani: 
"Ho usato ricerche reali di studenti dei community college e sono rimasto colpito da come lo strumento IA abbia trovato risultati rilevanti anche da ricerche mal strutturate. Con la ricerca tradizionale, ottenevo spesso 0 risultati, mentre con l’IA ho trovato molte risorse pertinenti già nella prima pagina. Ad esempio, una query come 'Come il linguaggio disumanizzante ci influenza' ha dato 0 risultati nella ricerca tradizionale, ma lo strumento IA ha trovato articoli rilevanti. Un altro esempio: 'Misure di sicurezza nelle scuole superiori contro la violenza con le armi'. Nella ricerca tradizionale non ho trovato nulla, ma l’IA ha restituito articoli utili. In molte altre query, l’IA ha individuato risorse pertinenti, mentre la ricerca tradizionale ne trovava di meno appropriate."
– Partecipante al beta test

I partecipanti hanno sottolineato che la Ricerca in Linguaggio Naturale accelera il processo di ricerca, riducendo lo stress legato al perfezionamento delle query. Molti si sono detti “sorpresi” dalla capacità della modalità di comprendere il contesto delle ricerche, un vantaggio apprezzato sia dagli studenti che dai ricercatori avanzati, che hanno evidenziato il risparmio di tempo grazie alla restituzione di articoli mirati.

"Gli strumenti colgono il contesto di una query, portando a risultati più accurati e pertinenti. Ciò aiuta a raffinare le ricerche e a ottenere risposte allineate alle domande degli utenti."
– Partecipante al beta test

Temi comuni per il miglioramento:

• Implementazione di un sistema di rilevamento automatico: sviluppare un sistema che rilevi automaticamente l'uso di query booleane e passi alla modalità tradizionale quando necessario, o migliorare la gestione degli operatori booleani come NOT.
• Ottimizzazione dei risultati: ridurre il numero di risultati restituiti, che possono risultare schiaccianti per i ricercatori.

"La differenza tra il numero di risultati generati con la Ricerca in Linguaggio Naturale e con la ricerca tradizionale è sorprendente. Spesso, query che con la ricerca tradizionale restituivano 10-500 risultati, con la Ricerca in Linguaggio Naturale ne generavano fino a 20.000. Questo rende più difficile affinare la ricerca, anche se il problema può essere in parte risolto dall'uso di categorie o filtri di ricerca."
– Partecipante al beta test

È emerso un ampio spettro di tipi di query da parte dei partecipanti. Alcuni hanno trattato la ricerca in linguaggio naturale come una ricerca per parole chiave (ad esempio: "hotdogs"), mentre altri hanno inserito domande (ad esempio: "Quale relazione c'era tra il movimento per il suffragio femminile e il proibizionismo?"), o query specifiche con qualificatori (ad esempio: "Epidurali ma non legate al parto"). Alcuni ricercatori avanzati hanno ammesso di aver cercato di "rompere" la ricerca con domande casuali o difficili (ad esempio: "arte xenomorfa in Egitto o Sumer") per testare la tolleranza della modalità di ricerca con domande difficili. In questo caso, il beta tester ha riportato che "il risultato era molto più pertinente nella seconda [ricerca in linguaggio naturale], senza essere perfetto… [dove] sono apparsi documenti che ci hanno permesso di creare un contesto da cui focalizzarci sull'argomento".

Ulteriori test sono previsti per indagare i benefici e i miglioramenti per ciascuna modalità di ricerca in base ai tipi di ricerca specifici.

Basandosi sul feedback dei beta tester, EBSCO ha regolato la soglia per i documenti rilevanti restituiti, al fine di ridurre l'elevato numero di risultati nella lista. EBSCO sta anche migliorando il modo in cui la Ricerca in linguaggio naturale gestisce le query booleane, oltre a condurre ulteriori test su query varie, come domande e qualificatori differenti, query lunghe e ricerche con esclusioni, per testare i limiti della nuova modalità di ricerca.

Sebbene la maggior parte delle ricerche Beta sia stata eseguita in inglese, alcune ricerche in francese hanno indicato che gli utenti vorrebbero che la ricerca in linguaggio naturale identificasse la lingua della loro query e ponderasse i contenuti in quella stessa lingua nei risultati. Un altro dato emerso è che ogni partecipante aveva una comprensione diversa di cosa significasse "ricerca naturale", quindi sono in corso indagini su come etichettare e documentare meglio questa modalità di ricerca.

Un altro tema ricorrente tra le domande dei Beta tester riguarda la trasparenza su come viene implementata la ricerca in linguaggio naturale.

"Con una ricerca booleana, posso insegnare agli utenti come costruire una ricerca che funzioni, o come correggere una ricerca errata usando nuovi termini o categorie di ricerca. Al contrario, non esiste un modo immediato per spiegare perché i risultati della ricerca IA funzionano o non funzionano. Questo è il grande problema di lavorare con qualcosa che è una scatola nera." 
– Partecipante al beta test

I bibliotecari desiderano chiarezza su come avviene l'analisi e quali espansioni sono in atto, se presenti. Da qui, sono in corso test per aggiungere un livello di trasparenza che mostri come è stata formulata la ricerca, che l'AI è stata utilizzata per analizzare la query e per esaminare la possibilità di combinare i benefici della ricerca tradizionale con quella in linguaggio naturale.
Sebbene molti siano ancora incerti su come verrà utilizzata la Ricerca in linguaggio naturale nella sua forma attuale, molti sembrano speranzosi e disposti a testarla di nuovo una volta apportati ulteriori miglioramenti.

La maggior parte dei partecipanti ha concordato sul fatto che la Ricerca in linguaggio naturale renderebbe la ricerca in biblioteca più facile per i ricercatori principianti. Un partecipante ha dichiarato: "L'ho trovata molto semplice e diretta, vedo che potrebbe essere uno strumento molto utile per gli studenti", mentre un altro ha detto: "Renderà più facile per gli studenti ottenere risultati pertinenti senza dover imparare tecniche di ricerca avanzate". Tuttavia, la maggior parte ha anche convenuto che la ricerca tradizionale rimane il loro metodo preferito per condurre e insegnare ricerche avanzate.

Il feedback prezioso dei partecipanti sta guidando i miglioramenti della modalità di ricerca. Complessivamente, la Ricerca in linguaggio naturale sembra integrare quella tradizionale. Quando un utente non è sicuro di come costruire una ricerca e un bibliotecario non è disponibile per assisterlo, la Ricerca in linguaggio naturale aiuta l'utente a iniziare a cercare. Questa modalità di ricerca è risultata particolarmente utile per domande semplici o domande con qualificatori. Sebbene ci siano ancora miglioramenti da apportare, la Ricerca in linguaggio naturale sta già migliorando i risultati per comportamenti di ricerca specifici che la ricerca tradizionale non gestisce bene. Dall'altro lato, la ricerca tradizionale è sempre forte nel restituire risultati pertinenti da query booleane. Riunire questi vantaggi in un'unica esperienza di ricerca che possa gestire tutti i modelli di ricerca, oltre a costruire ulteriori benefici lungo il percorso, è ciò che abbiamo imparato da questo esercizio.

Un altro dato emerso riguarda l'uso dell'IA in generale. Ci sono ancora molte incertezze su come questo strumento possa essere utilizzata in ambito accademico e su come funziona. Come per tutte le soluzioni di IA di EBSCO, ci impegniamo a creare materiali didattici, documentare come la utilizziamo e garantire che lavoriamo in collaborazione con editori e clienti, mentre la comprensione dell'IA e del suo uso appropriato viene definita.