Entendimento de Linguagem Natural em Plataformas de Pesquisa Bibliotecária: Resultados do Beta de Busca por Linguagem Natural da EBSCO

O Entendimento de Linguagem Natural (NLU, do inglês Natural Language Understanding) está na vanguarda da inteligência artificial (IA) em ferramentas de busca. Um novo recurso beta no EBSCO Discovery Service (EDS) e EBSCOhost, chamado Busca por Linguagem Natural, combina a inteligência de processamento do NLU com o robusto algoritmo de busca que a EBSCO desenvolveu ao longo de décadas de testes e configurações específicas para atender às necessidades dos pesquisadores.

A EBSCO está adotando o poder do NLU em plataformas de pesquisa bibliotecária para melhorar a eficácia das pesquisas e transformar a experiência dos usuários. Enquanto o NLU é a tecnologia por trás do novo modo de busca, o recurso de busca avançada ainda é respeitado e não utiliza IA. Ao combinar o poder do mecanismo de busca da EBSCO com o NLU, o objetivo é desenvolver uma busca adaptativa que respeite as preferências e níveis de experiência de todos os usuários.

Entre agosto e setembro de 2024, a EBSCO realizou testes beta do novo modo de Busca por Linguagem Natural no EBSCO Discovery Service e EBSCOhost com 60 estudantes de graduação e 30 pesquisadores avançados. Abaixo estão os resultados dessa pesquisa.

A Busca por Linguagem Natural da EBSCO é um recurso avançado que utiliza NLU para interpretar as consultas dos usuários de forma mais precisa, garantindo que a intenção do usuário seja respeitada. Isso resulta em resultados de busca mais relevantes, cruciais para pesquisadores que precisam encontrar informações específicas rapidamente. Disponível nas opções de Modos de Busca Avançada, o recurso complementa os métodos tradicionais, entendendo e respeitando os qualificadores e parâmetros dos usuários, sem que eles precisem “decifrar” as funções de busca avançada, exceto quando necessário ao longo de suas jornadas de pesquisa.

Como um dos participantes observou:

"Fiquei impressionado com a abrangência e relevância da busca por linguagem natural porque ela conseguiu identificar elementos que não eram tão acessíveis em uma busca puramente por palavras-chave. Ao mesmo tempo, pude perceber o benefício do algoritmo de relevância da EBSCO, já que não parecia ser uma busca semântica isolada e sem contexto. Acho que usuários menos experientes se beneficiarão da facilidade de usar linguagem natural, enquanto os mais experientes terão a oportunidade de criar buscas que ainda aproveitam palavras-chave/metadados e busca semântica (assim como explorar novas áreas fora de sua expertise)."
— Participante do teste beta

Durante os testes, os participantes do grupo avançado responderam a uma pesquisa, realizando pelo menos três consultas em linguagem natural com o recurso desativado e, em seguida, com ele ativado. Eles avaliaram as primeiras impressões em uma escala de 1 a 5, a relevância dos resultados em uma escala de 1 a 5 e se ativariam o recurso caso estivesse disponível.

No caso dos estudantes de graduação, foi realizado um teste A/B em que uma consulta foi feita no mesmo ambiente do EDS, mas com o recurso ativado em uma busca e desativado em outra. Eles avaliaram as impressões gerais, a relevância em uma escala de 1 a 5 e compararam o recurso com outras ferramentas de busca utilizadas.

Quando questionados sobre as impressões gerais, relevância dos resultados e o uso esperado do recurso, os participantes deram as seguintes respostas:

• 57% dos pesquisadores tiveram uma impressão positiva do recurso de Busca por Linguagem Natural, com 27% considerando útil tanto a busca por linguagem natural quanto a tradicional.
• Em média, 74% dos pesquisadores consideraram a Busca por Linguagem Natural altamente relevante.
• 67% dos estudantes de graduação relataram que sua experiência de busca com a linguagem natural foi melhor que em outros motores de busca.
• 87% dos graduandos afirmaram que foi mais fácil obter resultados de qualidade com o novo recurso.
• 63% dos pesquisadores avançados disseram que ativariam o recurso como seu modo principal de busca.

Os temas comuns indicaram que a Busca por Linguagem Natural tem potencial para complementar métodos tradicionais, especialmente ao lidar com perguntas ou qualificadores complexos.

Onde os testadores beta realizaram consultas com perguntas:

"Parece muito amigável ao usuário, já que não são necessárias buscas avançadas para iniciar sua pesquisa. Simplifica a busca e a torna acessível para iniciantes."
— Participante do teste beta

Onde os testadores beta usaram qualificadores não Booleanos:

"Usei buscas reais de estudantes de faculdades comunitárias e fiquei completamente impressionado com a capacidade da ferramenta de IA em recuperar resultados relevantes de buscas mal estruturadas. Quando usei as mesmas buscas no modo tradicional de proximidade, muitas vezes obtive 0 resultados. Por exemplo, uma busca como: ‘Como a linguagem desumanizadora nos afeta’ não retornou nenhum resultado, mas a ferramenta de IA encontrou muitos resultados relevantes que apareceram na primeira página. Outro exemplo: ‘fatores em medidas de segurança em escolas contra violência armada’. 0 resultados na busca tradicional, mas a ferramenta de IA encontrou alguns artigos relevantes. Em muitas outras buscas que realizei, a IA encontrou recursos relevantes, enquanto a busca tradicional retornou resultados inadequados."
— Participante do teste beta

Os participantes da pesquisa destacaram que a Busca por Linguagem Natural ajuda a acelerar o processo de pesquisa ao reduzir o estresse de realizar uma busca “perfeita”. Muitos ficaram “impressionados” com a capacidade do recurso em captar o contexto de suas consultas. Esse benefício foi especialmente valorizado tanto por estudantes de graduação quanto por pesquisadores avançados, que apreciaram o tempo economizado pela recuperação de artigos específicos e relevantes.

"A ferramenta consegue captar o contexto de uma consulta, o que resulta em buscas mais precisas e relevantes. Isso ajuda a refinar as buscas e fornece resultados alinhados às perguntas de pesquisa do usuário."
— Participante do teste beta

Com base no feedback, a EBSCO ajustou o limite para documentos relevantes, reduzindo o alto número de resultados exibidos na lista de respostas. A EBSCO também está aprimorando como o recurso lida com consultas Booleanas, além de realizar testes com tipos variados de consultas, como perguntas específicas, buscas longas e buscas negativas, para avaliar os limites do novo modo de busca.

Embora a maioria das buscas beta tenha sido realizada em inglês, alguns participantes que buscaram em francês indicaram o desejo de que o recurso identifique automaticamente o idioma da consulta e priorize conteúdos no mesmo idioma nos resultados. Outra observação foi que cada participante tinha uma compreensão diferente do que “busca natural” significava, o que motivou novas avaliações sobre como o recurso será rotulado e documentado.

Transparência na implementação da Busca por Linguagem Natural

Um tema recorrente foi a transparência sobre como a Busca por Linguagem Natural é implementada.

"Com uma busca Booleana, posso ensinar os usuários a construir uma consulta que funcione ou ajustar uma busca inadequada para funcionar com novos termos ou cabeçalhos de assunto. Em contraste, não há uma forma clara de entender por que os resultados da busca com IA funcionam ou não. Esse é o grande problema de trabalhar com algo que é uma ‘caixa-preta’."
— Participante do teste beta

Os bibliotecários desejam maior clareza sobre como o processamento é realizado e quais expansões estão sendo aplicadas, se houver. Por isso, estão sendo realizados testes contínuos para adicionar uma camada de transparência que mostre como a consulta foi interpretada, indique que a IA foi utilizada e explore formas de combinar os benefícios da busca tradicional e da Busca por Linguagem Natural.

Embora muitos participantes ainda estejam indecisos sobre como usar a Busca por Linguagem Natural em seu estado atual, muitos demonstraram esperança e disposição para testar o recurso novamente após futuras melhorias.

A maioria concordou que a Busca por Linguagem Natural tornaria a pesquisa mais acessível para iniciantes na biblioteca. Um participante comentou: "Achei muito simples e direto, vejo isso como uma ferramenta muito útil para estudantes." Outro disse: "Vai facilitar para que estudantes obtenham resultados relevantes sem a necessidade de aprender técnicas avançadas de busca," enquanto a maioria também concordou que a busca tradicional permanece a principal escolha para conduzir e ensinar pesquisas avançadas.

O feedback valioso dos participantes já está direcionando melhorias no modo de busca. De modo geral, o recurso de Busca por Linguagem Natural parece complementar o modo de busca tradicional. Quando o usuário não sabe como estruturar uma busca e um bibliotecário não está disponível para ajudar, a Busca por Linguagem Natural auxilia os usuários a começar. Este recurso foi considerado especialmente útil para perguntas simples ou consultas com qualificadores.

Embora ainda haja melhorias a serem feitas, a Busca por Linguagem Natural já está aprimorando os resultados em determinados comportamentos de busca que os métodos tradicionais não atendem bem. Por outro lado, a busca tradicional continua sendo eficiente para consultas Booleanas e para recuperar resultados relevantes nesse formato. Unir esses benefícios em uma experiência de busca que acomode todos os padrões de pesquisa, além de construir funcionalidades adicionais ao longo do caminho, é o aprendizado principal deste exercício.

Outro aprendizado está relacionado ao uso geral de IA. Ainda há muitas incertezas sobre como a IA pode ser usada na academia e sobre como ela funciona. Assim como acontece com todas as ferramentas de IA da EBSCO, estamos comprometidos em criar materiais educativos, documentar como utilizamos a IA e garantir que trabalhamos em parceria com editores e clientes à medida que o entendimento sobre IA e seu uso apropriado evolui.

A EBSCO lançou o Programa Beta de IA da EBSCO em junho de 2024. Estamos publicando resumos executivos como este para cada teste realizado e planejamos lançar um artigo acadêmico que explora como nosso trabalho e descobertas se encaixam no panorama mais amplo da IA na academia, no início de 2025.