Três choques significativos que impactam a pesquisa na era da AI generativa

A pesquisa é omnipresente nas economias modernas com utilização intensiva de informação, moldando toda a variedade de transações, desde mercados de trabalho e de produtos até ao comércio eletrônico e aos meios de comunicação social.

U m rico corpo de trabalho acadêmico, incluindo um ganhador do prêmio Nobel, tem se dedicado a explorar as implicações dos custos de pesquisa. E algumas das maiores empresas de tecnologia do mundo foram construídas com o objetivo de minimizá-las, tanto para os consumidores que procuram informação, como para as empresas que procuram audiências. Mas com a explosão da AI generativa, a forma como todos procuramos informação está mudando significativamente e talvez permanentemente.

Destacamos três choques significativos que estão impactando a pesquisa:

1. Os custos de pesquisa estão aumentando à medida que um tsunami de conteúdos gerados inunda o mercado;
2. Os usuários estão exigindo uma nova experiência de pesquisa em resposta à deterioração da qualidade da pesquisa;
3. A investigação e o desenvolvimento de novas técnicas de pesquisa estão acelerando.

Não nos aborreça, vá para o refrão

À medida que o volume de conteúdo cresce, fica mais caro vasculhar tudo para encontrar as informações que você precisa. A agulha permanece do mesmo tamanho, mas o palheiro continua crescendo, por isso todos devemos gastar mais recursos procurando no feno. A AI generativa irá desencadear volumes de conteúdo exponencialmente crescentes, levando ao aumento dos custos de pesquisa. Estas fricções podem remodelar uma grande variedade de mercados de formas interessantes e por vezes contra-intuitivas.

Por exemplo, à medida que os serviços de streaming de música passaram a dominar as preferências de audição, a estrutura musical e o conteúdo das próprias músicas estão mudando em resposta aos elevados custos de pesquisa enfrentados pelos usuários no meio de escolhas praticamente infinitas. Os artistas começaram a reescrever canções para este novo meio, compondo músicas com introduções mais curtas e durações gerais. Além disso, as músicas geralmente são escritas no formato VERSO-CHORUS-VERSO, mas agora mais músicas novas são CHORUS-VERSO-CHORUS, projetadas especificamente com o streaming em mente. A mudança sutil é impulsionada pela extrema abundância de conteúdo; os artistas sabem que os ouvintes provavelmente não continuarão muito além dos primeiros 15 a 30 segundos de uma música, já que inúmeras opções adicionais estão disponíveis sob demanda. Assim, eles escolhem entregar a parte mais cativante da música nos primeiros segundos de audição para maximizar a probabilidade de prenderem o público (e receberem royalties pela audição).

Mas o impacto dos custos de pesquisa mais elevados não se esgota apenas no estilo e na estrutura dos mercados de conteúdos. Muitas decisões do mundo real dependem das crenças dos pesquisadores sobre a disponibilidade de alternativas e são classificadas matematicamente como “problemas de parada ideal”, por exemplo, quando devemos parar de pesquisar e apenas executar. Quase todas as grandes “transações” que realizamos envolvem um componente de coleta de informações, e as plataformas digitais são a fonte primária dessas informações. A sua influência se estende a decisões que mudam vidas, como procurar um emprego, uma casa para viver, um parceiro com quem passar a vida ou procurar o melhor carro ao preço mais baixo. Foi demonstrado que os custos de pesquisa têm impacto em todas estas funções econômicas e sociais críticas.

Em suma, o aumento dos custos de pesquisa torna mais difícil encontrar um parceiro comercial, para compradores de todos os tipos encontrar vendedores e vice-versa. Como resultado, a AI generativa corre o risco de dificultar a execução de uma ampla variedade de transações. Estas fricções estão associadas a diversas ineficiências, incluindo o aumento da inflação, o aumento da dispersão dos preços e o aumento do desemprego. Num período de volatilidade econômica significativa, esses impactos negativos poderão ser materiais.

Você tem experiência?

Há um consenso crescente de que a qualidade dos resultados da pesquisa vem se deteriorando há algum tempo, com diversas causas imediatas. O crescimento extraordinariamente rápido da procura de novas formas de recuperar informação sugere que o mercado anseia por uma experiência diferente, que surge num momento crítico. Estimativas recentes mostram que aproximadamente 1 em cada 5 minutos de tempo do trabalhador do conhecimento é gasto em pesquisas. Estamos afogados em informações, mas não conseguimos encontrar o que precisamos, quando precisamos, e o problema só está piorando.

Os comentaristas do popular fórum de mensagens da Internet Reddit, por exemplo, opinam amplamente que os resultados da pesquisa são dominados por anúncios, spam e clickbait, tornando mais difícil encontrar as informações que você procura. Uma rápida verificação com a Wayback Machine demonstra quanto mais rolagem é necessária hoje para chegar aos resultados da pesquisa orgânica do que há 10 ou 20 anos. A “otimização de mecanismos de pesquisa” ou técnicas de SEO são difundidas, permitindo que os editores manipulem facilmente as classificações de resultados usando palavras-chave específicas para chegar ao topo da lista. Os modelos de negócios baseados em publicidade para motores de busca sempre foram conhecidos por serem uma ameaça à qualidade dos resultados; em vez de encontrar as informações mais relevantes e da mais alta qualidade, uma empresa com fins lucrativos tem um incentivo para direcionar a atenção dos usuários para o conteúdo do licitante com lance mais alto.

Este desalinhamento de incentivos profundamente enraizado no modelo de negócio da Internet poderia explicar parte da atratividade da utilização (por enquanto) de chatbots sem publicidade para responder a perguntas. É simplesmente uma experiência mais limpa, agradável e menos pesada. Em vez de examinar uma série de links, a AI generativa pode fornecer uma resposta direta em um formato fácil de consumir, sem toda a confusão e ruído dos mecanismos de pesquisa existentes. E por possuir memória, o chatbot permite ao usuário realizar pesquisas posteriores altamente contextualizadas e mais detalhadas, possibilitando maior refinamento e abrangência da solicitação para recuperar a informação específica desejada. Em vez de experimentar palavras-chave diferentes ou clicar muito além da primeira página de links, o usuário pode simplesmente ajustar ou estender o prompt de texto inicial para continuar explorando dentro de um espaço de conteúdo mais restrito. A interface conversacional exige menos esforço dos usuários, e a falta de anúncios e ruído é menos desgastante mentalmente.

Independentemente do driver subjacente, os usuários estão falando com os pés, mesmo apesar das limitações óbvias dos chatbots, incluindo baixa precisão (dando frequentemente respostas erradas), pontualidade (os algoritmos requerem treinamento, portanto o conteúdo gerado está desatualizado em cerca de 12 meses) e a ocasional explosão emocional inesperada.

As novas crianças no gráfico

À medida que os custos de pesquisa aumentam, a inovação avança com novas tecnologias de pesquisa para compensar o aumento. Estão surgindo várias novas startups de pesquisa de IA para desafiar os operadores históricos, e mesmo os gigantes tecnológicos que dominam este setor há décadas estão reestruturando as suas ofertas de produtos em resposta a novas pressões competitivas. A maioria dos novos serviços é de natureza conversacional.

Mas talvez a nova oferta mais importante seja exemplificada pelo modelo Co-pilot do GitHub, que você pode descrever como “busca automática”. O Co-pilot opera como um parceiro de programação, monitorando seu código em tempo real enquanto você o constrói para recuperar automaticamente informações relevantes. Os programadores que usam a ferramenta relatam aumentos significativos na produtividade, pois não precisam redirecionar sua atenção, abrir o navegador e pesquisar documentos de API ou fóruns de desenvolvedores. O Co-pilot basicamente já fez isso para você e extraiu sugestões e insights de bilhões de linhas de código armazenadas no GitHub. Modelos semelhantes já estão em desenvolvimento para criar copilotos para diversas profissões do conhecimento, incluindo advogados, negociantes de valores mobiliários, médicos e arquitetos.

Mas o que torna as técnicas de copiloto tão poderosas não é apenas a capacidade de pesquisar automaticamente em segundo plano, é a forma como esses modelos sistematizam o conhecimento incorporado nos dados de treinamento e tornam esse conhecimento acessível ao usuário. No exemplo do GitHub acima, os desenvolvedores anteriores que criaram o código que contém os dados de treinamento já terão lido a documentação necessária e incorporado esse conhecimento em seu software. Assim, quando seu código é reproduzido para um novo usuário final, ele mantém essa estrutura aprimorada. Isso é diferente de simplesmente buscar informações não estruturadas, o que exige um esforço adicional por parte do usuário para ser convertido em conhecimento e insights mais acionáveis. É claro que o inverso também é verdadeiro; erros codificados nos dados de treinamento também serão propagados para o novo código.

A AI generativa representa, portanto, o início de uma mudança da recuperação de informação, que já não consegue lidar com os volumes crescentes de dados, e em direção à recuperação de conhecimento, uma distinção delicada mas importante. A recuperação do conhecimento requer novas técnicas para armazenar e organizar os dados brutos, novas formas de representá-los em múltiplas dimensões, novos métodos para permitir consultas ao banco de dados e diferentes modelos para gerar inferências. Além disso, requer um processo de revisão rigoroso para garantir que o conhecimento codificado no gráfico é verdadeiro, justo e preciso, caso contrário corremos o risco de perpetuar crenças falsas e incorretas.