Muitas pessoas estão familiarizadas com o método Chain of Thoughts (CoT) popular para melhorar a IA generativa e obter respostas mais avançadas. No entanto, pesquisadores do Google DeepMind e da Universidade de Princeton criaram uma estratégia aprimorada de prompting chamada Tree of Thoughts (ToT), que leva a resultados ainda melhores. Essa abordagem desbloqueia métodos de raciocínio mais sofisticados e produz saídas de maior qualidade.
Os cientistas fornecem uma explicação sobre o assunto:
Demonstramos como a exploração intencional das árvores de pensamentos (ToT) gera resultados superiores e, ainda mais relevante, oferece novas e promissoras maneiras de utilizar modelos de linguagem para solucionar problemas que demandam pesquisa ou planejamento.
Pesquisadores fazem uma comparação entre três tipos de incentivo.
O estudo de pesquisa faz uma comparação entre o ToT e outras três estratégias de prompt.
Isso se resume a dar ao modelo de linguagem um desafio a ser solucionado e obter a resposta.
Um caso que ilustra a síntese de texto é:
Texto: Mensagem de conclusão: Resumo criado a partir do artigo fornecido.
2. Sequência de Estímulos Mentais
Essa forma de aviso ocorre quando um modelo de linguagem é direcionado a produzir respostas coerentes e conectadas, estimulando-o a seguir uma sequência lógica de ideias. O Prompting Chain-of-Thought (CoT) é uma abordagem para orientar um modelo de linguagem durante o processo de raciocínio intermediário para solucionar problemas.
Exemplo de uma sequência de perguntas para estimular o pensamento.
O Roger tinha inicialmente 5 bolas. Ele comprou 2 latas contendo 3 bolas de tênis cada, totalizando 6 bolas de tênis. Somando as bolas que ele já tinha com as que comprou, o total é de 11 bolas. Portanto, a resposta é 11.
Pergunta: A cafeteria possuía um total de 23 maçãs. Após utilizar 20 para preparar o almoço e adquirir mais 6, qual é a quantidade de maçãs que eles possuem agora?
3. Consistência automática com CT
Em outras palavras, essa é uma tática que consiste em solicitar várias vezes ao modelo de idioma e selecionar a resposta mais frequente.
O artigo de pesquisa aborda a explicação da Consistência SEL em relação ao CoT de março de 2023.
Ele começa mostrando uma variedade de formas de pensar em vez de apenas seguir o caminho mais vantajoso, e então escolhe a resposta mais coerente, descartando as outras formas de pensamento que foram mostradas. A ideia por trás disso é que problemas complexos geralmente permitem diferentes abordagens, mas apenas uma leva à resposta correta.
A cognição humana é compreendida através de modelos de processo duplo.
O pensamento de decisão humana é analisado pelos pesquisadores com base na teoria do processo dual ou modelos de processo duplo em cognição humana.
De acordo com os modelos de processos duplos na cognição humana, os indivíduos são capazes de realizar dois tipos de processos de tomada de decisão: um é baseado na intuição e é rápido, enquanto o outro é mais reflexivo e demorado.
- Essa forma de pensar é caracterizada pela rapidez, automação e inconsciência, muitas vezes descrita como sendo baseada na intuição.
- Essa forma de tomar decisões é um processo de pensamento demorado, intencional e consciente que requer uma análise cuidadosa e um raciocínio passo a passo antes de se chegar a uma decisão final.
O Prompting Tree of Thoughts (ToT) utiliza uma estrutura de árvore para cada etapa do processo de pensamento. Isso permite que o modelo de linguagem avalie cada etapa de raciocínio e determine se ela é válida e levará a uma resposta. Se o modelo de linguagem concluir que o caminho de raciocínio não resultará em uma resposta, a estratégia de prompting exige que esse caminho seja abandonado e que outro ramo seja explorado até que se chegue ao resultado final.
Comparação entre a Árvore de pensamentos (ToT) e a Cadeia de pensamentos (CoT)
A distinção entre ToT e CoT reside no fato de que ToT utiliza uma estrutura de árvore e ramos para o processo de raciocínio, enquanto CoT segue um caminho mais direto e linear.
De forma básica, o CoT instrui o modelo de linguagem a seguir uma sequência de etapas para realizar uma tarefa, semelhante ao sistema cognitivo modelo 1, que é rápido e automático.
O ToT é semelhante ao modelo cognitivo do sistema 2, que é mais reflexivo e instrui o modelo de linguagem a seguir uma sequência de etapas. Além disso, o sistema também possui um passo de avaliação, revisando cada etapa para determinar se é adequado prosseguir ou se é necessário mudar de direção.
Exemplos visuais de técnicas de incentivo e orientação.
A imagem abaixo mostra como é o processo de raciocínio para ToT.
Representação visual da sequência de eventos de incentivo.
Essa é uma representação visual para o conceito de CoT, demonstrando que o processo de pensamento não ocorre de forma linear e direta.
O objetivo do artigo de pesquisa é esclarecer:
De acordo com a pesquisa sobre a resolução de problemas humanos, as pessoas tendem a buscar por um espaço de problemas combinatórios, representado por uma árvore em que cada nó representa uma solução parcial e os ramos correspondem aos operadores que modificam essas soluções. A escolha de qual ramo seguir é determinada por heurísticas que auxiliam na navegação pelo espaço-problema e orientam o solucionador de problemas em direção a uma solução.
Essa visão ressalta duas falhas principais das abordagens atuais que usam LMs para resolver problemas em geral:
1) No âmbito local, eles não investigam as várias fases de um raciocínio – os desdobramentos do pensamento.
Em nível global, eles não incluem nenhum tipo de planejamento, previsão ou retrocesso para auxiliar na avaliação dessas várias opções – o tipo de busca conduzida por heurística que parece ser característica da resolução de problemas por seres humanos.
Para enfrentar essas limitações, propomos a Árvore dos Pensamentos (ToT), um método que possibilita às LMs explorarem diferentes abordagens de pensamento…
Testei um jogo de matemática.
Os cientistas conduziram um experimento utilizando um jogo de cartas matemático chamado “Jogo de 24”, que consiste em usar quatro números de um conjunto de cartas para realizar operações básicas (adição, subtração, multiplicação e divisão) e obter um resultado de 24.
Conclusões e resultados.
Os cientistas avaliaram a eficácia da estratégia de alerta ToT em comparação com as outras três abordagens e constataram que ela obteve resultados consistentemente superiores.
Entretanto, eles também apontam que TOT pode não ser indispensável para executar as tarefas que GPT-4 já desempenha com eficiência.
Eles chegaram a uma conclusão.
Uma maneira benéfica de expandir o Sistema 1 associativo de LMs é através da implementação de um Sistema 2 que busca diferentes caminhos para solucionar um problema.
A Tree of Thoughts é uma estrutura que permite a conversão de conceitos tradicionais sobre a solução de problemas em abordagens práticas para os modelos de linguagem modernos.
Ao mesmo tempo, as LMs abordam uma limitação desses métodos tradicionais, oferecendo uma forma de solucionar questões complexas que não são facilmente expressas em forma formal, como a produção de textos criativos.
Consideramos a convergência entre LMs e abordagens tradicionais para AI como um caminho empolgante.
Dê uma olhada no artigo de pesquisa autêntico.
Árvore de Reflexões: Resolução Intencional de Problemas com Modelos de Linguagem Avançados.
A imagem destacada é fornecida pela Shutterstock e foi capturada por Asier Romero.