Teste de Turing com esteróides: classificações de crowdsourcing do Chatbot Arena para 45 modelos de IA

dezenas de grandes modelos de linguagem (LLMs) distintosinvestigados emtipos de debatecriaram o Chatbot Arena

Os usuários do Chatbot Arena podem inserir qualquer prompt que imaginarem no formulário do site para ver as respostas lado a lado de dois modelos selecionados aleatoriamente. A identidade de cada modelo é inicialmente ocultada e os resultados são anulados se o modelo revelar sua identidade na própria resposta.

O usuário então escolhe qual modelo forneceu o que considera ser o “melhor” resultado, com opções adicionais para um “empate” ou “ambos são ruins”. estavam julgando, embora uma seção separada “lado a lado” do site permita que os usuários escolham dois modelos específicos para comparar (sem a capacidade de contribuir com um voto no resultado).

Desde seu lançamento público em maio, a LMSys afirma ter reunido mais de 130.000 classificações cegas de pares em 45 modelos diferentes ( no início de dezembro). Esses números parecem destinados a aumentar rapidamente após uma recente análise positiva de Andrej Karpathy da OpenAI que já levou a o que a LMSys descreve como “um super teste de estresse”para seus servidores.

As milhares de classificações pareadas do Chatbot Arena são processadas por meio de um modelo Bradley-Terry, que usa amostragem aleatória para gerar uma estimativa de classificação no estilo Elo qual modelo tem maior probabilidade de vencer na competição direta contra qualquer outro. As partes interessadas também podem investigar os dados brutos de dezenas de milhares de classificações humanas de prompt/resposta por si mesmas ou examinar estatísticas mais detalhadas, como taxas de vitórias diretas entre modelos e intervalos de confiança para essas estimativas Elo.