Modelos de linguagem para classificar tom de revisões online

Uma aplicação bem legal de modelos de linguagem são classificação de revisões online. Durante os debates para presidenciáveis em 2022, usaram isso durante os debates para ponderar como as pessoas respondiam emocionalmente a cada candidato.

Vamos usar a ferramenta abaixo. Basicamente, é uma caixa de área onde vários modelos foram colocando no mesmo espaço.

A revisão que recebi que vou usar é desafiadora por ser curta: não tem muita informação. Isso me causou muita irritação, exatamente devido à falta de informação do que o aluno teve dificuldades. Vida de professor online é complicada!

"Estou tão perdido quanto o professor"

Eu interpretei como negativa. Respirei fundo e entrei em contato com o aluno para ver como poderia ajudar, mas nunca me respondeu.

Modelo #1: Anthropic:claude

Essa frase é muito ambígua e não dá contexto suficiente para determinar se a revisão do curso online é positiva, neutra ou negativa. A frase "Estou tão perdido quanto o professor" sugere que o aluno e o professor estão igualmente confusos, mas não especifica se isso é sobre o curso em si, o material ou outra coisa. Sem mais contexto, não é possível classificar a revisão como claramente positiva, neutra ou negativa.

O mais legal desta resposta é que apesar de que não fez o que pedi, me deu um tapinha nas costas; para minha implementação não serviria. A primeira vez que vemos uma revisão, pensamos se é negativa ou positiva. O chat foi racional, nesse caso. Isso atrapalharia o uso que tinha em mente, para criar um gráfico de positivo e negativo; mas seria um excelente companheiro para ver essas revisões como ela são: péssimas para tirar informação; um péssimo retorno na qualidade do curso, não tem como melhorar nada baseado nessa revisão. Como o chat diz: não tem como saber do que o aluno está falando, o curso ou o instrutor. Concordo plenamente.

Modelo #2: huggingface:google/flan-ul2

Negativo

Modelo #3: cohere: command-xlarge-nightly

Positiva

Modelo #4: openai: gpt-3.5-turbo (chatGPT)

Neutra