Evolução da IA em resolver problemas contábeis: uma comparação entre o GPT4 e GPT4o na resolução do Exame de Suficiência

Resumo

A pesquisa teve por objetivo avaliar o desempenho do modelo GPT-4o em relação ao modelo GPT-4 na resolução de questões do Exame de Suficiência em Contabilidade. Esse estudo se caseia no conceito de processamento de linguagem natural (PLN) de Brown et al. (2020). A pesquisa foi operacionalizada com a metodologia de design science, que visa construir e/ou avaliar diferentes artefatos tecnológicos, mediante a aplicação das questões do Exame de Suficiência no GPT-4o, por meio do ChatGPT da OpenAI. Enquanto as estatísticas reais do Exame de Suficiência demonstram a aprovação de apenas uma parcela dos contabilistas, os resultados da inteligência artificial (IA) foram de aprovação em todas as quatro edições avaliadas com pelo menos 64% de aproveitamento.  No âmbito geral da amostra analisada, o modelo de IA do GPT-4o apresentou 77% de aproveitamento de respostas frente a 71% do modelo GPT-4, alcançando uma acurácia de 84% nos últimos dois exames pelo modelo mais recente. Ainda assim, em algumas questões que o modelo GPT-4 havia acertado, esse modelo mais atual acabou respondendo de forma equivocada, ou diferente do previsto pelos elaboradores das questões. Esses resultados contribuem para a literatura que estuda o uso de IA dentro do campo da contabilidade, em especial a aplicação de modelos de linguagem de processamento natural e large language models (LLMs).