Evolución de la IA en la resolución de problemas contables: Comparación entre GPT4 y GPT4o en el Examen de Competencia Contable

Resumen

La investigación tuvo como objetivo evaluar el rendimiento del modelo GPT-4o en comparación con el modelo GPT-4 en la resolución de preguntas del Examen de Competencia Contable. Este estudio se fundamenta en el concepto de procesamiento del lenguaje natural (PLN) de Brown et al. (2020). La investigación se realizó utilizando la metodología design science, que busca construir y/o evaluar diferentes artefactos tecnológicos aplicando las preguntas del Examen de Competencia al GPT-4o, utilizando ChatGPT de OpenAI. Si bien las estadísticas reales del Examen de Competencia muestran que solo una parte de los contadores lo aprueba, los resultados de la inteligencia artificial (IA) mostraron que las cuatro ediciones evaluadas aprobaron con al menos 64% de éxito. En general, en la muestra analizada, el modelo de IA GPT-4o alcanzó 77% de precisión, en comparación con el 71% del modelo GPT-4; así, se alcanzó un 84% de precisión en los dos últimos exámenes con el modelo más reciente. Sin embargo, en algunas preguntas que el modelo GPT-4 había respondido correctamente previamente, el modelo más reciente terminó respondiendo incorrectamente o de forma diferente a la esperada por los desarrolladores. Estos resultados contribuyen a la literatura que estudia el uso de la IA en contabilidad, en particular, en la aplicación de modelos de procesamiento del lenguaje natural y modelos de lenguaje extenso (LLMs).