Восстания машин на Земле точно не будет: ChatGPT "завалил" экзамен по бухгалтерскому учету

Из-за постоянных дискуссий на тему замены студенческих и ученических работ на материалы ChatGPT, ученые решили провести эксперимент, насколько чат совершенен в различных областях. Поэтому ChatGPT протестировали с экзамена бухгалтерского учета.

Об этом сообщает Portaltele.

ChatGPT "завалил" экзамен по бухгалтерскому учету

Ученые из Университета Бригама Янга и 186 других учреждений интересовались эффективностью технологии OpenAI на экзаменах по бухгалтерскому учету. Поэтому они протестировали уникальную модель ChatGPT. Исследователи заявили, что хотя ChatGPT все еще нуждается в совершенствовании в сфере бухгалтерского учета, он имеет потенциал революционизировать способ обучения и обучения к лучшему.

Исследователи привлекли студентов со всего мира, предоставив 25 181 вопрос к экзамену по бухгалтерскому учету. Вопросы касались информационных систем бухгалтерского учета (АИС), аудита, финансового учета, управленческого учета и налогообложения, и были разными по сложности и типу (правда/ложь, несколько вариантов ответа, краткий ответ и т.п.).

Несмотря на отличную производительность чат-бота, студенты справились лучше, набрав общий средний балл 76,7%, что по сравнению с результатом ChatGPT — 47,4%. Он показал хорошее владение знаниями AIS и аудита, но хуже справился с налоговыми, финансовыми и управленческими оценками.

Что касается типа вопросов, ChatGPT показал лучший результат с вопросами "правда/неправда" (68,7% правильных) и вопросами с несколькими вариантами ответа (59,5%), но затруднился с кратким ответом (от 28,7% до 39,1%). В общем, чат-боту было труднее ответить на вопросы высшего уровня.

"Это не идеально; ты не собираешься использовать его для всего. Попытка учиться исключительно с помощью ChatGPT — это глупое дело", — сказала одна из участниц эксперимента студентка Джессика Вуд.

Кроме того, в ходе эксперимента исследователи заметили, что ChatGPT не всегда распознает, когда выполняет математику, и допускает нелепые ошибки, например добавление двух чисел в задачи на вычитание или неправильное деление чисел; дает пояснения к своим ответам, даже если они неправильны; также иногда фальсифицирует факты — авторов и источников, предложенных им, может и не существовать

Напомним, что в испанской больнице успешно завершили первую в мире полностью роботизированную операцию по пересадке легких.  Медики утверждают, что операция может стать мировым стандартом.