基於四階認知分類法的Linux命令自動評分:大語言模型輔助教學評估新範式

本文針對計算教育中命令列考試大規模自動評分的難題,評估了GPT、Claude Opus、Gemini和GLM等前沿大語言模型在近似專家判斷方面的能力。研究提出一種結合認知複雜度與操作影響力的四階認知分類法,涵蓋從資訊檢索到高級系統管理的不同層級。透過對1200份真實學生答卷及三位專家評分的對比,發現Gemini 3.0 Pro配合評分標準引導提示時,與人類專家的一致性最高(ICC=0.888)。研究證實,問題複雜度是預測模型評分難度的可靠指標,且結構化提示的質量對提升評分一致性至關重要,為AI輔助教學評估提供了可遷移的協議與框架。

Sources