獲超過10萬名教師信賴的CoGrader人工智能論文評分器，今日發表一項研究，顯示其德州STAAR人工智能評分器在1,764份STAAR建構式回應中，有98.3%的論文評分與德州教育局（TEA）的官方評分相差不超過一分。
CoGrader創辦人兼行政總裁吉爾·弗洛雷斯指出，一分之內的評分差異是德州教育局對兩名人工評分員的標準。他形容，對自動評分器而言，公平的測試是其與一名受訓評分員的意見一致程度，應與第二名受訓評分員的表現相若。他強調，這次數據顯示德州STAAR人工智能評分器在這項測試中獲得「A」級成績。
一項新研究數據顯示，CoGrader的德州STAAR人工智能評分器與人工評分員的評分完全吻合，高達90.5%。 AP圖片
CoGrader的評分引擎亦能與德州教育局指定的評分完全吻合，佔回應的80.4%。作為參考，CoGrader的研究發現，兩名受訓的德州教育局評分員的評分完全吻合的比例介乎63%至75%。
學生的回應取自德州教育局已發布的評分指引及評分員培訓材料，涵蓋三年級至八年級、英文一、英文二、生物學及美國歷史。重新設計的STAAR考試包括短篇建構式回應（SCRs）及長篇建構式回應（ECRs）。在評估短篇建構式回應時，德州STAAR人工智能評分器有99.7%的評分與德州教育局評分相差不超過一分。至於長篇建構式回應，評分器有96.0%的評分與德州教育局評分相差不超過一分。
德州STAAR人工智能評分器利用德州教育局公開發布的STAAR評分指引作為情境校準材料。該評分器根據州政府發布的評分標準，評估學生的練習寫作，並在大約三秒內提供評分及符合評分標準的回饋。教師隨後會審閱每個評分，按需要調整回饋，並決定每位學生所見的內容。
儘管春季的實際考試由機器評估，但學生在整個學年中的課堂及基準寫作則不然。這導致教師需要人手批改每份練習論文、基準測試及簡答題。若沒有CoGrader，教師可能需要五分鐘批改一篇論文。對於130名學生而言，這將累積至十小時。有了CoGrader，教師可在兩至三分鐘內批改一篇論文，每次作業可節省多達六小時。
弗洛雷斯總結指，這些結果證明CoGrader人工智能評分器不僅節省教師時間，更與州政府自身的人工評分員團隊的可靠性相符。
CoGrader是獲超過10萬名教師信賴的人工智能論文評分器，並影響美國學校超過100萬名學生。CoGrader的研究由美國教育部的一項IES撥款（獎項編號R305J250071）資助。該評分器建基於數十年關於寫作回饋及修訂的研究，根據州政府、AP或自訂的評分標準，評估學生的練習寫作，並在大約三秒內提供評分及客觀一致的回饋。教師會審閱每個評分，個人化回饋，並決定每位學生所見的內容。
（美聯社）
