PAPER

Assessment Modeling: Fundamental Pre-training Tasks for Interactive Educational Systems

"6개 문항으로 유저의 시험점수를 예측해내는 가장 높은 정확도의 모델"

Read Paper >

image

특정 시험의 점수 예측은 유저의 실제 시험 점수 데이터(label)를 필요로 하는데, 이는 문제풀이 정오답 데이터와 달리 유저의 능동적 참여를 기반으로 수집이 가능함. 따라서 본질적으로 데이터양이 적음

뤼이드는 적은 데이터 양의 한계를 극복하고, 적은 데이터로도 예측 정확도를 높이기 위해 딥러닝 Transformer 기반의 Assessment modeling을 제안 정오답 예측과 시간내 풀이 여부 예측을 예비학습(pre-train)시킨 모델은 적은 양의 점수 데이터 기반으로 점수 예측에 맞게 변형 (fine-tune)하여 예측 수행

기존 점수예측 알고리즘의 경우 모두 문제 컨텐츠를 예비학습 후, 점수예측을 수행하는데 반해, 뤼이드는 최초로 유저의 문제풀이 데이터를 학습시킨 모델을 제안

image

문제컨텐츠를 예비학습한 모델 중 가장 높은 예측성능을 보이는 ‘QuesNet’ 대비 28% 높은 예측 정확도 기록