- 65개 초거대 언어모델에 IRT 접목해 문제 공개 전, 학생들의 체감 난이도 예측하는 AI 개발

- 문제 난이도 예측 시스템(LLaSA) 세계 권위의 자연어 처리 학회 EMNLP 포스터 발표 통해 첫 공개

*그림 설명 : 가톨릭대 김강민 교수팀이 개발한 문제 난이도 예측 시스템(LLaSA) 개요도

  가톨릭대 데이터사이언스학과(인공지능학과 겸무) 김강민 교수 연구팀이 챗GPT와 같은 초거대 언어모델(LLM)을 활용해 학생들에게 시험 문제를 선보이기 전, 각 문제별 예상 난이도를 효과적으로 예측하고 배점을 돕는 AI 기술을 개발했다. 이번 연구 결과는 12일 미국 마이애미에서 개최된 세계 최고 권위의 자연어처리 학회 ‘EMNLP(Empirical Methods in Natural Language Processing) 2024’에서 포스터 발표를 통해 첫 공개되고 ‘EMNLP 2024 Findings’ 논문집에 게재되며 우수성을 높이 평가 받았다.

  그 동안 많은 교육기관에서 시험 문제를 출제하고 배점을 부과할 때, 출제자의 정성적 평가에 의존하는 경우가 많아 실제 학생들이 해당 문제를 마주했을 때 느끼는 난이도를 반영하기 어려웠다. 이를 보완하기 위해 학생들의 방대한 문제 풀이 기록 데이터를 바탕으로 문항별 난이도를 측정하고 점수 배점을 달리하는 문항 반응 이론(IRT, Item Response Theory)이 TEPS 등의 시험에 활용돼 왔으나, 학생들의 문제 풀이 기록을 사전에 수집해야만 적용 가능하다는 한계가 있었다. 

  이에 가톨릭대 김강민 교수 연구팀은 학생 집단의 문제 풀이 기록 수집 과정을 65개 초거대 언어모델(LLM)로 대체해, 학생에게 사전에 문제를 노출하지 않고도 대상 학생 집단의 수준에 따른 실제 체감 난이도를 성공적으로 예측할 수 있는 AI 시스템(LLaSA) 개발에 나섰다.

  이번에 개발 성공한 문제 난이도 예측 시스템(LLaSA)은 초거대 언어모델에 문항 반응 이론을 적용해 문제 난이도 예측 성능을 높였다. 이를 위해 연구팀은 다양한 분야와 형식의 문제를 풀 수 있는 65개의 초거대 언어모델 중 실제 학생의 능력 정보와 가장 유사한 것으로 선정된 언어모델이 학생을 대신해 시험 문제를 풀도록 했다. 이후 초거대 언어모델의 문제 풀이 기록을 바탕으로 문항별 난이도에 따라 점수 배점을 달리해, 실제 시험 이전에 효과적으로 문항 배점을 설정할 수 있도록 했다.

  연구 결과, 연구팀이 개발한 문제 난이도 예측 시스템은 문제의 내용만을 분석하는 기존 AI 기반 방법론 보다 문제 난이도 예측 성능이 8~23% 높은 것으로 나타났다. 또한, 학생 집단의 구성 변화에도 언어모델 구성을 조정하며 유연하게 대응할 수 있어 범용성이 월등히 높을 것으로 밝혀졌다.

  가톨릭대 김강민 교수팀의 이번 연구는 한국연구재단 우수신진연구지원사업의 일환으로 진행됐다. 연구 성과는 자연어 처리 분야의 저명한 국제학술학회인 ‘EMNLP 2024’에서 공동 1저자인 정보통신전자공학부 학사과정 박재우, 인공지능학과 학·석사 연계과정 박성진 학생이 진행한 포스터 발표로 첫 공개되는 동시에 논문집에도 게재되며, 연구의 우수성을 인정받았다. 

  가톨릭대 데이터사이언스학과(인공지능학과 겸무) 김강민 교수는 “이번 연구로 학생들의 문제 풀이 능력을 초거대 언어모델을 활용해 효과적으로 모사할 수 있다는 것이 확인됐다”며 “이번 연구 결과를 바탕으로 교육 현장에서 보다 더 과학적이고 선진화된 문제 난이도 예측 시스템이 적용돼 시험 변별력을 높일 수 있을 것으로 기대 된다”고 말했다. 또한 "가톨릭대학교가 2020년과 2021년에 각각 인공지능학과와 데이터사이언스학과를 신설한 이래, 해당 학과에서 공부한 학부생들로부터 세계적 수준의 연구결과가 나와 매우 뜻 깊다”고 소감을 전했다.