온라인 학습 환경에서는 교수자가 보지 않는 곳에서 학습이 개별적으로 일어나기 때문에 학습활동 중 학습자의 행동을 관찰 할 수 없으며 시시각각 변화하는 학습자의 심리 상태 역시 파악하기 어렵다. 때문에 이렇게 달라진 학습 환경 속에서 학습의 진행에 따라 변화하는 학습자의 심리 기제를 이해하고 예측되는 학업성취에 따라 적절한 교수-학습적 처방을 제공하기 위해 성질이 다른 여러 데이터를 복합적으로 함께 분석하는 멀티모달(multimodal) 연구의 필요성이 제기되고 있다. 따라서 본 연구는 온라인 학습 상황에서 학습자의 행동 로그, 생리심리적 반응, 시험불안, 학업성취 데이터를 실험 상황을 통해 수집한 후 각 데이터 간 관계를 분석하고 이들이 학업성취도에 미치는 영향을 실증적으로 규명하고자 하였다. 본 연구는 수도권 소재 대학교 학부 학생 남녀 각각 32명씩, 총 64명을 대상으로 한 실험연구로 진행되었으며 실험을 통해 수집된 멀티모달 데이터를 활용하여 학업성취 예측모형을 개발하였다. 학업성취 예측모형의 결과, 행동 로그와 생리심리반응 변인의 학업성취 예측력을 확인할 수 있었지만 시험불안 변인은 학업성취를 유의하게 예측하지 못했다. 즉, 행동 로그 중총 온라인 학습 콘텐츠의 재생반복 시간이 짧을수록, 생리심리반응 중 온라인 학습 시의 심박이 낮을수록, 시험 시의 심박이 높을수록 학업성취 점수는 높게 나타났다. 이러한 결과를 바탕으로 시사점을 도출하고 후속연구에 대한 제언을 하였다.

In an online learning environment where direct observation is not available, it is difficult to grasp learners’ changing mental states only with self-report surveys. This lack of observation makes it hard to correctly predict learning outcome and provide proper interventions. Thus, we collected the learners’ behavioral log, psychophysiological response, test anxiety and learning achievement data to understand varying learners’ psychological states in the online learning situation with utilizing multimodal data simultaneously. Our results show that behavioral log and psychophysiological response could have significant predictive power in the prediction model of learning achievement. Thus, this study illustrates the value of utilizing multimodal data sources to capture learners’ psychological mechanisms without direct observation and get a deeper understanding of their online learning situation.