최근 인공지능이 고도화되면서 다양한 대화형 제품 및 서비스가 출시되고 있다. 하지만 대화가 원활하게 이루어지기에 현재의 기술은 아직 미성숙한 상황이다. 또한 기술에 치우친 일방적인 개발로 사용자 대화 경험의 고려가 미흡하다. 특히 원활한 대화 경험이 성립되기 위해서 사용자의 대화 인지는 중요한 요인 중 하나이다. 따라서 이 연구는 모달리티 유형에 따른 사용자의 대화 인지 요소 파악을 목적으로 한다. 연구 방법은 인터페이스 변천, 멀티모달리티의 개념과 인터랙션 양식에 대한 문헌 연구를 진행하였다. 이를 토대로 사례 연구에 적용할 모달리티 유형을 도출하였다. 사례 연구는 지금까지 출시된 대화형 인터페이스의 대표 제품으로 지능형 비서, 챗봇, 인공지능 스피커, 웨어러블 스마트 기기, 소셜 로봇 등 다섯 개를 선정하여 분석하였다. 연구 결과, 첫째, 대화형 인터페이스는 문자·음성·시각·몸짓 언어 등을 도구로 상호작용한다. 둘째, 여러 언어를 동시에 사용하는 멀티모달리티 사례가 늘고 있다. 셋째, 제각각의 모달리티는 서로 다른 어포던스, 전달 수단, 하위 요소, 특성 등을 갖는다. 대표적 특성으로 음성언어는 신속하고, 문자언어는 정확하다. 이와 같은 연구 내용을 통해 개발 초기 단계에서부터 기획 방향과 목표 사용자에게 적합한 모달리티를 선택 및 조합해야 함을 알 수 있었다. 선택한 모달리티의 특성을 파악하여 이를 활용한 효과적인 대화 경험 디자인을 해야 한다. 더불어 향후 사용자 인지 및 주의를 중심으로 한 사용성 평가 등의 실증 연구가 수반되어야 한다. 앞으로 대화형 인터페이스 관련 산업이 계속 확대될 것으로 전망된다. 따라서 기초 연구로서, 대화 상호작용의 메커니즘과 사용자의 대화 경험, 대화형 시스템을 아우르는 통합적인 체계 연구가 요구되어 진다. 본 연구의 유형 분석을 바탕으로 대화형 인터페이스 프로젝트 개발할 때 보다 효과적인 모달리티와 하위 요소를 적용해 사용성 및 사용자 경험에 긍정적인 효과를 제공할 수 있을 것으로 기대한다.
With the recent advancement of artificial intelligence, various conversational products and services are being released. However, the current technology is still immature for the conversation to take place smoothly. In addition, due to technology-biased unilateral development, consideration of user conversation experiences is insufficient. In particular, the user's conversational cognition is an essential factor in establishing a smooth experience. Therefore, this work aims to identify the conversational cognitive elements of users according to modality types. The study's method conducted a literature study on interface changes, concepts of multimodality, and modalities. Moreover, based on this, derive modality types for apply to case studies. The case study selected and analyzed five representative products of conversational interfaces that have been released so far. As a result of the research is following this. First, conversational interfaces interact with tools such as text, voice, visual, and body language. Second, the number of multimodality cases using multiple languages at the same time is increasing. It can confuse communication. Third, each modality has a different affordance, means of communication, sub-elements, characteristics, etc. Such research shows that planning and modality suitable for target users should be selected and combined from the initial development stage. Besides, it should be accompanied by empirical studies such as usability evaluation centered on future user awareness and attention. As the industry related to conversational interfaces will continue to expand in the future. As a preliminary study, an integrated system study encompassing dialogue interaction mechanisms, the user's conversational experience, and interactive systems, is required. This study's type analysis expects to apply more effective modalities and sub-factors when developing interactive interface projects to affect usability and user experience positively.
