연구배경 UX 라이팅(Writing) 분야에서 A/B 테스트는 사용자에게 제공할 문구의 효과를 객관적으로 검증할 수 있도록 하여 적극적으로 활용되고 있다. 본 연구는 A/B 테스트에서 발견되는 주요 한계점에 주목하여 이를 보완하기 위한 방법으로 ChatGPT와 BARD로 대표되는 생성형 AI 챗봇의 활용 가능성을 탐색하고, 챗봇 간 결과를 비교하고자 하였다. 연구방법 먼저, 사용자 대상 및 생성형 AI 챗봇 대상으로 A/B 테스트를 진행하기 위해 테스트에 사용할 문항을 연구자가 작성하였다. 다음으로, 각각의 대상별로 A/B 테스트를 진행하여 응답을 수집하였다. 이후, 사용자 응답과 생성형 AI 챗봇의 답변을 분석하였다. 마지막으로, 두 대상의 응답을 비교하여 생성형 AI 챗봇의 사용자 선호 예측률을 확인하였고, 나아가 ChatGPT와 BARD의 결과를 비교하여 두 챗봇 간 차이 발생 여부를 살펴보았다. 연구결과 ChatGPT과 BARD 중 BARD의 사용자 선호 예측률이 더 높게 나타났고, 이러한 예측률의 차이는 기반 모델의 학습 과정의 미세 조정(fine-tuning)의 차이에서 비롯되었음을 짐작할 수 있었다. 한편 두 챗봇 모두 사용자가 선호하는 이유로 작성한 내용들을 포괄하여 예측 이유로 설명함을 확인할 수 있었다. 결론 본 연구는 실증적인 조사를 통해 생성형 AI 챗봇이 사용자가 선호하는 문구를 어느 정도 예측하고, 그 이유를 사용자 입장에서 충분히 설명할 수 있다는 것을 보여주었다. 따라서 생성형 AI 챗봇은 A/B 테스트의 보조 도구로 활용되어 UX 라이팅 과정에서 유용한 정보를 제공하는 데 기여할 수 있을 것으로 예측된다.

Background In the field of UX writing, A/B testing is actively used to verify the effectiveness of provided phrases to users. This study aimed to explore the potential of using generative AI chatbots, represented by ChatGPT and BARD, to address the major limitations found in A/B testing and compare the results between the two chatbots. Methods Firstly, the test items for A/B testing, targeting both users and generative AI chatbots, were created. Subsequently, A/B testing was conducted for each target group, and their responses were collected. Next, the user responses and chatbot answers were analyzed. Finally, a comparison was made between the responses of the two targets to examine the user preference prediction rate of the chatbots. Additionally, the results of ChatGPT and BARD were compared to identify any differences between these two chatbots. Results BARD showed a higher user preference prediction rate compared to ChatGPT, suggesting that this difference might be attributed to variations in fine-tuning during the training process of their underlying models. Furthermore, it was confirmed that both chatbots could explain the predicted reasons why users would favor certain phrases, including the content written by users as their preferences. Conclusion This study demonstrated that generative AI chatbots can predict user-preferred phrases to a certain extent and adequately explain the reasons from the user's perspective. Therefore, generative AI chatbots are expected to serve as valuable supplementary tools in the UX writing process, providing useful insights for A/B testing.