닫기
18.220.140.29
18.220.140.29
close menu
KCI 후보
효율적인 웹 크롤링, 데이터 분석 및 시각화 서비스 연구
Study on Effective Web Services for Data Acquisition, Analysis, and Visualization
안치영
DOI http://dx.doi.org/10.23089/jdca.2021.4.2.008

생활과 밀접한 서비스, 산업들뿐만 아니라 정보통신 산업을 비롯하여 기술과 거리가 멀다고 느껴졌던 농업까지 모든 산업에서 정보의 중요성은 점점 더 커지고 있다. 인터넷으로 정보를 검색하여 양질의데이터를 얻고 싶어 하지만, 다양한 사이트들을 방문해야 하고, 많은 양의 정보들을 일일이 재검색하거나 언어를 해독하여 그 관련성을 확인해야 하는 번거로움이 있기 때문에 정보를 검색하는데 그치지 않고, 관련성에 따라 이를 시각화까지 수행해주는 서비스가 필요하다. 본 연구에서는 크롤링한 데이터를가공하고, 자연어 처리를 통해 의미 있는 데이터로 추출한 후, 딥러닝 기반의 군집화 및 분류 과정을 수행한 후 그 결과를 다양한 시각화 기법을 적용하여 여러 가지 정보들을 한눈에 볼 수 있도록 하는 원스톱 서비스를 설계하고 구현한다.

The importance of information is increasing in all industries, from services and industries closely related to life, to the information and communication industry and agriculture, which seemed far from technology. A service that not only searches for information but also performs visualization according to relevance is needed, since there is a hassle of having to visit various sites, re-searching a large amount of information one by one or checking the relevance among data. In this study, we design and implement a one-stop service that enables various information can be viewed at a glance. After processing crawled data, we extract meaningful data through natural language processing, and conduct deep learning-based clustering and classification algorithm. Also, various visualization techniques are applied to the results.

×