논문 상세보기

한국정보처리학회> 정보처리학회논문지. 컴퓨터 및 통신시스템> 분산 딥러닝에서 통신 오버헤드를 줄이기 위해 레이어를 오버래핑하는 하이브리드 올-리듀스 기법

KCI등재

분산 딥러닝에서 통신 오버헤드를 줄이기 위해 레이어를 오버래핑하는 하이브리드 올-리듀스 기법

Hybrid All-Reduce Strategy with Layer Overlapping for Reducing Communication Overhead in Distributed Deep Learning

김대현 ( Daehyun Kim ) , 여상호 ( Sangho Yeo ) , 오상윤 ( Sangyoon Oh )
  • : 한국정보처리학회
  • : 정보처리학회논문지. 컴퓨터 및 통신시스템 10권7호
  • : 연속간행물
  • : 2021년 07월
  • : 191-198(8pages)
정보처리학회논문지. 컴퓨터 및 통신시스템

DOI


목차

1. 서 론
2. 관련 연구
3. 레이어 오버래핑 기반 하이브리드 올리듀스 기법
4. 성능 평가
5. 결론 및 향후 연구
References

키워드 보기


초록 보기

분산 딥러닝은 각 노드에서 지역적으로 업데이트한 지역 파라미터를 동기화는 과정이 요구된다. 본 연구에서는 분산 딥러닝의 효과적인 파라미터 동기화 과정을 위해, 레이어 별 특성을 고려한 allreduce 통신과 연산 오버래핑(overlapping) 기법을 제안한다. 상위 레이어의 파라미터 동기화는 하위 레이어의 다음 전파과정 이전까지 통신/계산(학습) 시간을 오버랩하여 진행할 수 있다. 또한 이미지 분류를 위한 일반적인 딥러닝 모델의 상위 레이어는 convolution 레이어, 하위 레이어는 fully-connected 레이어로 구성되어 있다. Convolution 레이어는 fully-connected 레이어 대비 적은 수의 파라미터를 가지고 있고 상위에 레이어가 위치하므로 네트워크 오버랩 허용시간이 짧고, 이를 고려하여 네트워크 지연시간을 단축할 수 있는 butterfly all-reduce를 사용하는 것이 효과적이다. 반면 오버랩 허용시간이 보다 긴 경우, 네트워크 대역폭을 고려한 ring all-reduce를 사용한다. 본 논문의 제안 방법의 효과를 검증하기 위해 제안 방법을 PyTorch 플랫폼에 적용하여 이를 기반으로 실험 환경을 구성하여 배치크기에 대한 성능 평가를 진행하였다. 실험을 통해 제안 기법의 학습시간은 기존 PyTorch 방식 대비 최고 33% 단축된 모습을 확인하였다.
Since the size of training dataset become large and the model is getting deeper to achieve high accuracy in deep learning, the deep neural network training requires a lot of computation and it takes too much time with a single node. Therefore, distributed deep learning is proposed to reduce the training time by distributing computation across multiple nodes. In this study, we propose hybrid allreduce strategy that considers the characteristics of each layer and communication and computational overlapping technique for synchronization of distributed deep learning. Since the convolution layer has fewer parameters than the fully-connected layer as well as it is located at the upper, only short overlapping time is allowed. Thus, butterfly allreduce is used to synchronize the convolution layer. On the other hand, fully-connecter layer is synchronized using ring all-reduce. The empirical experiment results on PyTorch with our proposed scheme shows that the proposed method reduced the training time by up to 33% compared to the baseline PyTorch.

UCI(KEPA)

간행물정보

  • : 공학분야  > 전자공학
  • : KCI등재
  • :
  • : 월간
  • : 2287-5891
  • : 2734-049X
  • : 학술지
  • : 연속간행물
  • : 2012-2021
  • : 479


저작권 안내

한국학술정보㈜의 모든 학술 자료는 각 학회 및 기관과 저작권 계약을 통해 제공하고 있습니다.

이에 본 자료를 상업적 이용, 무단 배포 등 불법적으로 이용할 시에는 저작권법 및 관계법령에 따른 책임을 질 수 있습니다.

10권12호(2021년 12월) 수록논문
최근 권호 논문
| | | |

KCI등재

1협력적인 차량 엣지 컴퓨팅에서의 태스크 마이그레이션

저자 : 문성원 ( Sungwon Moon ) , 임유진 ( Yujin Lim )

발행기관 : 한국정보처리학회 간행물 : 정보처리학회논문지. 컴퓨터 및 통신시스템 10권 12호 발행 연도 : 2021 페이지 : pp. 311-318 (8 pages)

다운로드

(기관인증 필요)

초록보기

최근 사물인터넷의 기술이 빠르게 발전하면서 실시간 및 고성능의 처리를 요구하는 서비스들을 위해 멀티 액세스 엣지 컴퓨팅(MEC)이 차세대 기술로 부상하고 있다. 제한적인 서비스 영역을 가지는 MEC 사이에서 사용자들의 잦은 이동성은 MEC 환경에서 다뤄야 할 문제 중 하나이다. 본 논문에서는 이동성이 많은 차량 엣지 컴퓨팅 환경(VEC)을 고려하였으며, 강화 학습 기법의 일종인 DQN을 이용하여 마이그레이션 여부와 대상을 결정하는 태스크 마이그레이션 기법을 제안하였다. 제안한 기법의 목표는 차량 엣지 컴퓨팅 서버(VECS)들의 큐잉 지연시간의 차이를 이용한 로드밸런싱을 고려하여 QoS 만족도 향상과 시스템의 처리량을 향상시키는 것이다. 제안한 기법을 다른 기법들과의 성능 비교를 통해 QoS 만족도 측면에서 약 14-49%, 서비스 거절률 측면에서는 약 14-38%로 더 좋은 성능을 보임을 확인하였다.


With the rapid development of the Internet of Things(IoT) technology recently, multi-access edge computing(MEC) is emerged as a next-generation technology for real-time and high-performance services. High mobility of users between MECs with limited service areas is considered one of the issues in the MEC environment. In this paper, we consider a vehicle edge computing(VEC) environment which has a high mobility, and propose a task migration algorithm to decide whether or not to migrate and where to migrate using DQN, as a reinforcement learning method. The objective of the proposed algorithm is to improve the system throughput while satisfying QoS(Quality of Service) requirements by minimizing the difference between queueing delays in vehicle edge computing servers(VECSs). The results show that compared to other algorithms, the proposed algorithm achieves approximately 14-49% better QoS satisfaction and approximately 14-38% lower service blocking rate.

KCI등재

2NDN에서 Off-Path 콘텐츠 접근기법들에 대한 성능 비교 연구

저자 : 이준석 ( Junseok Lee ) , 김도형 ( Dohyung Kim )

발행기관 : 한국정보처리학회 간행물 : 정보처리학회논문지. 컴퓨터 및 통신시스템 10권 12호 발행 연도 : 2021 페이지 : pp. 319-328 (10 pages)

다운로드

(기관인증 필요)

초록보기

인터넷에서의 대용량 콘텐츠들에 대한 서비스가 일반화됨에 따라 기존 TCP/IP 프로토콜에서의 비효율적인 데이터 전송에 대한 문제점들이 제기되었고, 그 결과로 정보중심네트워크 (Information-centric networking) 패러다임이 새롭게 제시되었다. 정보중심네트워크에서는 IP와 같은 위치 식별자를 대신하여 콘텐츠 이름을 통해 콘텐츠 접근이 이루어지며, 네트워크 노드들 (e.g., 라우터)은 캐시를 활용하여 전송중인 콘텐츠들을 저장하여 이후 발생하는 사용자 요청들에 대한 서비스를 수행할 수 있다. 사용자 요청이 멀리 위치한 콘텐츠 서버가 아닌 가까운 네트워크 캐시에서 서비스될 수 있게 됨에 따라 서비스 지연 감소, 네트워크 대역폭의 효율적 사용, 서비스 확장성 확보 등의 이점이 소개되었다. 그런데 이와 같은 정보중심네트워크에서의 이점들은 캐시에 저장되어 있는 콘텐츠가 얼마나 적극적으로 활용될 수 있느냐에 의해 결정될 수 있다. 본 논문에서는 1) 정보중심네트워크의 대표적인 아키텍쳐 중의 하나인 Named-data Networking (NDN) 에서의 콘텐츠 접근 기법에 대해 소개하고, 2) 특별히 라우팅 경로를 벗어나 캐시되어 있는 콘텐츠들을 접근할 수 있도록 하기 위해 제안된 기법들에 대한 리뷰를 진행하며, 3) ndnSIM 시뮬레이터를 활용해 이들 기법들에 대한 성능 비교 평가를 진행한다.


With popularization of services for massive content, the fundamental limitations of TCP/IP networking were discussed and a new paradigm called Information-centric networking (ICN) was presented. In ICN, content is addressed by the content identifier (content name) instead of the location identifier such as IP address, and network nodes can use the cache to store content in transit to directly service subsequent user requests. As the user request can be serviced from nearby network caches rather than from far-located content servers, advantages such as reduced service latency, efficient usage of network bandwidth, and service scalability have been introduced. However, these advantages are determined by how actively content stored in the cache can be utilized. In this paper, we 1) introduce content access schemes in Named-data networking, one of the representative ICN architectures; 2) in particular, review the schemes that allow access to cached content away from routing paths; 3) conduct comparative study on the performance of the schemes using the ndnSIM simulator.

KCI등재

3인공지능(AI) 플랫폼의 지각된 가치 및 혁신저항 요인이 수용의도에 미치는 영향: 신약 연구 분야를 중심으로

저자 : 김영대 ( Yeongdae Kim ) , 김지영 ( Ji-young Kim ) , 정원경 ( Wonkyung Jeong ) , 신용태 ( Yongtae Shin )

발행기관 : 한국정보처리학회 간행물 : 정보처리학회논문지. 컴퓨터 및 통신시스템 10권 12호 발행 연도 : 2021 페이지 : pp. 329-342 (14 pages)

다운로드

(기관인증 필요)

초록보기

오랜 기간과 막대한 비용에도 성공 확률이 낮은 제약·바이오 산업의 생산성 위기를 해결하기 위한 전략으로 전 세계적으로 인공지능과 빅데이터를 활용하려는 사례가 증가하고 있고 가시적인 성과가 나오고 있지만 국내에서는 신약연구에 인공지능 플랫폼 도입에는 관망하는 상황이다. 본 연구는 신약개발을 지원하는 인공지능 플랫폼의 사용과 확산을 촉진하기 위해 도입 및 수용을 견인하는 지각된 가치와 변화에 대한 저항, 수용의도 관계를 검증할 가치기반수용모형과 혁신저항모형 결합 연구모형을 제시하였다. 인공지능 신약개발 플랫폼 사용의도의 연구모형은 지각된 편익으로 유용성, 지식풍부성을, 지각된 희생으로 복잡성, 알고리즘 불투명성을 채택하였고 지각된 가치, 혁신저항의 매개변수로 구성되었다. 실증 결과, 유용성, 지식풍부성, 복잡성, 인공지능 알고리즘의 불투명성이 지각된 가치에 유의미한 영향을 미치고, 유용성, 지식풍부성, 알고리즘의 불투명성, 시험가능성, 인공지능 기술지원환경이 플랫폼 도입에 따른 혁신저항에 유의미한 영향을 미치는 것으로 나타났다.


The pharmaceutical industry is experiencing a productivity crisis with a low probability of success despite a long period of time and enormous cost. As a strategy to solve the productivity crisis, the use cases of Artificial Intelligence(AI) and Bigdata are increasing worldwide and tangible results are coming out. However, domestic pharmaceutical companies are taking a wait-and-see attitude to adopt AI platform for drug research. This study proposed a research model that combines the Value-based Adoption Model and the Innovation Resistance Model to empirically study the effect of value perception and resistance factors on adopting AI Platform. As a result of empirical verification, usefulness, knowledge richness, complexity, and algorithmic opacity were found to have a significant effect on perceived values. And, usefulness, knowledge richness, algorithmic opacity, trialability, technology support infrastructure were found to have a significant effect on the innovation resistance.

1
권호별 보기
같은 권호 다른 논문
| | | | 다운로드

KCI등재

1분산 딥러닝에서 통신 오버헤드를 줄이기 위해 레이어를 오버래핑하는 하이브리드 올-리듀스 기법

저자 : 김대현 ( Daehyun Kim ) , 여상호 ( Sangho Yeo ) , 오상윤 ( Sangyoon Oh )

발행기관 : 한국정보처리학회 간행물 : 정보처리학회논문지. 컴퓨터 및 통신시스템 10권 7호 발행 연도 : 2021 페이지 : pp. 191-198 (8 pages)

다운로드

(기관인증 필요)

초록보기

분산 딥러닝은 각 노드에서 지역적으로 업데이트한 지역 파라미터를 동기화는 과정이 요구된다. 본 연구에서는 분산 딥러닝의 효과적인 파라미터 동기화 과정을 위해, 레이어 별 특성을 고려한 allreduce 통신과 연산 오버래핑(overlapping) 기법을 제안한다. 상위 레이어의 파라미터 동기화는 하위 레이어의 다음 전파과정 이전까지 통신/계산(학습) 시간을 오버랩하여 진행할 수 있다. 또한 이미지 분류를 위한 일반적인 딥러닝 모델의 상위 레이어는 convolution 레이어, 하위 레이어는 fully-connected 레이어로 구성되어 있다. Convolution 레이어는 fully-connected 레이어 대비 적은 수의 파라미터를 가지고 있고 상위에 레이어가 위치하므로 네트워크 오버랩 허용시간이 짧고, 이를 고려하여 네트워크 지연시간을 단축할 수 있는 butterfly all-reduce를 사용하는 것이 효과적이다. 반면 오버랩 허용시간이 보다 긴 경우, 네트워크 대역폭을 고려한 ring all-reduce를 사용한다. 본 논문의 제안 방법의 효과를 검증하기 위해 제안 방법을 PyTorch 플랫폼에 적용하여 이를 기반으로 실험 환경을 구성하여 배치크기에 대한 성능 평가를 진행하였다. 실험을 통해 제안 기법의 학습시간은 기존 PyTorch 방식 대비 최고 33% 단축된 모습을 확인하였다.

KCI등재

2MVDC 시스템연계 디지털변전소 자동화 연구

저자 : 장순호 ( Jang Soon Ho ) , 구자익 ( Koo Ja Ik ) , 문초롱 ( Mun Cho Rong )

발행기관 : 한국정보처리학회 간행물 : 정보처리학회논문지. 컴퓨터 및 통신시스템 10권 7호 발행 연도 : 2021 페이지 : pp. 199-204 (6 pages)

다운로드

(기관인증 필요)

초록보기

디지털변전소는 전력망 지능화를 위해 감시, 계측, 제어·보호, 운전 등 변전소를 구성하는 전력설비 기능과 통신방식을 국제표준인 IEC61850 기반으로 디지털화한 변전소를 말한다. 지능화된 운영시스템을 기반으로 효율적인 전력설비의 감시제어가 가능하며, 사고 발생 시 자동 복구 기능과 원격제어가 가능해 신속한 전력 장애 복구가 가능하다. 디지털 기술의 발달과 친환경 신재생에너지 및 전기차의 도입이 확대 되면서 직류 배전시스템의 보급이 확대될 전망이다. MVDC는 기존 송전계통에 적용되는 HVDC와 수용가에서의 LVDC 사이의 전압 레벨 및 전송용량을 갖는 직류 선로를 활용한 시스템이다. 대부분의 전력설비들이 교류 중심인 기존변전소의 기존 선로를 직류 선로로 변환하면 송전 손실 감소 및 더 큰 전류 용량이 확보된다. 디지털변전소의 프로세스 버스는 베이 레벨과 프로세스 레벨의 설치된 장치 간을 연결하는 이더넷스위치 등의 통신장비로 구성된 통신 네트워크이다. 기존 디지털변전소에 MVDC 연계를 위해 프로세스 레벨을 교류부와 직류부로 나누어 두 개의 버스로 구성을 하였고 감시, 제어만 아니라 진단 IED와 연계되어 종합적으로 관리할 수 있는 시스템을 제안하였다.

KCI등재

3OHT 작업 계획을 위한 실시간 스케줄링 시스템 개발

저자 : 이복주 ( Lee Bok-ju ) , 박희문 ( Park Hee-mun ) , 권용환 ( Kwon Yong-hwan ) , 한경아 ( Han Kyung-ah ) , 서경민 ( Seo Kyung-min )

발행기관 : 한국정보처리학회 간행물 : 정보처리학회논문지. 컴퓨터 및 통신시스템 10권 7호 발행 연도 : 2021 페이지 : pp. 205-214 (10 pages)

다운로드

(기관인증 필요)

초록보기

반도체 물류 공정은 스마트 제조를 위해 물류 자동화 시스템을 운영한다. 물류 자동화 시스템 중 하나인 OCS(OHT Control System)는 천장에 설치된 레일을 따라 이동하는 OHT(Overhead Hoist Transport)를 자율적으로 제어하는 시스템이다. 본 논문은 반도체 물류 공정에서 효율적인 작업 계획을 위한 실시간 스케줄링 시스템을 제안한다. 제안 시스템의 주된 역할은 OHT 할당 및 최적경로 생성이며, 전체 OCS에서 별도의 독립된 시스템으로 개발하여 시스템의 수정 및 확장이 용이하도록 구성하였다. 시스템 개발을 위해 반도체 물류의 기능 요구사항을 식별하고, 명령 유형에 따른 OHT 제어 시나리오를 정의하였다. 그리고 시스템 간 연동 확장성을 위해 국제반도체장비재료협회(SEMI) 규격을 적용하여 시퀀스 다이어그램과 인터페이스 메시지를 설계하였다. 기능 요구사항과 설계 문서를 바탕으로 개발된 스케줄링 시스템은 Main 시스템 및 데이터베이스와 실시간 연동되어 OHT의 최적할당 및 경로제어를 수행한다. 개발 시스템의 기능 검증을 위해 실제 반도체 물류 현장에서 OCS Main 시스템과 통합시험을 수행하였다. 6가지의 기본 시나리오와 2가지의 예외 시나리오에서 개발 시스템이 OHT 최적할당과 경로제어를 성공적으로 수행함을 검증하였다.

1
발행기관 최신논문
자료제공: 네이버학술정보
발행기관 최신논문
자료제공: 네이버학술정보

내가 찾은 최근 검색어

최근 열람 자료

맞춤 논문

보관함

내 보관함
공유한 보관함

1:1문의

닫기