스마트팩토리의 핵심 설비 기기인 협동로봇의 유지보수를 위해 다양한 센서 데이터를 활용한 딥러닝 기반 결함 진단 연구가 확대되고 있다. 하지만 협동로봇은 기계적 특성과 수행하는 작업의 다양성으로 인해 내부 센서 데이터의 복잡도가 매우 높아 고정적인 결함 진단 기법을 적용하기 어렵다. 따라서 본 논문은 협동로봇의 동작 패턴을 직관적이고 신속하게 인지할 수 있는 비전 기술을 활용하여, 동작 오류 진단을 기반으로 원인이 되는 조인트 결함 위치를 추적하는 딥러닝 기법을 제안한다.