증강 현실 기술이 발전함에 따라서 사용자의 편의성을 위한 객체의 제어 방식에 대한 요구 사항이 증가하고 있다. 본 논문에서는 마커가 붙어 있는 손가락의 움직임의 특징을 카메라로 포착하여 그 동작과 맞는 적절한 이벤트를 실행함으로 증강 현실 시스템을 보조해주는 기술을 제안하고 있다. 제안하는 방식의 가장 큰 장점은 카메라가 인식할 수 있는 정도까지의 근거리에서 3D 객체나 웹 화면을 사용자가 원하는 대로 제어하는 작업을 수행할 수 있도록 한 것이다. 핵심적인 프로토타입을 구현하여 손가락 움직임에 대하여 객체 제어가 되는지 실험을 하였으며 저속으로 움직이는 경우에 대부분 처리가 가능함을 알 수 있었다. 손가락의 모양이 빠르게 변화하는 경우에는 이벤트 처리에 오류가 많이 발생하였다.