연구의 목적 및 주요 연구내용
최근 정부 및 공공 부문의 성과 제고에 대한 관심이 그 어느 때보다 높아지고 있는 가운데, 기획예산처를 중심으로 정부업무 전반에 대해 미국의 GPRA와 유사한 성과관리제도 도입이 진행되고 있다. 이와 같은 정부 및 공공 부문의 성과평가에 대한 요구는 정부의 R&D 부문에 있어서도 예외는 아니다.
이러한 가운데, 본 연구는 각 부처가 추진하는 정부 R&D사업을 중심으로 성과의 인식과 측정, 성과평가시스템의 구조와 운영 등 성과평가시스템을 전반적으로 진단하고 정부 R&D사업 성과관리의 효과성을 높일 수 있는 제도적 발전방안을 제시하는데 목적을 두고 추진되었다.
본 연구는 서론을 제외하고 크게 다섯 부분으로 구성되어 있다.
첫째, 정부 R&D 성과가 어떻게 인식되고 포착되는지를 조사하고 분석하였다. 여기서는 정부 R&D 성과를 무엇으로 보아야 할 것인가에 주안점을 두고, 정부 R&D 성과의 특징과 관련개념의 정의, 기존의 연구와 분석평가 사례에 나타난 정부 R&D 성과의 인식, 정부 R&D의 성격이나 유형에 따른 주된 성과의 포착형태 등을 포함하였다. 그리고, 이를 토대로 정부 R&D 성과의 측정방법을 검토하고 이를 R&D사업 유형에 따라 어떻게 적용할 것인지를 분석하였다.
둘째, 정부 R&D 성과분석 또는 성과평가에 대한 국내사례를 사업의 성격, 성과평가의 목적과 주안점, 성과의 인식과 측정/평가 등의 관점에서 검토하고 이를 비교 분석하였다. 이러한 분석을 위해 다음 9개 성과분석/성과평가 사례를 검토하였다.
- 특정기초연구사업에 대한 프로그램 평가
- 선도기술개발사업(G7사업) 종합분석
- 중점국가연구개발사업 프로그램 종합분석
- 중기거점기술개발사업의 성과분석
- 공통핵심기술개발사업 평가 및 성과분석
- 부품소재기술개발사업 성과분석
- 정보화촉진정보통신연구개발사업(선도기반기술개발사업) 투자성과 분석
- 보건의료기술연구개발사업의 성과평가
- 건설기술연구개발 성과측정
셋째, 선진국의 정부 R&D 성과평가시스템 운영 현황과 R&D 성과평가 사례를 분석하였다. 미국, 유럽, 일본을 대상으로 하여 정부 R&D 성과평가시스템이 어떻게 운영되고 있고 우리나라가 벤치마킹(benchmarking)할만한 시사점은 무엇인지를 살펴보았다. 선진국 R&D 성과평가의 시사점을 찾기 위해서는 다음 다섯 개 사례를 검토하였다.
- Framework 프로그램의 사회경제적 파급효과 평가
- EUREKA 파급효과 평가
- ESPRIT 프로그램의 평가
- Alvey 프로그램 평가
- ATP 파급효과 측정
넷째, 각 부처 정부 R&D 사업의 성과평가시스템을 진단하였다. 여기서는 정부 R&D 성과를 평가하기 위한 시스템이 제대로 작동하고 효과성을 발휘하고 있는가에 주안점을 두고, R&D 사업 기획 및 선정의 성과지향성, R&D 성과의 관리 및 활용, R&D 프로그램의 중간/최종평가, R&D 성과평가 결과의 활용, 재정사업의 성과관리제도 등에 대한 분석을 포함하였다.
다섯째, 이상의 분석결과를 토대로 정부 R&D사업 성과평가시스템의 발전방안을 제시하였다. 여기서는 정부사업 성과관리 요구에 부응할 수 있는 정부 R&D 성과평가시스템 구축에 주안점을 두고, R&D사업 유형에 따른 성과평가의 차별화, R&D 성과지표의 개발과 R&D 성과정보의 관리체계 확립, R&D성과의 전주기적 관리체계 정비와 사후 성과평가의 제도화, R&D 성과평가 관련 제도의 역할 정비 등에 대한 발전방향을 제시하였다.
정부 R&D 성과의 인식과 측정/평가
정부의 연구개발 사업은 기업에 비해 연구기간이 더 길고 연구개발의 목적이 최종제품의 개발이나 양산이 아닌 기초 및 중간단계의 응용?개발 연구인 경우가 많기 때문에 연구개발의 경제적 성과를 단시일에 확인하기가 더욱 어렵다. 또 관련 기술의 파급효과도 광범위하고 다양하게 나타나기 때문에 민간기업의 연구개발보다 그 성과를 구체적이고 정량적으로 파악하는 것이 더 어렵다. 또, 연구개발의 성과는 당해연도의 기술개발투자와 연구인력의 투입으로 나타나는 것이 아니라 장기간이 누적적인 자원의 투입과 기술개발 경험이 종합적으로 작용한다.
연구개발의 산출(output), 결과(outcome), 영향(impact) 등과 관련해서는 연구자마다 서로 다른 개념을 사용하고 있기 때문에 개념을 명확히 정리할 필요가 있다.
산출(output)을 투입된 예산활동과 직접적으로 관련되는 일차적 성과로 정의하고 결과(outcome)는 행정서비스의 소비자 입장에서 그러한 산출을 통하여 국민에게 제공되는 실질적인 편익을 의미한다고 정의할 수 있다. 이 때, 성과는 산출과 결과를 모두 포함하는 개념으로 생각할 수 있다.
IPTS(2002)에서는 연구개발의 성과를 결과(outcome) 또는 영향(impact)으로 파악하여 과학기술적, 경제적, 사회적, 정책 등 네 측면에서 인식하고 있다(<표 1> 참조).
그리고 R&D 성과와 유사한 개념으로서 R&D의 효율성, 효과성, 생산성 등이 개념이 사용되고 있는데, R&D 성과는 R&D의 효율성과 효과성을 동시에 고려한 생산성과 R&D의 잠재성을 동시에 내포하는 개념이라고 볼 수 있다.
Brown&Stevenson(1988)은 연구개발 성과의 측정/평가 시스템이 실패하는 이유에 주의하여 바람직한 성과 측정 시스템이 가져야할 특성을 다음과 같이 제시하고 있다.
첫째, 내부적 측정보다는 외부적 측정에 초점을 맞추어야 한다.
둘째, 행위보다는 산출과 결과에 초점을 두어야 한다.
셋째, 가치 있는 업적/산출에 대한 측정이 이루어져야 한다.
넷째, 단순한 측정 시스템이 되어야 한다.
다섯째, 객관적인 측정 시스템이 되어야 한다.
여섯째, 연구와 개발은 구분되어야 한다.
연구개발 생산성의 측정방식은 정량적 측정(quantitative measurement), 준정량적 측정(semi-quantitative Measurement), 정성평가(qualitative assessment)의 3가지 접근이 있다. 정량적 측정은 다른 연구활동과의 비교가 가능하도록 측정 알고리즘이나 정해진 비율에 따라 계량화하여 측정하는 방식이며, 정성평가는 전문가의 주관적 판단에 의존하는 방식이다. 준정량적 측정은 중간적 입장에서 사용하는 방식으로 어떤 공식대신 정성적 판단(qualitative Judgement)을 사용하되 이를 일정한 공식에 따라 계량화하는 방식이다.
이들 세 가지 접근 방법은 각각 상대적인 장단점을 가지는데 정량적 측정 방식은 평가의 객관성을 유지할 수 있고 비교가 용이하며, 계량화 과정에서 유용한 정보가 산출될 수 있다는 장점이 있다. 그러나 연구개발 활동 자체가 계량화하기 힘든 특성을 갖고 있기 때문에 전반적인 효과성이나 특수한 연구개발 실적 등은 양적 지표로 측정하기 어려운 단점이 있다. 연구개발 사업의 복잡성과 독창성이 높은 기초연구에 가까울수록 정성적 평가가 적절한 반면, 상품개발에 가까운 연구일수록 정량적 측정 방식을 이용하는 것이 바람직하다. 우리나라의 경우 국가연구개발 사업의 대부분이 기초보다는 개발/응용 연구에 치중되어 있으므로 정량평가 방법을 사용하는 것이 더 적절하다고 볼 수 있다.
정성평가 방법론으로서 대표적으로 전문가 성과분석, 사례 연구, 인터뷰 및 설문조사 등을 들 수 있다. 동료평가 또는 전문가평가는 연구 프로그램과 프로젝트에 대한 자금지원 의사결정과 연구결과의 평가를 위하여 관련분야의 전문가 의견을 결집시키는 대표적인 평가 방법으로서, 개인 전문가들에 의해 행해지기도 하고 전문가 패널을 운영하기도 한다. 사례 연구는 특정 환경 내에서의 동학(dynamics)을 이해하기 위해 제한된 수의 특정한 사례 및 상황을 고찰하는 것이다. 서베이(survey) 방법은 정성적이며 정량적인 방법이 복합되어 있는 유용한 기법으로서, 설문을 통해 다양한 가설의 검증이 가능하고 과정과 영향에 대한 자세한 탐구를 할 수 있다.
이와 함께, 정량적 측정 방법론은 재무분석법, 서지분석법, 특허분석법, 과학기술지표법, 계량경제학적 방법, DEA(Data Envelopment Analysis) 등을 들 수 있다. 요즈음의 연구개발 생산성 측정 방법론의 변화는 주로 정량적 측정 방법론에서 발생하고 있다.
정부 R&D 성과의 사례분석
정부 R&D 성과평가의 국내사례에 나타난 성과평가의 목적은 사업의 효과분석, 사업의 정당성 확보, 사업의 문제점, 그리고 개선방안 도출을 통한 차기사업 추진에의 반영 등이 주가 되고 있다.
한편, 연구개발사업에 따라 다양한 표현을 사용하여 성과지표를 분류하였으나 공통적으로 보면, 정부 R&D 성과의 인식은 기술적 성과, 경제적 성과 및 파급효과로 구분할 수 있다.
평가방법으로는 설문조사, 인터뷰, 전문가평가, 서지분석 및 사례조사가 공통적으로 사용되고 있고, 경제적 성과를 측정하기 위해 계량경제적 분석도 부분적으로 활용되고 있다.
평가결과는 주로 정책수립의 기초 및 참고 자료, 홍보자료, 사업지원의 타당성 및 효과성 입증자료로 활용하는 것으로 나타났고, 사업추진 체계 및 전략의 개선에도 반영되고 있다.
선진국 경험과 시사점
정부 R&D 성과평가시스템의 운영의 실증적 사례로서 미국의 성과평가시스템은 우리나라가 가장 벤치마킹(benchmarking)할 필요성이 있는 사례로 판단된다.
미국은 1993년부터 정부업무의 결과 지향적 관리(results-oriented management)를 위해 정부성과관리법(GPRA: Government Performance and Results Act)을 제정하여 운영해 오고 있다. 이 법에서는 정부기관에 대해 기본임무와 목표의 명확화, 기본 임무 및 목표와 연계된 계획과 성과척도의 개발, 그리고 프로그램의 성과
