ODA Watch 라오스 원조종합평가, 국제사회의 문을 두드리다!


라오스 보고서 표지.jpg 
 
지난 한 해 ODA Watch의 라오스현장평가팀은 한국의 라오스 원조에 대해 시민사회 차원에서 처음으로 독립적인 평가를 시도했다. 평가팀은 한국시민들과 원조 시행기관, 그리고 원조를 받는 국가의 사람들을 연결시켜주는 ‘다리’역할을 자처하였고, 약 1년에 걸친 자료수집과 인터뷰, 중간 발표회, 현장 조사의 결과로 라오스 원조 종합평가보고서 “사람이 중심이 되는 원조를 위한 변화의 시나리오“를 발간했다[1]


 

우리는 이 보고서를 들고 다시 네덜란드에서 열린 INTRAC 제7차 “평가와 모니터링: 새로운 개발과 도전과제” 컨퍼런스의 문을 두드렸다. 이번 평가 컨퍼런스[2] 는 개발 사업의 평가와 모니터링에 대한 새로운 이니셔티브, 접근법과 이슈, 문제점 등을 전 세계 개발 관련 단체들과 함께 공유하고 토론하기 위해 마련된 행사이다. 특히 변화하는 시대적 상황(complex contexts of social change)에 적합하고, 학습 지향적(learning oriented)으로 설계된 대안적 평가 모델을 시도하는 단체들의 노력을 공유하는데 그 의의가 있었다. 본 컨퍼런스 개최 소식을 접한 우리는 아직 국내에서 많이 알려지진 않았지만 우리의 사례가 국제사회에서 어떻게 평가될지 도전해보고 싶었다. 이에 참가 신청서와 페이퍼를 제출하였고, 심사를 거쳐 경험 공유의 사례발표 3개 중에 하나로 선정되었다. 


라오스2.jpg 각 단체의 활동을 소개하는 Market Place(), 회의장 전경()


회의장에는 각 국에서 모인 평가 전문가들이 가득했다. 순간 긴장감이 몰려왔다. 이렇게 한 분야에서 오랫동안 개발사업 평가를 담당해온 전문가들 틈에서 나는 아직 경험이 적고 미숙한 초보자일뿐이었다. 그러나 완전하진 않아도 진정성이 담긴 우리의 평가 사례를 공유하고 ‘170명의 베테랑 자문위원들로부터’ 조언을 구해 평가틀(framework)을 재구성하고 싶은 마음이 더 컸다. 지난 평가 사례를 조금 더 조련하고 다듬어서 또 다른 한국의 원조 사업에 학습되고 공유됨으로써 더 나은 원조 문화[3] 로 환원될 필요성이 있기 때문이다. 그런 의미에서 우리의 평가는 아직 끝나지 않았다.



국제사회의 평가와 모니터링- 어디까지 왔나

컨퍼런스 첫 날에는 평가와 모니터링의 현 상황과 이슈를 점검하고, 평가 시스템에서 우리가 마주치는 문제점에 대해 이야기했다. 원조효과성 측정에 있어서 (수원국을 위한) 학습과 (공여자에 대한) 책무성 중 무엇을 우선한 평가가 되어야 하는지, 양적 조사와 질적 조사 혼용의 필요성, Value for money, Baseline의 부재 등을 토론 거리로 제시하고, 평가의 중심을 어디에 두어야 하는지 끊임없이 생각하는 훈련을 했다. 참가자 대부분이 유럽국가여서인지, 모두가 원조의 오랜 역사를 바탕으로 다양한 시도와 많은 고민을 해왔다는 것이 느껴졌다.

그 중에서도 흥미로운 것은 영국의 국제개발부(DFID)에서 ‘프로그램 파트너십 협정(Program Partnership Arragement, PPA)[4] ’의 일환으로 원조 파트너들이 수행한 프로그램의 영향력(impact)을
니터링한 사례였다. 민간 사업 별로 수행된 평가는 매우 유연하게 진행되어 각기 다양한 평가 방법을 사용하였는데, 평가 결과를 보면 매우 형식적인 평가 보고서를 제출한 곳도 있지만 그 외 영향력 측정의 창의성(creativity)을 보여준 곳들도 많았다고 한다.

그 한 예가 탄자니아에서 수행된 DFID 시민사회펀드 프로그램(AcT)이 활용한 아웃컴 맵핑(Outcome Mapping) 기법[5] 이다. 캐나다의 IDRC(Internatoinal Development Research Center)에서 고안한 이 방법은 성과(outcome)에서 나타나는 행동의 변화에 초점을 두고 있으며, 정해진 지표 대신 아래 그림에서 보이는 사다리, 즉 성과 마커(progress markers)를 활용한다. 사람들의 행동의 변화가 일직선으로 나타나지 않는다는 전제 하에 오른쪽 그림에서 보이는 구부러진 사다리를 사용하는 것도 특징이다.


라오스03.jpg

이미 너무 오래되어 식상한 논의가 되었다는 양적•질적 평가 방법에 대한 논쟁에 관해 DFID의 프로그램을 평가해 온 컨설턴트 Neil MacDonald씨는 프로그램의 특징에 적합한 측정 방법을 선별하는 것이 가장 중요하며, 결론적으로는 양적 평가와 질적 평가 방법을 혼용할 것을 권고한다. 양적 평가는 서비스의 전달에 초점을 둔 정형화된 사업의 경우 적합한 평가방법이긴 하지만 ‘숫자가 모든 것을 다 말해줄 수 없다’는 한계가 있다. 질적 평가는 다양한 측정 방법이 있으므로 무엇보다 엄격한 진행 과정을 거쳐 철저한 검증 결과를 얻어내는 것이 중요하다. 그 외 컨퍼런스에서 공유된 약 100여 가지의 발표자료와 페이퍼는 모두 INTRAC 홈페이지에서 받아볼 수 있다[6].


한국은 아직 걸음마 단계


이러한 외국의 사례를 들으며 참 부럽다는 생각이 먼저 들었다. 잘 알려지지 않은 “대외원조”라는 분야에서 이토록 많은 사람들이 수십 년간 머리를 맞대고 고민을 해왔으니 이러한 토론과 경험 공유가 가능한 것이리라. 물론 그곳에도 문제는 있다[7]. 이렇게 다양한 경험과 노하우를 한데 모으는 것도 문제이고, 이 중에서 중요한 정보만을 선별하는 것도 문제이다. 평가에 측정된 예산과 시간에 대한 비용효율적 측면도 고려해야 한다.
하지만, 아무리 그렇더라도 우리가 어디로 향하고 있는지에 대해서는 끊임없이 고민할 필요가 있다. 정교하게 만들어진 평가 기법을 답습하는데 급급하지 말고, 왜 이러한 방법을 고안하게 되었는지, 원조의 평가에서 가장 중요한 것은 무엇인지 고찰하는 시간이 필요하다. 이는 모니터링, 학습, 평가(MLE)의 과정이 원조 사업의 수행에만 국한된 것이 아니라 원조의 목적과 비전 등 더 큰 차원으로 포함되어야 하기 때문이다.

한국의 원조 사업은 사고(思考)할 시간이 없이 바쁜 것이 문제이다. 한국에서도 지금까지의 원조사업에 대해 학계와 정부, 시민사회의 평가가 없었던 것은 아니지만 소수의 평가 결과조차 현재의 단기성 프로젝트 중심의 원조사업에 적용되기가 어려운 구조로 되어있다. 국제개발협력위원회의 통합평가소위원회는 OECD 개발협력위원회(DAC) 실사단의 방한 후 2009년도에야 구성되었다. 대부분의 원조사업 평가는 DAC에서 권장하고 있는 5가지 기준[8] 에 묶여 있으며, 새로운 평가 기준을 받아들이지 않는다. 사업 수행 기관에서 평가도 담당하다 보니 잘한 것만 나열하기 쉽다. 네덜란드 외교부에서는 이번 컨퍼런스에서 이렇게 당부했다. “실패를 두려워 말라!” 한국 사회에 보다 다양한 방법과 주체들로부터의 개발원조 프로그램 평가가 필요한 이유이다.


라오스 원조종합평가에 대한 반응


라오스 원조종합평가 사례를 발표하기 전 컨퍼런스 참가자들 중에서는 더러 한국의 원조 현황에 대해 묻는 사람들이 있었다. 대부분이 부산 세계개발원조총회 개최 사실은 알고 있으나 한국의 원조 수준에 대해서는 아는 것이 거의 없었다. 한국은 아시아에 있는 신흥 공여국으로서 중국과 같은 형태의 원조를 제공할 것이라는 추측을 하기도 했다. 중국, 인도와 같이 원조의 질(quality)보다는 국익에 우선하여 정치 경제적 목적을 달성하기 위한 수단으로 원조를 사용하는 것은 아닌지 의심의 눈초리를 보내는 저명한 미국 대학의 교수도 있었다.

라오스4.jpg
  라오스현장평가 사례발표를 마치고


그러나 우리의 평가사례 발표 후에는 청중들로부터 우리 평가가 매우 혁신적이고 고무적이라는 반응을 들었다. 이번 사례발표는 두 가지를 전달하는데 초점을 두었다. 첫째, 우리의 원조 평가보고서의 제목과도 일맥 상통하듯이 “사람이 중심이 되는 원조를 위한 변화의 시나리오”는 기존의 획일적이고, 일회성이 짙은 평가가 더 이상 변화하는 사회의 모습을 담아내는데 한계가 있음을 지적하고, 둘째, 공적개발원조(ODA) 사업에서 안일하게 자행되는 원조수행기관의 형식적인 평가와 모니터링으로는 더 이상 원조의 질적 개선에 선순환이 어렵다는 우려를 표명하고자 했다. 이에 우리는 파트너국가의 사회, 문화, 발전목표에 대한 이해에 보고서의 많은 부분을 할애하였고, 한국의 대라오스 원조 사업평가에는 질적 평가방법을 사용하여 원조 수혜자, 정부부처, 공여국 등 다양한 행위주체를 스케치, 관찰, 인터뷰 등의 방식으로 평가하였다. 원조 사업이 평가의 중심이 아니라 원조를 통해 관계 맺는 사람들이 평가의 중심이 되었기 때문에 사업의 적절성(relevance), 효과성(effectiveness), 효율성(efficiency), 지속가능성(sustanability), 영향력(impact)이 우리의 평가 기준이 되지 않고, ‘가치’와 ‘태도’가 평가의 기준이 되었다. (아래 그림 참조)


라오스5.jpg 발표자료 중 라오스현장평가에서 사용된 가치태도의 기준 설명
 
발표를 들은 영국에서 온 한 참가자는 한국이 새로운 DAC 회원국으로 가입하고 내부에서 이러한 원조의 질적 개선을 위한 한국 시민사회의 노력이 병행되고 있다는 사실이 매우 인상적이라며 , 오랜 원조 역사를 가지고 있는 자국에 대한 반성을 하게 되었다고 말했다. 독일의 활동가는 자국의 민간 단체 대부분이 독일 정부에 의존적이기 때문에 독립적인 활동을 거의 하지 않는데 우리의 사례가 매우 시사하는 바가 크다고 이야기했다. 이번 컨퍼런스의 공동주최 단체인 인도의 PRIA에서는 정부에 대한 책무성(accountabiliy) 문제를 제기할 수 있는 효과적인 방안으로 아시아 시민사회가 적극적으로 연대하고 협력해야 하며 이에 우리 단체가 주도적으로 나서줄 것을 제의했다. 한국은 시민 사회가 아시아 연대의 focal point가 될 수 있는 훌륭한 바탕을 가지고 있다고 긍정적으로 평가하며, 앞으로 우리가 더 노력해야 할 방향을 제시하기도 했다.

한편 평가 자체에 대한 의견 이외에도 평가에서 사용된 기준(위의 그림 참조)에 대하여, 세네갈의 한 참여자는 우리의 평가 기준과 용어들을 DAC와 차별화 한 것에 대해 의미를 부여하며, 향후 DAC의 5가지 기준과 우리의 것이 같은 분류로 묶으면 어떻게 되고, 비슷하지만 변형된 부분, 추가된 부분은 무엇인지 함께 발전시켜 보고 싶다는 의견을 전했다. 원조사업 자체가 평가의 목적이 아니라 원조사업을 통해 영향을 받은 ‘사람’을 평가하기 위해 기준으로 삼은 ‘가치’와 ‘태도’에 대해 이해하고 동의한 것이다. 발표를 마치고 기쁜 마음에 가슴이 터질 것 같았지만, 이와 동시에 앞으로 해내가야 할 일들에 대해 어깨가 무거워지기도 했다.


"Say No More, Hear No More, See No More!”


3일 간의 여정을 마무리하는 세션에서는 더 이상 “말하고, 듣고, 보는 것을 멈추자”는 메시지를 참가자 모두에게 전달했다. “이제는 행동할 때이다. 우리는 아직도 “개념화”에 사로잡혀 있는 것인가? 30년 전부터 하고 있던 참여(Participation)와 주인의식(Ownership)에 대한 논의가 아직까지 반복되고 있다. 이제는 이러한 논의를 바탕으로 다시 자기 자리로 돌아가 행동으로 보여줄 때이다.” 즉, 우리의 평가와 모니터링은 기술(technic) 차원의 논의가 아니라 우리가 믿고 있던 것들이 어떻게 바뀌었는지를 규명하고 현지에의 학습효과와 적용을 불러 일으켜야 한다는 데 의미가 있다. 또한 이를 현지에서 직접 원조 사업을 수행하는 사람들이 사용하는 도구로써만 사용하는 것이 아니라 두 파트너국의 정부, 후원자 등 많은 사람에게 알려야 하는 것이 또한 평가의 목적이 되어야 한다. 

외국의 전통 공여국에서는 이제 경험을 한 데 모으고 정보를 공유할 공통의 플랫폼을 구축하자는 주장이 나오고 있다. 원조 평가 결과를 공공재(public good)로써 다 함께 공유하고 이를 다른 사업에 반영할 수 있는 것은 매우 좋은 일이다. 그러나 한편 평가의 경험을 편의에 따라 일괄적인 잣대로 획일화 하여 보기 좋게 전시하는 것은 위험한 일이 될 수 있다. 특히 한국의 경우 다양한 경험과 의견이 모아지기도 전에 국제사회의 흐름을 따른다고 DAC의 5가지 사업평가 기준의 동일한 잣대를 한번에 들이밀다 보면 놓치게 되는 것들이 있다. 이미 많은 경험이 쌓인 외국의 경우 baseline을 만드는 것 또한 어려움이 있었다. 그러나 한국의 경우 이제 막 시작 단계이다. 한국이 가진 후발 주자로서의 장점을 살려 제대로 된 평가와 원조다운 원조를 해야 할 것이다.

라오스6.jpg
INTRAC, PRIA, PSO의 제7차 평가와 모니터링 컨퍼런스 참가자들과 함께


 

 

기사 입력 일자 : 2011-08-01



작성 : 이주영 leejuyoung0121@gmail.com/ ODA Watch 청년활동가 라오스현장평가팀


[1] 보고서는 국회도서관과 ODA Watch 홈페이지에서 읽어볼 수 있다. 『사람이 중심이 되는 원조를 위한

변화의 시나리오』, ISBN: 978-89-965895-0-1 93060, PDF 

[2] 이 컨퍼런스는 영국의 국제NGO훈련·리서치센터(INTRAC: International NGO Training and Research Center)”, 네덜란드의 개도국협력연합(PSO: Association for Staff Cooperation with Developing Countries)”, 인도의 아시아참여적연구사회(PRIA: Society for Participatory Research in Asia)”에서 공동주최했다. 개최기간은 2011 6 14-16일이다

[3]더 나은 원조 문화라고 표현한 이유는, 원조 사업에 국한된 효과성 제고와 질적 개선만을 일컫는 것이 아니라 평가 전반의 개념 확장과 원조의 관행 개선을 의미하는 것이기 때문이다.
[4] 여기에는 민간단체 지원 펀드인 Civil Society Challenge Fund도 포함되며, 각 프로그램은 사업연도별로 “National Audit Office assessment of DFID Value for money”규정에 따른 평가를 실시한다. 이와 별도로 PPA 전반에 대하여 평가에 대한 평가라 할 수 있는 메타 평가(meta-evaluation) 도 실시하였다. 메타평가란 Daniel L. Stufflebeam에 따르면, ‘평가활동의 길잡이가 되고 평가 자체의 강점과 약점을 공개적으로 보고하기 위하여 평가활동의 효용성, 실제성, 윤리성, 기술적 적정성에 관한 기술적(記述的)이며 판단적인 정보를 구분·획득·이용하는 과정을 뜻한다. (출처: 김병철 (2009). 『메타평가론』)

[5] 자세한 내용은 IDRC 홈페이지 참조.

(http://idl-bnc.idrc.ca/dspace/bitstream/10625/32807/1/118176_e.pdf)

[6] INTRAC 홈페이지 http://www.intrac.org/pages/en/evaluation-conference-presentations.html

[7] 본 컨퍼런스 프로그램 중 거버넌스와 책무성(Governace & Accountability)”이라는 주제의 토론 그룹에서 나온 의견들임.

[8] 적절성(relevance), 효과성(effectiveness), 효율성(efficiency), 지속가능성(sustanability), 영향력(impact).