10page

·기획 2009년 10월 15일 362호 10 ‘대학순위 평가잣대’ 과연 공정한가 … 서강의 반론 올해 중앙일보 평가에 88개 대학이 참여했다. 평가는 크게 4 개 영역으로 나뉘고, 영역별로 38개 평가 지표가 있다. 모교가 얻은 영역별 지표 수 및 배점은 <표1>과 같다. 평가영역별 Z값 (도움말 참고) 평균값을 기준으로 살펴보면, 모교의 강점은‘평 판 및 사회진출도>교수연구>국제화>교육여건 및 재정’순으로 나타났다. <표1 : 평가영역별 서강대 취득점수> ■ 평가지표, 중소규모 대학에 크게 불리 평가지표에 따라 각 대학 별로 유리한 점과 불리한 점이 있을 수밖에 없는데, 중앙일보의 평가는 중소규모 대학에 유리한 지 표를 찾기 어렵다. 영역별로 살펴본다. ▷ 교육여건 및 재정 영역(12개 지표, 배점 비율 25%) : 12개 지표 가운데 가중치가 높으나 모교의 결과가 좋지 않은 것 이 ▲교수당 학생수(15점 만점)와 ▲교수확보율(10점 만점)이 다. <표2>를 보면, 인문사회, 이학 및 공학계열의 교수당 학생수 또는 교수확보율은 상위 대학과 비슷하거나 본교가 교육여건 이 더 개선되어 있음을 확인할 수 있다. 그런데도 모교는 각각 40위와 53위의 평가 결과를 얻는 불이익을 받았다. 또한 ▲세입 중 납입금 비중은 병원전입금을 세입에서 제외하는 경우 본교 (52.85%)가 고려대(64.1%), 성균관대(57.29%)에 비해 2008년 기준으로 재정적 건전성을 확보하고 있다<표3>. 모교에 의학계 열이 없기에 받는 평가 불이익의 또 다른 단면이다. 해당 영역 중 ▲학생당 도서자료 구입비(5위) ▲학생당 교육 비(7위) 지표는 상위 10%에 올랐으나, 실질 점수 취득은 각각 배점의 27.6%, 20.5%로 통계적 왜곡 현상의 피해를 봤다. 도서 자료 구입비의 경우 88개 대학 가운데 상위 5.68%에 해당하는 5위를 했지만, 배점은 5점 만점 가운데 27.6%인 1.38점 밖에 취 득하지 못했다. 통계적 왜곡 현상이 없었다면 5점 만점 가운데 4.71점 이상을 받았을 것이다. 학생당 교육비의 경우 88개 대학 가운데 7위를 했으면 상위 7.95%에 해당하는 성적이지만, 배점 은 15점 만점 가운데 20.5%에 해당하는 3.07점 밖에 못 받았다. 이 역시 왜곡 현상이 없었다면 13.8점 이상을 받았을 것이다. 이 러한 왜곡 현상은 통계상 정규분포에 해당하지 않는 비이상값 을 포함시킨 뒤 각 지표별 가중치 범위 안에 Z값을 분포하도록 변환한 중앙일보의 평가방식에 의해 발생했다. 각 지표에서 1 위를 차지한 대학이 평균에 비해 월등히 높은 점수를 받은 경우 이러한 왜곡은 더욱 심해진다. <표2 : 교수당 학생 수 및 교수 확보율> <표3 : 세입 중 납입금 비중> ▷ 교수연구 영역(10개 지표, 배점 비율 30.0%) : 해당 영 역에서 모교는 지난해에 비해 두 계단 하락했다. 이 영역은 전 체 평가에서 차지하는 비율이 30%로 가장 높다. 모교는 총 10 개 지표 가운데 4개 지표(▲계열평균 교수 당 외부연구비 ▲계 열평균 교수 당 자체 연구비 ▲과학기술 교수 당 SCI(Science Citation Index, 과학기술논문 인용 색인) 논문 수 ▲과학기술 교 수 당 SCI IF(Impact Factor, 논문의 영향력 지수)) 8위를 기록했 으나 이 영역 점수취득 비율 평균은 34.7%에 불과해 통계적 왜 곡으로 불이익을 받았다. 또 ▲기술이전 수입액 ▲지적재산권 등록 지표 등은 해당 영역의 다른 지표와 달리 절대평가 지표인 까닭에 <표4>에서 보듯 규모가 큰 대학에 유리할 수밖에 없다. 지적 재산권 및 기술이전수입액 분야는 자연·공학·의학 분 야에서 주로 발생하므로 해당 계열 교원 수만 고려해 산정한 교 원 당 지표로 환산할 경우, 특허 및 기술이전 수입 등에서 모교 의 실적은 우수하다. 양적 평가가 아닌 질적인 면에서 앞선다는 의미다. 특히, 교수 1인당 기술이전 수입액은 모교가 다른 대학 에 비해 탁월한 실적을 거뒀고 1위를 기록했다. 그런데도 절대 치에 의한 평가 탓에 17위에 그쳤다. <표4 : 지적 재산권 등록 및 기술이전 수입액> ▷ 국제화 영역(5개 지표, 배점 비율 17.5%) : 이 영역에 서 모교는 비교 대학에 비해 가장 순위가 낮았다. 해당 영역 지 표 가운데 가장 비중이 높은 ▲외국인 교수 비율(20점 만점)은 외국어대학이 1위를 차지했고 ▲외국인 학생(학위과정) 비율( 만점 만점)은 대불대학교가 차지하는 등 주로 특성화 대학이나 지방대에 유리한 지표다. ▲외국인 학생(학위과정) 비율의 비교 대학을 살펴보면 특정 국가 학생들의 비중이 매우 높음을 <표 5>를 통해 확인할 수 있다. 단순히 외국학생 인원수로만 판단할 것이 아니라 국가의 다양성 등을 반영한 질적 지표로 확산도 평 가가 병행돼야 공정할 것이다. <표5 : 외국인 학생(학위과정) 비율> ▷ 평판·사회진출도(11개 지표, 배점 비율 27.5%) : 해 당 영역은 모교가 강점을 가진 분야다. 순위는 전년도와 동일하 지만 전년도에 비해 상대적으로 높은 점수를 받았다. 특히 ▲직 무수행능력(4위) ▲자기계발(4위) 지표에서 두드러진 상승이 있 었고 ▲취업률(6위) ▲고시합격자 수(7위) 등의 지표에서도 전년 도에 비해 괄목할만한 성장을 했다. 그러나 ▲고시합격자 수 ▲ 공인회계사 & 변리사 수 ▲코스닥 & 거래소 임원 수 지표는 절대 평가 지표여서 규모가 큰 대학이 유리하고 모교처럼 중소규모 대 학은 불리하다. 또한 ▲취업률 지표(순수 취업률X0.5+정규직 취 업률X0.5)의 경우 <표6>에서 보듯이 일부 대학은 본교의 자료만 으로 산출하고, 일부 대학은 지방캠퍼스와 합산해 산출한 뒤 평 가함으로써 평가의 공정성과 일관성을 상실하고 있다. <표6 : 취업률> ■ 대학별 자체 평가에 맡겨야 대학 평가는 평가 주관기관이 ▲양적 또는 질적 평가지표 선 정 ▲가중치 조정 등에서 전문성을 갖추지 못한 평가 방법을 쓸 경우, 결과가 왜곡될 수 있다. 중앙일보 평가는 평가지표 수가 38개나 되는 까닭에 중소규모의 대학은 모든 지표에 집중하기 어렵다. 특히, 의과대학이 없는 모교 같은 대학은 기본적으로 한 계점을 지닌다. 이러한 평가를 외면할 수는 없지만, 결과에 일희 일비해서도 안 될 것이다. 대학 평가는 2007년 10월 법으로 제 정된 대학의‘자체평가’에 맡기고 언론사에 의해 매겨지는 줄 세우기 식 서열화는 지양돼야 할 것이다. 모교 기획실 기획예산팀 평가파트 최근 중앙일보가 발표한‘2009 대학평가’ 에서 모교는 종합 9위로 순위가 매겨졌다. 학교 관계자는 물론 재학생과 동문들의 우려가 쏟아졌다. 이 같은 상황에서 모교 기획실 기획예산팀은“이번 평가는 전문성과 공정성이 결여된 측면이 있다” 며 이의를 제기했다. 반론을 들어본다. <편집자> 평가영역 지표수 배점 순위 본교취득 Z값 평균 (순위평균) Z값가중치점수 1 교육여건 및 재정 121051138 400 9위 125.31 0.72 구분 교수당 학생 수(단위 : 명) 교수확보율(단위 : %) 중앙일보 평가 실값 29.54 13.22 20.93 23.29 21.82 74.78 100 100 94.66 100 인문사회 계열 36.4 22.4 40.2 37.6 46.1 68.7100 109.2 107.7 91.6 113.7 공학계열 35.8- 5.0 4.8 4.1 1.7 - 105.2 175.9 189.8 484.5 중앙일보순위 40 4 10 15 11 53 4 7 17 5 서강대 서울대 연세대 고려대 성균관대 서강대 서울대 연세대 고려대 성균관대 * 계열별은 2009 정보공시자료 기준(전임교원, 재학생 기준) : 연세대, 고 려대는 본교 캠퍼스만 반영 구 분 서강대 연세대 고려대 성균관대 중앙일보평가 실값 52.81% 43.07% 58.88% 52.49% 병원전입금 제외시 등록금 비중 52.85% 50.41% 64.31% 57.29% 중앙일보 순위 29 12 37 28 구분 지적 재산권 등록(단위:점) 기술이전 수입액(단위:천원) 중앙일보 평가실값 130 1720 1270 1166 621 999,150 6,198,000 2,977,000 1,856,241 2,368,000 자연/공학/의학 교수수(2008) 128 1,155 993 794 764 128 1,155 993 794 764 교수 1인당 1.0234 1 3 5 8 17 2 4 8 7 서강대 서울대 연세대 고려대 성균관대 서강대 서울대 연세대 고려대 성균관대 * 교원 수는 2008 정보공시자료 기준(전임교원) : 연세대, 고려대는 본교 캠퍼스만 반영 구분 서강대 서울대 연세대 고려대 성균관대 중앙일보평가실값 1.94% 6.27% 2.6% 2.04% 5.63% 학부정규 학생 (정보공시 2009) 88(27) 236(94) 478(212) 273(82) 812(642) * ( )는 중국유학생 *본교 *본교 중국유학생비중 30.7% 39.8% 44.4% 30.0% 79.06% 2009학부 7,880 16,984 18,716(본교) 19,748(본교) 10,813(인문) 재학생 수 /6,930(세종) /8,480(자연) 재학생 대비 외국인 학생비율 1.12% 1.39% 2.55%(본교) 1.38%(본교) 3.9% 중국유학생제외 재학생대비외국인 0.77% 0.89% 1.42%(본교) 0.97%(본교) 0.79% 학생 비율 중앙일보 순위 51 6 31 48 15 구 분 서강대 서울대 연세대 고려대 성균관대 중앙일보평가 실값 69.8% 53.35% 57.25% 70.85% 62.3% 순수취업률 72.1% 58.7% 70.3%(본교) 74.3%(안암) 66.2%(인문) 62.1%(원주) 60.6%(세종) 82.4%(자연) 정규직취업률 67.5% 48% 59.2%(본교) 67.4%(안암) 58.4%(인문) 37.4%(원주) 37.5%(세종) 74.8%(자연) 의대 제외 종합 (취업/정규) - - 68.4%(본교) 73.7%(안암) 72.4% / 65.4% 62.1%(본교) 70.1%(안암) 건강보험DB 확인비율 91.1% 90.0% 86.9%(본교) 82.5%(안암) 88.4% 비고 고려대 성대 ‘안암’만 산출 ‘인문’만 산출 중앙일보 순위 6 53 30 4 19 정보공시 기준 2009 ■ 도움말 : 중앙일보 평가는 어떤 방식? 중앙일보 평가는 다른 기관의 평가와 달리 Z(표준화 점수)값을 변형한 Z값 가중치 점수를 활용한다. Z값이란 통계에서 척도가 다른 지표 값 을 표준화해서 점수를 합산하기 위한 척도다. 평균을 중심으로 각 분 포 값이 얼마나 떨어져 있는지를 점수화하는 방법인데, Z값은 분포 값이나‘실값-평균/표준편차’ 로 구한다. Z값은 다양한 지표를 합산하 기 위해서는 적합한 방식이지만, 정규분포에 해당하지 않는 Outlier(비 이상값)가 평가 결과를 왜곡시킬 수 있다. 평균에서 가장 멀리 떨어진 일부 대학의 Z값이 지나치게 큰 값일 경우 왜곡 현상이 나타날 수 있 기 때문이다. 예를 들어 소수 대학이 높은 점수를 얻고 대부분의 대학 이 점수가 낮을 경우 일부 대학의 Z값은 지나치게 커진다. 이때, Z값 에 가중치를 곱할 경우 왜곡 현상은 심화된다. 이를 해소하기 위해 2008년부터 중앙일보에서는 각 지표별 가중치 범위 안에 Z값을 분 포하도록 변환하는 방법을 택하였다. 그러나, 이 방법에서도 왜곡 현 상이 다소 줄어들 뿐 개선으로 이어지지는 않는다. 특히, 비이상값이 포함된 지표는 각 대학별 유의미한 차이값을 상당히 왜곡시키는 현상 을 발생시킨다. 대학평가시 Z값을 활용하는 것은 중앙일보 대학평가 가 유일하고, 중앙일보는 1995년부터 평가지표별로 각 대학의 Z값 을 구한 뒤 여기에 가중치를 곱해 합산하는 방식으로 순위를 산출하 였고, 2008년부터는 Z값을 활용하여 배점 범위 안에 Z값을 변환하 여 만든 가중치점수를 활용하여 순위를 산출하고 있다.