*이달의 세미나들

 *영미연 안팎 소식

 *이달의 학술행사

 *문화 리뷰

 *다른 집 가기

 *책읽기,세상읽기

연구회소개 / 회원가입 / 분과연구실 / 도서실 / 회의실 / 사이트맵 / 자료회원연구실 / 자유게시판

                     

제   목

 학술지 평가를 말한다

작성자

이종우[자료실]

작성일자

2006-03-23

이메일

조회

3622


학술지 평가를 말한다

이종우

1. 들어가며

요즈음 학계의 초미의 관심사 가운데 하나는 학술진흥재단(이하 학진이라고 칭함)이 주관하는 학술지 평가라고 할 수 있다. 현재의 모든 학문적 활동이 어떤 형태로든 이 평가와 연관되어 있기 때문이다. 애써 이로부터 자유로워지려고 노력해보지만 그 결과는 종종 치열한 학문적 경쟁에서 낙오되는 아픔으로 남곤 한다. 이렇듯 학술지 평가는 이미 학문활동의 성패를 좌우하는 척도로 공고히 자리잡고 있다.

그렇다고 현행 학술지 평가사업을 비판 없이 선뜻 받아들일 수도 없다. 이미 여러 곳에서 지적되었듯이 수정과 극복을 요구하는 많은 문제점들을 안고 있기 때문이다. 그렇다면 과연 이 학술지 평가사업은 우리에게 무엇인가. 우리는 이 질문에 대해 여러 측면에서 검토하고 이와 관련된 스스로의 위치를 진지하게 점검해볼 필요가 있다. 지난 3년간 학술지 평가를 준비해본 경험을 토대로 이에 대한 나름대로의 답을 생각해보고자 한다.


2. 학술지 평가의 빛과 그림자

우선 학진이 제시하고 있는 학술지 평가사업의 목적을 살펴보기로 하자. 2003년도 학술지 평가 신청요강에 따르면, 그 목적은 "국내 학술지의 질적 수준 향상을 유도"하고 "재단의 각 연구비 지원에 따른 학술연구업적 평가의 객관적 자료로 활용"하는 것으로 나타나 있다. 학진은 이 목적을 설정하게 된 배경도 두 가지 측면에서 친절하게 밝히고 있다. 첫번째는 학술지 평가를 통해 우리나라 학술연구의 수준을 높여 국제 경쟁력을 강화해야 할 필요성이고, 두번째는 학술연구업적을 공정하게 평가할 수 있는 제도적 장치의 마련이다. 학진의 근본적인 문제의식, 즉 학술연구 분야가 발전해야 하고 이를 위해 연구업적이 제대로 평가되어야 한다는 인식을 수긍하는 데에는 별다른 어려움이 없다. 오히려 학술지 평가사업의 배경과 목적 설명의 행간에서 정부 차원의 재정적 지원을 하겠다는 실천적 의지와 그간 이를 소홀히 했던 정부의 각성이 느껴지기도 한다.

물론 이 평가사업의 출발 시점이 1998년 교수 계약제와 연봉제가 공식화되던 시기와 맞물려 있었음을 감안하면 그 현실적 목적은 학술연구업적의 평가기준 마련에 있다고 봐야 할 것이다. 실제로 최근의 학술지 평가결과가 학술연구의 질을 제고하는 측면보다는 각 대학의 교수 신규임용, 재임용, 그리고 승진평가의 기준을 제공하는 쪽으로 기울어져 있다는 사실을 부인할 수 없다. 그렇다고 해서 학진이 첫번째 명분으로 내세우는 국내 학문연구수준의 역량을 제고한다는 취지를 무시할 수는 없다. 어느 학문 분야를 막론하고 학문의 수준을 높이자는 데 공감하지 않을 이유는 없는 것이다. 학문의 수준을 높이는 일이야말로 모든 연구자들이 자신의 학문적 위치를 재정립하는 척도일 수 있기 때문이다.

이런 점에서 학술지 평가사업의 취지는 현실적 적용에서 나타나는 문제점에도 불구하고 일단 긍정적인 평가를 받을 수 있다. 그리고 비록 한계가 있긴 하지만 이것이 학문연구 분야에 건전한 긴장을 불러일으킨 측면도 있다. 물론 소위 신자유주의 원리에 입각한 시장 경제적인 경쟁원리를 학문연구의 세계에 무차별적으로 도입하는 식의 평가는 분명 문제가 있다. 하지만 이 평가사업이 학문적 특성을 고려하여 연구에 활력을 불어넣는다든가, 학문발전의 건강성을 도모한다면, 그러한 긍정적인 기능에 대해서는 굳이 나쁜 점수를 줄 이유가 없다.

학진 홈페이지의 질문 코너에 실린 "2003년도 학술지 평가에서 달라진 점은 무엇입니까?"라는 물음에 대해서 학진은 "학문간의 특성에 따른 평가 점수의 불균형을 최소화"한다는 방침을 밝히고 있다. 초기에 보이던 평가의 경직성에서 벗어나 학문의 특성을 고려하기 시작했음을 보여주는 대목이다. 학문연구의 다양성을 인정하고 그 바탕 위에서 연구역량을 강화하도록 지원하는 일은 분명 학문연구의 활성화에 도움을 줄 수 있다. 더욱이 국가적 차원의 지원이라면 고무적인 일이기까지 하다. 적어도 지원이라는 측면에 초점을 맞추면 그렇다는 얘기다. 게다가 당장은 현실화되지 않았지만 학술지 인용 색인을 만들겠다는 복안도 지니고 있는 만큼 학계의 기대는 자못 크다고 할 수 있다. 이런 사실을 고려한다면 우리는 일단 학진이 주관하는 학술지 평가사업의 취지와 노력에 조심스럽게나마 동의를 표하면서 그 전개과정을 지켜볼 수는 있겠다.

그러나 그 근본 취지에는 공감한다고 하더라도 국가 주도의 평가사업이 학문연구평가에 대한 몰이해와 경직성을 극명하게 보여준다는 사실을 지적하지 않을 수 없다. 필자가 알기로는 유구한 학문적 전통을 지니고 있는 유럽이나 학술정보에 발빠르게 반응하는 미국에서조차도 정부가 학술지 평가사업을 관장한 전례는 없다. 그러한 시도를 했다는 얘기 자체를 들어본 적도 없다. 그 이유는 자명하다. 관이 주도하는 평가사업은 필연적으로 관제화의 위험에 함몰될 수밖에 없다는 사실을 분명히 인식하고 있기 때문일 것이다. 현재 시행하고 있는 것처럼 국가가 특정한 목적을 가지고 권력과 거대자본을 바탕으로 하여 평가를 주도할 때는 그 위험성이 더욱 증대될 수 있다.

국가 주도의 학문평가가 관제화 혹은 행정화되는 위험을 피할 수 없다면 이를 통해 검증을 요구받는 학문연구 또한 경직성의 위험에서 벗어날 수 없다. 학문연구의 폭과 깊이를 제대로 담아내지 못하는 목표 지향적·계량적 평가는 학문활동을 왜곡시킬 가능성을 내포하고 있다. 학문연구는 지식 생산의 원천으로, 축적된 지식은 곧 국가 경쟁력의 근간을 이룬다. 이는 학진도 분명하게 인식하고 있는 사실이다. 그런데 이 지식 생산 공간에 국가가 개입함으로써 본연의 기능을 수행하는 데 방해를 받는, 결코 바람직하지 못한 상황이 전개되고 있는 것이다. 이러한 결과는 학진에서도 바라는 모습이 아닐 것이다. 이는 궁극적으로 학문연구의 활성화와 이를 통해 생산된 지식을 바탕으로 국가 경쟁력을 제고하겠다는 학술지 평가사업의 근본 취지에도 부합되지 않는다.


학진은 이와같은 역기능에 대한 비판에 반론을 제기할지도 모른다. 학진 측에서는 개인이 수집하기 힘든 학술정보를 국가가 나서서 제공해주고 연구에 충실한 연구자를 재정적으로 지원하겠다는 것이 왜 학문연구에 방해가 되는지 의아해할 수도 있을 것이다. 그러나 현실적 상황은 이러한 궁금증을 금방 풀어준다. 현재의 학술지 평가사업은 학문연구에 필요한 정보를 제공하기보다는 학진이 제시하는 기준에 의해 학술지를 평가하여 이를 등급화하는 데 초점을 맞추어 진행하고 있다. 장기적으로는 미국 ISI가 시행하고 있는 것처럼 논문 제목부터 인용 빈도까지 폭넓은 학술정보 제공을 기대해볼 수 있을 것이다. 하지만 작금의 학술지 평가는 등재지, 등재후보지로 학술지를 분류하여 서열화하는 데 그 무게중심이 실려 있는 것이 사실이다.

주지하다시피 이와같은 등급화의 반향은 실로 지대하다. 학술지 평가의 결과가 연구활동업적 평가와 맞물려서 연구자의 학문적 생존 문제와 직결되어 있는 실정이기 때문이다. 사정이 이렇다 보니 다년에 걸친 긴 호흡이 필요한 연구나 자유로운 글쓰기는 사실상 어렵게 되었다. 재정적 지원의 경우도 현실적으로 볼 때 애초에 기대한 효과와는 반대로 작용하는 면이 강하다. 즉 학진의 평가사업은 연구자의 학문활동을 일정 방향으로 유도하거나 규제하는 경향을 보이고 있다. 따라서 학진의 학술지 평가사업은 그 취지와 달리 자유로운 연구활동을 통해 창조적인 지식을 생산해내야 할 학문영역의 지적 흐름을 가로막고 있다는 비판으로부터 자유롭지 못하다. 이와같은 폐해를 극복하지 못한다면, 학진의 평가사업이 아무리 피상적으로 긍정적인 효과를 가져온다고 해도, 평가 자체의 중단이 요구되어야 할 실정이라고 할 수 있다.

좀더 중요하고 직접적인 문제는 학진의 학술지 평가가 과연 학문의 질적 발전에 얼마나 또 어떤 방향으로 기여하고 있는가 하는 점이다. 외적으로 보면 학진의 평가사업으로 인해 학문의 엄청난 양적 팽창이 이루어지고 있다. 실제로 각 대학은 학진의 평가기준에 맞추어 연구업적 평가를 구체화·계량화하고 있으며, 연구자들은 이를 따라가기 위해 될 수 있는 대로 많은 논문을 써내야 하는 게 현실이다. 하지만 문제는 이와같은 양적 팽창이 학문의 질적 발전을 보장하지는 않는다는 데 있다. 요즈음 논문들은 많이 쏟아져 나오는데 정작 읽을 만한 논문은 예전만도 못하다는 자조 섞인 소리를 쉽게 들을 수 있다. 그 주된 이유 가운데 하나는 지식의 생산, 집적, 유통에 정부가 개입하여 학문의 질적 발전을 오히려 방해하고 있기 때문이다.

물론 부정적 현실 상황에 대한 비판의 화살을 학진의 학술지 평가사업의 과오로만 돌리는 것은 공평하지 못하다. 그와같은 계량화 정책에 교묘하게 공모하고 있는 대학들의 편의주의적 발상과 아울러 그것을 무비판적으로 수용하여 그 틀 속에 갇혀버린 교수 사회를 필두로 한 연구자들의 잘못 또한 함께 지적되어야 할 것이다. 학진의 의도와 상관없이 대학은 교수들의 경쟁력을 제고한다는 명분으로 혹은 그들을 통제하고 억압하는 수단으로 학진의 학술지 등급정책을 이용하려 하거나 실제로 그렇게 하고 있다. 대학 교수들도 스스로를 외부의 부당한 압력에 일방적으로 희생당한 학문적 순교자로 자처하면서 이러한 학문적 계량화 정책에 능동적으로 대처하지 못한 점을 부인할 수 없다.

하지만 중요한 사실은 현재와 같은 학문적 계량화의 추세를 이끌고 있는 것은 사실상 국가기관인 학진이고, 따라서 학진이 비판의 한가운데 서 있을 수밖에 없다는 점이다. 모든 지적 활동은 외부로부터 어떤 간섭도 용인하지 않는 본연적 과정을 거쳐 자연스럽게 열매를 맺어야 한다. 그런데 학진이 현재 시행하고 있는 양적 척도 위주의 학술지 평가는 정부가 나서서 설익은 열매지만 빨리 따 숫자를 채우라고 재촉하는 것이나 다름없다. 학술활동을 왜곡하고 있는 셈이다. 물론 학진에서는 간섭이 아니라 도움을 주는 것이라고 말할지 모른다. 학문활동 과정에 소위 선의의 개입도 문제지만, 지금의 현실은 학술지 평가사업을 통해 정부가 잘못된 개입을 하고 있는 것이다. 지금처럼 정부 주도의 평가사업을 통해 학술적 권위를 강요하는 행위는 학문의 발전을 가로막는 주된 장벽이 될 것이다.


3. 학술지는 어디로?

학진의 평가사업의 공과는 그것이 학술지에 미친 영향을 살펴보면 좀더 구체적으로 드러난다. 우선 학진의 학술지 평가사업은 기존의 학술지가 자체 점검을 할 수 있는 기회를 제공해주었다고 볼 수 있다. 학진에 등재를 신청하든 하지 않든 학술지 평가는 자연스러운 현상으로 받아들여지고 있고, 이에 각 학회는 학진의 등재 여부와 상관없이 자체적으로 학회지를 점검하게 된 것이다. 이때 학진에서 제공하는 학술지 평가기준이나 타 학술지의 우수한 점은 자체 점검의 기준으로 작용한다.

사실 현실적으로 거의 모든 학술지가 학진의 평가를 의식하지 않을 수 없기 때문에 학진의 평가기준은 학술지의 질을 높이는 데 도움이 되는 자료를 제공해준다고 할 수 있다. 학술지 체계평가와 내용평가의 항목을 보면 반드시 시행했어야 함에도 그동안 소홀히 했던 점들을 발견할 수 있다. 예컨대 공정한 심사기준에 의해 제대로 된 심사가 이루어졌는지, 참고문헌 등 서지정보가 완벽하게 갖추어졌는지 등은 각 학술지가 반드시 짚고 넘어가야 할 부분이다. 논문 게재의 질과 독창성을 평가하는 항목도 당연한 것 같지만 다시 한번 새겨보아야 할 부분임에 틀림없다.

특히 개별 학술지의 수준 향상에 긍정적인 영향을 미칠 수 있는 부분은 편집에 대한 강조이다. 사실 우수 학술지로 가는 길목에서 제일 중요한 몫을 차지하는 것이 편집 관련 부분이라고 해도 과언이 아니다. 학술지를 구성하는 세세한 항목 하나하나에까지 편집의 손길이 닿지 않는 곳은 없다. 초기 평가에서 25% 정도 차지하던 편집 부분은 계속 평가에서는 40%를 상회한다. 실제로 각 학회는 학진의 평가방향에 맞추기 위해 전문성과 학술능력을 갖춘 편집진을 대폭 강화하고 있는 실정이다. 편집진의 강화를 통해서 엄정하게 논문을 심사해 학술지의 질을 높이려고 노력하는 것이다. 강화된 편집진의 역량은 우수 학술지의 핵심이라고 할 수 있는 전문성이나 논문의 질과 독창성을 향상시키는 데 크게 공헌할 수 있을 것이다. 이렇게 볼 때 학진 평가에서의 편집 부분 강조는 학술지의 질을 확보하는 데 순기능으로 작용한다고 봐도 좋을 것이다.

이밖에도 학진의 학술지 평가에는 학술지의 전반적인 사항에 관심을 기울여 완성도를 높이려는 노력들이 엿보인다. 평가과정이 한 번으로 끝나는 것이 아니라 연속적으로 진행되기 때문에 실질적으로 우수 학술지로 거듭나지 않고는 그 지위를 유지하기 힘들게 되어 있다. 학술지의 ISSN 부여부터 정시 발행, 유명 색인이나 DB 등재, 그리고 학술지 구성체계에 이르기까지 학진의 등재지가 되기 위해서는 모든 면에서 진일보하려는 노력들이 계속되어야 한다. 학진 평가기준에 부당한 면이 있음에도 불구하고 적어도 학진의 등재지가 되기 위해 그 평가기준에 대체적으로 동의하고 이에 따른다면 최소한의 요건을 갖춘 학술지가 될 수는 있을 것이다. 이 기준에 따라 평가를 받은 결과, 영어영문학 관련 학술지 중 {영어영문학} {어학연구} {영미문학 페미니즘} {안과밖} 등 30여 종의 학술지가 현재 등재지나 등재후보지에 올라 있다.

학진의 평가사업은 학술지의 실질적 주체인 개별 연구자의 학술행위에도 영향을 미친다. 그것은 등재후보지 이상의 학술지에 자신의 논문을 실으려는 노력으로 나타난다. 물론 이 노력이 곧 논문의 질적 향상을 의미하지는 않는다. 그리고 등재되지 않은 학술지에 수록된 논문의 질이 상대적으로 떨어진다는 얘기는 더더욱 아니다. 원론적으로 말하자면, 연구자는 학술지 평가와 상관없이 자신의 양심에 따라 학문활동을 하고 그 결과를 발표한다. 학진의 등재지나 등재후보지에 포함되지 않은 학술지라고 해서 일정 수준에 도달하지 못한 논문을 무분별하게 게재하지는 않을 것이다.

다만 현재의 학술지 평가 씨스템 속에서 연구자들은 등재후보지 이상의 학술지에 연간 한 편 이상의 논문을 게재해야 한다는 업적 평가의 최소 요건을 강요받고 있는 실정이다. 따라서 등재후보지 이상의 학술지에 논문을 싣기 위해서는 더 엄격해진 심사기준을 만족시키려는 노력을 하게 될 것이고, 그러한 노력이 논문의 질을 높이는 결과로 이어진다면 이는 학진평가의 긍정적 효과로 보아도 무난할 것이다.

그럼에도 불구하고 학술지 평가의 과실(過失)은 많은 곳에서 쉽게 발견할 수 있다. 우선 많은 연구자들이 기회 있을 때마다 지적하고 있듯이 계량화의 문제를 들 수 있다. 이 계량화란 말 속에는 소위 '숫자놀음'이니 '기계적 평가'니 하는 비판이 고스란히 녹아 있다. 학진이 이 평가사업을 시작하면서 평가결과를 '객관적' 자료로 활용하여 연구비 지원의 근거로 삼겠다고 밝힐 때부터 이미 계량적 평가방식은 예견되었다. 계량화가 객관성을 확보할 수 있는 가장 손쉬운 방법이라는 단순한 사고를 바탕으로 하고 있기 때문이다. 그러나 평가항목을 정하고 개별 항목별로 일정 점수를 부여하는 방식이 과연 진정한 객관적인 평가방식인지는 의문스럽기 짝이 없다.

백 번 양보해서 이런 평가방식을 객관적이라고 받아들인다고 해도, 이 방식이 적용될 수 있는 분야가 있고 그렇지 않은 분야가 있다. 특히 인문학 분야의 경우 이러한 기계적이고 산술적인 방식에 의거해서는 제대로 된 평가가 이루어질 수 없다. 인문학 계통의 학술지 평가를 담당하거나 준비해본 경험이 있는 사람이라면 대부분이 즉각적으로 이와같은 산술화에 거부감을 느꼈을 것이라고 짐작한다.

더구나 평가의 기준 및 항목별 배점기준이 무엇인가라는 질문에 이르면 당혹감을 감출 수 없다. 왜 하필 이 항목이며, 왜 이 항목에 이 점수인지 납득하기 어려운 경우가 많은 것이다. 이미 알려진 대로 학진의 학술지 평가사업은 미국 ISI사의 평가방식을 모델로 삼고 있다. ISI의 경우, 논문의 영향력이라고 이해되는 인용 빈도가 잡지 선정의 기준이다. 인용 빈도가 높다는 것은 그만큼 해당 학문 분야에 기여도가 높다는 사실과 직결될 수 있을 것이다. 하지만 아래의 <표 1>과 <표 2>에서 볼 수 있듯이, 학진평가는 이러한 기준보다는 독자적으로 선정한 다수의 항목들을 중심으로 이루어진다.

초기 평가(<표 1>)에서는 23개 항목, 계속 평가(<표 2>)에서는 16개 항목에 대해서 100점 만점으로 평가가 이루어지는데, 초기 평가에서 70점 이상을 받으면 등재후보 학술지로 선정되며, 이어서 계속 평가에서 2회 연속 80점 이상을 받는 경우 등재 학술지가 된다. 문제는 평가 항목의 선정과 배점이 학술지에 대한 질적 평가라기보다는 양적 평가에 초점을 맞추고 있다는 데 있다. 예를 들어 초기 평가의 경우, 40점 배점의 체계평가와 60점 배점의 내용평가의 두 범주로 이루어져 있어 일견 내용평가에 무게중심이 놓여 있는 것처럼 보인다. 그러나 실제 평가항목을 보면 내용평가 중 분과위원 평가에 속하는 네 가지 항목들과 주제 전문가 평가 중 4번 항목은 실질적으로 내용평가를 담당하고 있다고 보기 힘들다. 계속 평가의 경우를 살펴보면 문제는 더욱 심각해진다.

표면적으로 보아도 계속 평가는 체계평가에 중점을 두고 있으며, 내용평가의 항목들 자체도 학술지의 내용, 즉 학술적 수준을 정밀하게 평가할 수 있는 기준들과는 동떨어져 있다. 평가항목별 배점방식의 경우 또한 의문스럽기는 마찬가지다. 예컨대 초기 평가의 체계평가에서 6, 8, 10, 12번 등의 형식화에 치우친 항목들에 상대적으로 높은 점수가 배정되어 있다. 이러한 의문점은 계속 평가의 경우에도 고스란히 남아 있다. 이런 점들을 통해, 학진의 평가방식은 학술지 질의 제고라는 측면보다는 평가수행의 편의성 측면으로 심각하게 기울어져 있는 느낌을 감출 수 없다. 재차 강조하지만, 이것은 국가 주도의 평가사업이 지닌 예정된 한계를 분명하게 노정하고 있다. 어떻게든 평가를 계량화해서 객관적으로 보이려고 노력해야 하기 때문이다.

더 큰 문제는 이러한 계량화가 주는 파장이다. 아마도 이미 대부분의 연구자들은 자신의 학술활동을 점수화하는 과정에 어느정도 익숙해져 있을 것이다. 그것은 학진평가에 관심이 있건 없건 마찬가지다. 일반적으로 숫자와 점수 계산에 밝지 못하다는 인문학 연구자들의 경우도 예외는 아니다. 대개의 학문활동이 학진의 학술지 평가사업과 어떤 식으로든 관련을 맺고 있기 때문이다. 실제로 학진의 계량적 평가는 학술지에 대한 질적 평가에서의 부적절성을 넘어 연구자의 학문연구활동이나 방법에도 부정적인 영향을 미치고 있는 실정이다. 무엇보다도 외부 검열의 족쇄를 채움으로써 학문활동의 본질을 왜곡시키고 있다는 것이 가장 큰 문제라고 하겠다. 상상력과 창조성이 본령을 이루는 학문활동이 외부의 간섭에 의해 왜곡될 위험성이 내포되어 있는 것이다. 평가의 아마추어리즘이 학문연구의 전문성을 제어하고 있는 셈이다.

이는 학진평가가 내용보다는 형식을 중시하고 있다는 사실과도 밀접하게 얽혀 있다. 형식이 없는 내용이 없듯이 형식의 역할은 중요하다. 아무리 내용이 좋아도 형식이 갖추어지지 않으면 우수한 학술지라고 하기는 힘들다. 그러나 이 형식이라는 것도 내용에서 자연스럽게 나와야 한다. 그런데 학진의 학술지 평가는 획일적 형식을 요구하고 있다. 모든 학문 분야에 동일한 평가항목을 적용함으로써 학문 분야의 특수성은 무시되고 획일화된 학술지들이 양산되고 있다. 비슷한 편집 규정과 심사 절차에 의해 학술지들이 만들어지고 있기 때문이다. 물론 학진의 입장에서는 형식적인 측면에서 국제적 기준의 학술지가 갖추어야 할 최소한의 기본항목과 절차가 지켜지고 있는 것이라고 말할지 모른다. 그러나 문제는 이와같은 기준이 규격화된 학술지를 만들어내는 데 결정적인 역할을 하고 있다는 데 있다. 조금 과장해서 표현하자면, 마치 하나의 주형 틀에서 동일한 모양을 지닌 학술지를 찍어내고 있는 느낌을 준다. 학문연구활동이 다양성을 표방해야 한다는 사실을 상기한다면, 그것을 담아내는 그릇이 동일해진 것은 결코 바람직한 현상이라고 할 수 없다.

좀더 세부적으로 보면 학진의 평가는 기관의 규모, 논문당 심사위원의 수, 학술지 배포의 국제성 등과 같이 해당 학술지의 내용이나 수준과 절대적 인과관계를 갖지 않는 요식적 측면을 강조하고 있다. 이 요식적인 정량 중심의 평가는 학술지에 대한 본질적 평가가 되지 못할 뿐 아니라 학술지와 해당 학회의 외형을 부풀리는 부작용까지도 초래할 수 있다. 학회나 학술지의 규모가 커지는 것을 무조건 부정적으로 볼 필요는 없지만 평가를 위한 거품이 생긴다는 데는 문제가 있다. 이와같은 규모의 거품이 학술지의 내실있는 발전에 도움을 주지 못하리라는 것은 쉽게 예견할 수 있다. 특히 소규모 학회에서 발간하는 학술지를 고사시킬 위험성도 지니고 있다.

동호인 수준의 소규모로 학회가 운영되어 정실 위주로 논문심사가 이루어지고, 학술연구활동의 폐쇄성과 편협성이 두드러진다면 이는 당연히 시정되어야 할 것이다. 하지만 학문의 특성상 불가피하게 상대적으로 작은 규모의 학술모임과 학술지가 만들어질 수밖에 없다면 이는 마땅히 인정받아야 할 것이다. 회원이 많고 투고자가 전국적으로 퍼져 있다고 해서 우수한 학술지를 발간한다는 보장은 없다. 중요한 것은 학회나 학술지의 규모가 아니라 얼마나 가치있고 창조적인 지식을 생산해내느냐이다. 학진이 의도한 대로 학문연구를 통해 지식 기반을 확고히 하려면 미세한 분야의 연구도 보장되는 쪽으로 평가가 이루어져야 한다. 그러나 지금 평가방식은 의도했든 안했든 학술지의 통제를 통해 통폐합을 유도하고 있다고 볼 수 있다. 어디서 창조적인 지식이 만들어질지 모르는 상황에서, 그리고 정말로 창조적인 지식이 필요한 시점에서, 작지만 꾸준한 학문적 노력을 외면하는 학진의 평가방식은 온당치 못하다고 할 수 있다.


4. 학술지 평가 시대를 살아가는 학회 임원

현 학술지 평가사업의 구조하에서 가장 많은 역할 변화를 겪은 집단은 학회 임원진이라고 할 수 있다. 일단 학회활동을 공개적으로 진행하고 서류화할 필요성이 생겼다. 그렇다고 이전의 학회 운영이 비밀리에 주먹구구식으로 진행되었다는 말은 아니다. 다만 학회활동이 온라인에 공개되기에 이에 따른 업무의 부담과 체계적인 행정처리의 필요성이 증가되었다는 말이다. 이와 더불어 학술지 평가를 받아야 하는 상황에서 임원활동의 방향전환이 불가피하게 되었다. 학회 이사회의 화두는 단연 학진평가이다. 현 상황에서 학진 관련 업무와 학술지 평가는 학회의 사활과 직결되어 있기 때문이다. 학진의 평가에서 우수한 점수를 받기 위해서는 평가를 준비하는 임원진의 노력과 역량을 극대화해야 한다. 그러다 보니 학회 임원진의 업무수행에 대한 평가는 학술지 평가를 얼마나 성공적으로 받고 학진에서 얼마의 재정지원을 받았는지로 판가름나곤 한다.

이런 구조하에서 학회의 모든 임원활동은 학진의 학술지 평가에 맞추어 이루어질 수밖에 없다. 만일 평가기준이나 점수배점이라도 바뀌면 해당 분야의 임원은 이에 대한 정보를 신속하게 수집하여 대책을 마련해야 한다. 지금도 학진의 평가기준이나 방법은 매년 조금씩 바뀌고 있다. 학진의 평가를 준비해본 사람은 행정적인 부분에서 작은 실수 하나가 평가 탈락으로 이어진다는 사실을 명확하게 인식하고 있다. 계량평가하에서는, 특히 질적 평가가 적극적으로 동반되지 못하는 상황에서는 형식적인 부분에서 조금의 실수만 있어도 합격 점수에 도달하기 어렵다. 이 부분에서 어떻게든 점수를 얻어야지 합격점을 받을 수 있다는 게 공공연한 사실이다. 그래서 학진의 평가사업 운영방안과 그 변화에 민감할 수밖에 없을 뿐 아니라, 평가서를 꾸밀 때도 실수를 최소화하기 위해 노력하고 있는 것이다. 이는 학회 임원의 책임감과 중압감을 반영해주는 대목이다.

이런 가운데 학술지의 평가를 좋게 받기 위해 임원진은 학회의 몸집 불리기에 나서기도 한다. 조직의 거대성이 평가의 한 잣대이기 때문이다. 소규모의 학회나 단일 작가 혹은 세부 주제를 연구하는 학회의 경우 조직을 키우는 과정에서 임원진이 학회명이나 학술지명의 변경을 주도해야 하는 상황도 생긴다. 지방에 중심을 두고 있는 학회의 경우 임원진의 역할은 더욱 막중하다. 학진의 학술지 평가사업 이후 지역 중심의 학술지를 살려야 하고 거기에 속한 연구자들을 보호해야 하기 때문이다. 회원과 투고자의 전국적 분포를 확보하기 위해 서울 및 기타 지역 연구자들의 회원가입과 논문투고를 요청하는 일이 잦아질 수밖에 없고, 따라서 이래저래 할 일이 많아지게 된 것이다. 영어영문학 분야의 경우 많은 수의 지방 중심 학술지가 등재후보지에 올라 있다. 학회 임원들은 이제 등재후보지를 등재지로 격상시키고 나아가 그 위상을 유지하기 위해서 선봉에서 일을 해야 하는 중요한 위치에 있다.

임원진의 구성에서도 큰 변화가 일어났다. 우선 사무적 역량이 뛰어나거나 대외 교섭력이 뛰어난 사람이 총무 이사로 선임된다. 또 편집진의 보강현상이 두드러진다. 학술지 평가에서 많은 점수를 차지하고 있는 것이 이 부분이기에 학회 입장에서 편집 부분에 공을 들이는 것은 당연하다. 실제로 편집위원의 재임기간과 연구실적이 평가항목에 포함되어 있다. 하지만 편집진 구성에 신경을 쓰는 내밀한 이유는 학진의 평가기준에 따라 기민하게 움직일 수 있어야 하기 때문이다. 논문실적이 많아야 하는 것은 기본이고 논문을 읽고 될 수 있는 대로 많은 분량의 심사서를 쓰는 것도 이들의 몫이다.

투고논문이 충분하거나 질이 높은 논문이 들어오면 다행이지만, 그렇지 않을 경우에도 편집진은 효율적으로 대처해야 한다. 학진평가를 위해서는 투고논문의 광역화는 물론 논문 게재율도 신경을 써야 하기에 이들의 기민한 대응능력은 필수적인 것이다. 사실 계량적 평가를 위주로 하는 현행 평가방식에서는 얼마나 우수한 논문을 싣는가보다는 얼마나 유능한 편집진이 평가기준에 맞추어 효율적으로 일을 진행하느냐가 결정적인 역할을 한다.

훌륭한 편집진의 존재는 그 학술지의 권위를 증명해준다. 그러나 학술지 평가기준에 맞추어 편집진을 끌어모으는 사태는 분명 바람직하지 못하다. 현실적으로 우수한 연구업적이나 대외적 역량을 지니고 있다고 판단되는 연구자들이 여러 학회에 중복적으로 편집위원으로 이름이 올라 있는 웃지 못할 일이 벌어지고 있다. 한 사람이 동시다발적으로 여러 학회에서 편집위원의 역할을 충실하게 수행할 수 있을지 의문이다. 근래에는 편집 부분의 점수를 높이기 위해 실질적인 활동이 의심되는 외국의 저명학자를 특별 심사위원으로 위촉하는 경우도 나타나고 있다. 학술지의 수준 제고 쪽으로 학회활동의 초점이 맞추어지는 현 추세에서 편집활동의 중요성에 대해 이견이 있을 수 없지만, 정상적인 궤도를 벗어난 학회 운영 양상은 극복되어야 한다.


5. 대안 없는 대안

그렇다면 학술지 평가는 어떻게 하는 것이 좋은가. 기본적으로 국가 주도의 평가는 바람직하지 않다. 그 어떤 국가 주도의 평가도 학문활동에 대한 장려보다는 속박이 될 위험성이 크기 때문이다. 학문활동은 그것이 이루어지는 공간에서 생겨나는 내적 원리에 의해 평가되는 것이 마땅하다. 이렇게 볼 때 해당 학계의 열린 공간에서 양심과 자율의 원리에 따라 평가가 이루어지는 것이 바람직하다. 이럴 때 학문활동이 격려와 도전 속에서 진정한 발전을 도모할 수 있을 것이다. 그리고 학술지 평가도 생산적으로 진행되어 지식기반구축 형성에 자연스럽게 도움을 줄 수 있을 것이다.

그럼에도 불구하고 학진의 학술지 평가사업을 계속해야 한다면, 현실적으로 딱히 이것이다라고 실질적으로 말할 수 있는 대안은 없다. 그러나 우선 많은 사람들이 지적하고 있듯이 질적 평가를 할 수 있는 방법을 모색해야 한다. 이를 위해 실질적으로 논문의 질을 평가할 수 있는 주제 전문가 평가 부분을 강화할 필요가 있다. 현재 주제 전문가 평가 부분은 초기 평가에는 들어가 있지만 계속 평가에는 빠져 있다. 물론 계속 평가에서도 분과위원회에서 학술지 내용평가를 하긴 하지만 이는 논문의 질에 대한 평가라기보다는 기계적인 평가에 그칠 여지가 많다. 이를 보완해야 한다.

하지만 무엇보다도 이 부분이 성공적으로 수행되기 위해서는 주제 전문가가 내린 평가에 대한 신뢰가 전제가 되어야 하는데, 이에 대해서는 체계적인 접근이 필요하다. 그중 하나로 평가결과를 실명으로 공개해 언제라도 재검증을 받도록 하는 방법을 생각할 수 있다. 논문의 영향지수가 평가기준에 포함되지 않은 상황에서는 주제 전문가 평가에 기대를 거는 수밖에 없을 것이다.

둘째, 다양한 관점에서 학문의 특수성을 고려하여 평가기준을 정하되, 특히 배점기준의 근거를 분명히 할 필요가 있다. 국제 관례에 따라 형식적 완성도를 이끌어내면서도 특정 시각이나 학문 분야에 경도되지 않고 해당 분야의 독창성과 고유성을 인정하는 평가 및 배점기준을 마련해야 한다. 이를 위해 해당 학계에 심사기준과 원칙을 의뢰하여 실질적인 자문을 받는 것이 필요하다. 아울러 동일한 학문 분야 내에서는 각 학술지의 지향점을 점검하고 그 실행 여부를 평가하는 부분이 추가되어야 한다.

셋째, 편집 부분의 성실한 시행 여부를 구체적으로 확인하는 과정이 필요하다. 현재 평가기준에서는 심사기준 및 심사절차의 구체성과 엄정성, 수정 제의의 상세성과 구체성 등 편집 부분을 상대적으로 중시하고 있다. 이는 바람직한 방향으로 보인다. 그러나 이러한 편집규정의 마련과 그것의 제대로 된 시행은 별개일 수 있다. 대부분의 학회의 편집규정을 보면 아주 구체적이고 상세하다. 특히 심사에 관한 기준과 절차는 세계적인 학술지가 부럽지 않을 정도다. 이 규정만 충실하게 지키더라도 자연스럽게 논문의 질이 확보될 가능성이 있다. 그러나 현실은 그렇지 못한 경우가 많다. 각 학회에서 이 규정을 실제로 잘 지켜 우수한 학술지를 만들 수 있도록 하는 보완장치가 필요하다.

넷째, 각종 학술정보를 제공해주는 쪽으로 방향을 전환해야 한다. 그래야만 진정으로 학술진흥재단이라는 이름에 걸맞은 역할을 할 수 있을 것이다. 학술지 등급 매기기로 전락한 현행 평가방식은 오히려 학문활동을 위축시키는 부작용을 낳고 있다. 연구비 지원을 위해 객관적인 자료 축적에 초점을 맞추는 것도 지양해야 한다. 그것이 연구비 수혜의 잡음을 줄일 수 있을지는 몰라도 학문활동을 장려하고 진작한다는 본래의 목표로부터는 점점 멀어지고 있기 때문이다. 오히려 학문활동의 계량화를 조장할 뿐이다.

학진의 학술지 평가사업은 우리나라 학문연구 풍토에 엄청난 변화를 가져왔다. 하지만 전반적으로 부정적인 변화라는 게 잠정적인 중론이라고 할 수 있다. 학문의 발전과 공익을 위해 시작했다고는 하지만 그 내면에는 국가에 의한 학문활동의 간섭과 통제가 도사리고 있음을 쉽게 간파할 수 있다. 누가 언제 무엇 때문에 이 사업을 시작했으며 지금 어떻게 시행되고 있는지를 따져보면 그 실질적 성격이 쉽게 드러난다. 국가 주도의 학술지 평가사업이 바람직하지 않다는 점은 학문활동의 역사나 현재의 세계적 흐름이 증명해주고 있다. 그것은 학문활동의 후진성만 부각시킬 뿐이다.

학문활동의 평가는 그 주체인 개인의 양심이나 그것이 이루어지는 공간의 자율적 원리에 맡겨야 한다. 그러나 국가가 재정지원을 위해 굳이 평가를 해야 하겠다면 해당 학계의 의견에 귀를 기울여야 한다. 그리고 본질적인 평가를 하도록 힘써야 한다. 학술지 평가사업은 단순한 평가로 끝나는 것이 아니라 학술활동 방향과 지식생산에 영향을 미쳐 국가 경쟁력까지도 좌우할 수 있기 때문이다.

-- <안과밖> 15호에 실린 학술시평임.

 

   관련글 제목

작성자

작성일자

조회

학술지 평가를 말한다 <- 현재글

이종우[자료실]
2006-03-23
3622

 

 

 

연구회소개 | 회원 가입  |  분과 연구실  |  도서실  |  회의실  |  사이트맵  |  자료회원연구실 | 자유게시판

운영위  |  안과밖편집위  |  자료실편집위 |  영미문학연구 편집위 |  출판기획위번역평가위

Copyright 2001 All rights reserved SESK.net