Ⅳ. 고 찰
본 연구는 보건의료국가시험의 지필평가(PBT) 방식과 멀티미디어 문항이 포함된 SBT 기반 평가방식에 대한 인식을 조사하기 위하여 시행하였으며 보건의료 전공학과의 교수들과 재학생 및 보건의료 현장에서 해당 직종의 면허나 자격소지자로서 업무를 수행하고 있는 임상전문가를 대상으로 설문조사를 실시하였다. 본 연구에 참여한 연구대상자는 교수 210명, 임상전문가 573명, 모의시험에 응시한 재학생 436명이었으며 총 1,219명의 설문자료를 분석하여 연구결과를 도출하였다.
응급구조사 직종은 2014년 국시원의 응급구조사 시험위원회에서 1급응급구조사 국가시험에서 컴퓨터화시험 도입을 결정하고 1급응급구조사 국가시험 컴퓨터화시험도입 실무위원회를 구성하여 2017년도 하반기부터 시험시행을 추진하기로 결의하였다. 그 후 1급응급구조사 국가시험의 SBT 시험체제로의 중·장기 추진 계획안을 수립하였으며 계획안에 따라 2014년부터 2016년까지 3회의 모의시험을 시행하였으며 최초로 2017년 SBT체제의 국가시험을 시행하게 되었다. 향 후 타 보건의료 직종 확대 실시를 앞두고 7개 직종을 대상으로 멀티미디어 문항을 포함한 SBT기반 시험에 대한 타당성 연구는 의의가 크다.
연구 결과 보건의료 관련 전공학과 교수들은 스마트기기에 대한 친숙도에서 평균 4.05∼4.13으로 높은 친숙도를 나타냈고, 직급에 따라 교수들은 조교수, 부교수, 외래교수에 비해 스마트기기 에 대한 친숙도가 낮았으며 임상전문가들도 평균 4.32∼4.46으로 스마트 기기에 대한 긴장도를 거의 갖지 않았다.
보건의료 관련 전공학과 교수들의 스마트기기 기반 시험(SBT)에 대한 인식은 ‘장기적으로 시험시행의 경비 절감에 기여할 수 있다(3.78점)’에 가장 긍정적인 인식을 보여 스마트기기 기반 시험의 가장 긍정적인 측면은 시험실시의 경비절감이었으며 이는 임상전문가들도 같은 인식(3.68)을 보였다.
보건의료 관련 전공학과 교수들의 멀티미디어 문항의 효과에 대한 인식에서는 ‘멀티미디어 문항은 사진, 오디오, 동영상 등을 활용하여 임상현장의 실제상황을 현장감 있게 표현할 수 있으므로 지필시험의 한계요인을 극복할 수 있다(4.01)’에 가장 긍정적으로 인식하였으며 이 문항은 임상전문가 대상 설문결과에서도 가장 높은 평균점수(3.87)를 나타내어 두 집단 모두 멀티미디어 문항의 가장 긍정적인 측면은 국가시험을 통하여 임상현장에 대한 현장적응력을 효과적으로 평가할 수 있는 것으로 인식하고 있음을 알 수 있었다. 이 결과는 국시원에서 2014년부터 2016년까지 전국 응급구조학과 학생을 대상으로 시행한 모의시험 결과를 분석한 선행연구[
9]에서 멀티미디어 문항이 지필문항보다 추론이나 해석, 판단, 문제해결능력을 평가하기에 더 장점이 있으며 이러한 멀티미디어 문항의 긍정적인 측면을 평가에 잘 활용해야 한다고 한 것과 일치한다고 할 수 있다.
보건의료 관련 전공학과 교수들의 스마트기기 기반 시험에 대한 인식은 방사선학과, 응급구조학과, 물리치료학과, 임상병리학과, 안경광학과, 간호학과와 치위생학과 순으로 긍정적 인식을 나타냈고, 임상전문가들의 스마트기기 기반 시험에 대한 인식에서는 SBT에 대한 유경험자가, 여성보다 남성이 유의한 긍정적인 인식을 나타내었고 직종별로는 임상병리사, 의사, 방사선사, 물리치료사, 간호사, 응급구조사, 치위생사, 안경사 순으로 유의한 긍정적 인식을 보였다.
보건의료 관련 전공학과 교수들의 멀티미디어 문항의 효과에 대한 인식은 여자에 비해 남자가 멀티미디어 문항의 효과를 더 긍정적으로 인식하였으며 직급에 따라 조교수는 부교수에 비해 멀티미디어 문항을 더 긍정적으로 인식하였다. 임상전문가들의 멀티미디어 문항의 효과에 대한 인식 차이는 여자에 비해 남자가 멀티미디어 문항의 효과를 더 긍정적으로 인식하였고, 스마트기기를 사용하는 집단이 더 긍정적으로 멀티미디어 문항 효과를 인식하였다. 직종별로는 의사 직종이 멀티미디어 문항의 효과에 가장 긍정적으로 인식하였으며 다음으로 임상병리사, 방사선사, 물리치료사, 간호사, 응급구조사, 안경사, 치위생사 순이었다. 특히, 멀티미디어 문항의 효과에 대한 인식 차이에 있어서 직종 간 점수 차이가 유의한 집단은 임상병리사와 물리치료사였다.
교수들의 SBT 기반 시험체제의 도입에 대한 필요성에 대한 인식은 대상자의 63%가 긍정적인의견을 나타냈는데 특히, 멀티미디어 문항이 임상이나 실습 역량평가에 긍정적이고, 다양한 영역의 평가를 가능하게 하며, 이는 실무위주의 학교교육으로의 변화를 기대할 수 있다고 응답하였으며 멀티미디어 문항의 적정출제비율은 5∼6%라는 응답이 가장 많았다.
임상전문가들은 SBT 기반 시험체제의 도입 필요성에 40%가 지지하였고 멀티미디어 문항의 적정출제비율은 5∼6%가 30%로 가장 많았다.
보건의료전공 학생들은 학과별 100개 문항의 모의시험을 지필시험과 멀티미디어 문항 3-5%가 포함된 SBT방식의 모의시험에 응시한 후 국가시험 체제에 대한 직종별 인식조사 설문에 응답하였다. 분석결과 학과별 학생들은 미래 국시평가시스템 방향에 대한 인식에서, ‘상관없음’에 가장 많이 응답한 학과는 간호학과이며, ‘지필시험’에 가장 많이 응답한 학과는 안경광학과, 치위생학과였으며, SBT가 미래 국시평가시스템의 방향으로 인식하고 있는 학과는 응급구조학과, 방사선학과, 물리치료학과, 임상병리학과의 순이었으며 이는 학과 간 매우 유의한 차이를 보였다(p=.000). 특히 국시원 주관 하에 2014년부터 2016년까지 전국적으로 3회의 모의시험을 시행한 응급구조학과 학생들이 SBT 체제를 미래 국가시험 방식으로 가장 높게 인식(70.0%)하고 있었다.
학과별로 멀티미디어 문항의 적정출제비율에 대한 인식에는 매우 유의하 차이가 있었는데(p=.000), 응급구조학과의 경우가 9%로 가장 높게 응답하였고, 다음으로 임상병리학과와 물리치료학과 5-6%, 치위생학과 3-4%, 간호학과, 안경광학과, 방사선학과 1-2%의 순이었다.
SBT 시행과정의 편리성에 대한 학생들의 인식은 학과별로 유의한 차이를 보였는데(
p=.023) 물리치료학과, 응급구조학과, 치위생학과, 간호학과, 방사선학과, 임상병리학과, 안경광학과 순으로 긍정적 인식을 보였으며 전체 평균은 4.02로 편리성에 대하여 높은 긍정적 인식을 나타냈다. 이는 2016년 9월 전국 응급구조학과 재학생을 대상으로 국시원에서 SBT 모의시험 시행 후 실시한 설문조사 결과와도 일치하는데 시험 응시자 1,205명 중 설문 응답자 1,176명을 대상으로 한 설문분석 결과 시험문제 해결과정의 편리성과 관련된 문항의 평균점수가 4.23으로 SBT의 편리성에 대해 매우 긍정적으로 인식을 하였다[
9].
학생들의 지필시험과 비교한 SBT의 장점에 대한 학과별 인식은 응급구조학과가 4.09로 가장 높았고, 다음으로 물리치료학과, 방사선학과, 치위생학과, 간호학과, 임상병리학과, 안경광학과 순이었다. 이와 같은 결과를 뒷받침하는 결과로 2016년 9월 전국 응급구조학과 재학생을 대상으로 국시원에서 SBT 모의시험 시행 후 실시한 설문조사 결과에서도 평균점수가 4.26으로 지필시험에 비해 SBT 방식에 대한 장점을 높게 인식하였다[
9].
학과별 학생들의 컴퓨터기반 시험(이하 CBT)과 비교하여 SBT의 장점에 대한 인식은 학과 간 유의한 차이(
p=.001)를 보였는데, 응급구조학과가 CBT에 비해 SBT의 장점에 대한 인식이 4.36으로 가장 높았고, 다음으로 물리치료학과, 방사선학과, 치위생학과, 간호학과, 임상병리학과, 안경광학과 순이었다. 이는 2016년 9월에 전국 응급구조학과 재학생을 대상으로 시행된 SBT 모의시험 후 응시자를 대상으로 한 설문분석 결과의 평균점수 4.13와 유사하게 높은 것으로 컴퓨터기반 시험과 비교하여 SBT 시험에 대한 장점을 높게 인식하는 결과와 일치하였다[
9].
학과별 학생들의 멀티미디어 문항의 효과에 대한 인식은 학과간 매우 유의한 차이(
p=.000)를 보였는데 응급구조학과가 멀티미디어 문항의 효과에 대한 인식이 4.25로 가장 높았고, 다음으로 물리치료학과, 임상병리학과, 치위생학과, 방사선학과, 간호학과, 안경광학과 순이었다. 이는 2016년 9월에 전국 응급구조학과 재학생을 대상으로 시행된 SBT 모의시험 후 응시자를 대상으로 한 설문분석 결과[
9]에서도 멀티미디어 문항의 효과에 대한 평균점수가 4.31로 멀티미디어 문항의 효과에 대해 긍정적으로 인식하는 것과 일치하는 결과를 보였다. 멀티미디어 문항의 효과에 대한 다른 연구는 태권도 지식검사에서 지필시험보다 멀티미디어형 검사정보매체를 활용했을 때 더 높은 정답률 및 평균점수를 얻었다고 보고하였으며[
11] 멀티미디어형 시험 문항의 공정성과 안정성을 확인할 수 있는 연구[
12]도 있다.
학생들은 멀티미디어 문항이 포함된 SBT 모의시험 참여 후 전반적으로 느낀 점이나 개선사항을 주관식으로 자유롭게 기술하도록 하여 조사한 결과, 총 162건의 의견이 제시되었는데 대부분 긍정의견과 함께 개선사항을 제시하였다. 분석결과는 149명인 92%가 긍정적으로 인식하고 있었고, 긍정의견 81.5%의 내용은 주로 시험 진행, 답안 마킹, 시험기기 등이 편리했다는 내용이었다. 이에 반해 부정적인 의견은 13명(8.0%)으로 소수였으나 내용으로는 ‘이유 없이 싫다’ 7명, ‘눈의 피로와 집중이 안 된다’는 의견이 3명 등이었다. 또한 긍정적 의견과 함께 개선사항으로 122건이 있었으며 가장 많은 개선사항으로 메모기능 개선이 필요하다고 지적하였다.
모의시험에 참여한 436명의 7개 학과 학생들을 대상으로 전공별로 100문항씩 같은 문항을 PBT와 SBT로 각각 시행한 이후 문항반응이론에 의거하여 문항을 비교분석한 결과 개발된 문항에 대한 난이도와 변별도는 PBT와 SBT시험 간 동일한 기준구간에 해당하여 시험유형별 문항난이도와 문항변별도에 큰 차이는 없었으며 문항에 대한 신뢰도는 난이도와 변별도 모두 두 시험유형 전체에서 Cronbach’α =.702∼.889로 비교적 높았다. 그러나 학과별로 문항난이도가 SBT시험에 비해 PBT가 더 높게 나타난 직종은 간호사, 물리치료사, 1급 응급구조사, 임상병리사, 치위생사 시험으로 학생들은 SBT에 비교적 PBT보다 쉽게 반응하여 현재와 같은 PBT의 국가시험을 SBT 체제로 변화하여도 문항반응의 차이는 거의 미미하다고 할 수 있어 쉽게 적응할 수 있을 것이다.
특히 1급 응급구조사 직종은 2017년 12월 초 SBT 국시체제로 국가시험을 최초로 시행하였는데 멀티미디어 5개 문항을 포함하여 총 230개 문항을 국시 전용으로 개발된 스마트 패드기기에 입력하여 SBT를 시행하였다. 시험결과를 분석한 국시원 자료[
13]에 의하면 합격률은 이론시험에 1,775명이 응시하여 1,554명이 합격하여 91.0%의 합격률을 보였고 실기시험과 합하여 전체적인 합격률은 88.1%였다. 이는 2013년부터 2016년까지 지필시험으로 시행한 4년간 평균합격률 84.5%보다 3.6% 높은 결과로 본 연구결과에서도 나타났듯이 응급구조학과 학생들이 PBT에 비해 SBT에 쉽게 반응하였다는 것을 입증했다고 할 수 있다.
Ⅴ. 결론 및 제언
본 연구는 보건의료직종의 멀티미디어 문항을 포함한 SBT 국가시험 체제의 대한 타당성에 관한 연구로 한국보건의료인국가시험원의 연구비지원으로 2016년 7월부터 2017년 3월까지 약 9개월간 수행하였으며 현재 보건의료인국가시험을 스마트기기 기반 시험(SBT)체제로 시행하는 것을 국시원 정책으로 추진하고 있는 상황에서 보건의료직종별 SBT 국가시험 체제의 타당성에 대한 근거를 확인하고자 연구를 시행하였다.
본 연구를 통해 SBT 국시체제에 관하여 보건계 학과교수, 재학생 및 임상전문가 대부분 긍정적인 인식을 가지고 있음을 확인할 수 있었으며 모의시험을 통해 지필시험이나 SBT 방식에 따라 문항의 난이도나 변별도 및 신뢰도에 영향을 미치지 않음을 알 수 있어 보건의료인국가시험의 현재의 지필시험에서 향후 SBT 체제 변화에 대한 타당성을 확인하였다.
보건의료인국가시험은 해당 직종에 대한 면허 또는 자격을 부여하기 위해 시행하는 시험으로 각 직종별 국가시험은 실제 직무상황에서 문제해결 능력을 평가하여야 한다. 현재 지필시험은 문제해결능력보다는 직무 수행에 필요한 관련지식을 기억하거나 이해하고 있는지를 주로 평가하고 있어, 해당 직무의 실제성 또는 현실성을 반영하는 시험(authentic test)이 되기 위해서는 많은 변화가 필요한 실정이며 이에 대한 해결방안의 하나로 SBT 방식의 국가시험 체제를 도입하고 이를 활용한 멀티미디어 문항개발이 필요하다.
SBT 체제에서 구현할 수 있는 멀티미디어 문항은 현장의 문제해결능력을 평가할 수 있는 방법으로 지필시험의 한계요인을 극복할 수 있을 뿐 아니라 더 나아가 학교교육에서 현장 중심의 문제해결능력을 강화하는 방향으로 변화를 이끌어내도록 하는데 기여할 수 있을 것이다. 특히 실기시험을 자료 제시형으로 평가하고 있는 임상병리사, 방사선사, 물리치료사 직종에서는 별도의 실기시험을 멀티미디어 시험문항으로 대체하여 평가단계를 단일화시키면서도 각 직종에서 요구하는 임상현장 수행능력을 평가할 수 있는 기회가 될 수 있을 것이다.
따라서 본 연구는 보건의료인국가시험의 SBT체제로의 변화에 대한 타당성에 대한 근거를 제시할 수 있었으며 향후 SBT 체제의 도입을 위한 다음의 제언을 하고자 한다. 스마트 기기의 기능개선과 관련한 선행연구[
14,
15]에서 지적한 대로 스마트기기의 특징인 모바일 컴퓨팅 기능을 활용하여 다양한 정보를 제공할 수 있도록 기능을 보다 편리하게 향상시켜야 함과 동시에 스마트 기기의 기술적 측면에서 앞으로 시험문항 탑재 등의 기능개선이 필요하며 본 연구결과에서 도출된 스마트 기기에 대한 개선사항을 적극 반영할 필요가 있다. 태블릿 PC형태의 스마트 기기는 아직 일부 사람들에게는 친숙하지 않아 낯설어 하는 경우가 많으며 스마트 기기 활용능력과 자심감과 같은 요인이 시험수행에 간섭요인으로 작용할 수 있다.
따라서 추후 연구에서는 스마트 기기 기능 개선과 기능 요인에 따른 성취도에 차이가 나타나는지에 대한 연구가 수행되어야 한다. 멀티미디어 문항개발을 위한 연구를 통해 멀티미디어형 문항의 정보전달성이 상대적으로 명확한 특징을 가지고 있기 때문에 보건의료인 국가시험에서 문자표현에 따른 정보전달의 난해성 감소를 기대해 볼 수 있고 타당성 높은 멀티미디어 문항으로 활용될 수 있을 것이다.