교육 평가도구의 양호도

1) 타당도

 타당도란 평가도구가 측정하고자 하는 구체적인 목표나 내용을 제대로 측정하고 있는가의 정도를 말하는 것이다. 예를 들면, 수학 교과의 평가 문항을 제작하여 실시한 시험문제의 문장이 난해하여 국어 교과에서의 평가 영역인 독해력이나 어휘력을 평가한 경우는 타당도 문제가 되는 것이다. 이처럼 타당도란 '무엇'이라는 개념과 관련이 있고, 어떤 준거와의 관련 아래에서만 그 의의가 확인되는 개념이다. 일반적으로 평가 방법이나 도구의 타당도를 알아보기 위한 방식에는 여러 가지가 있는데, 어떠한 측면을 강조하느냐에 따라 내용 타당도, 예언 타당도, 공인 타당도, 구인 타당도 등으로 분류할 수 있다.

(1) 내용 타당도

 내용 타당도란 평가 평가도구가 그것이 평가하려고 하는 내용을 어느 정도로 충실히 측정하고 있는지를 분석하여 측정하려는 것이다. 주로 교수·학습 과정에서 설정했던 교육목표를 평가도구가 얼마나 충실히 측정하고 있느냐는 것을 결정할 때 쓰이는 타당도의 개념이다. 이는 검색 내용 전문가에 의해 검사가 측정하고자 하는 속성을 제대로 측정하였는지를 주관적으로 판단한다.

(2) 예언 타당도

 예언 타당도란 검사 결과가 미래의 행동이나 특성을 예측하는 정도를 의미한다. 따라서 타당도의 준거는 그 학생의 미래에 나타날 특성이 된다. 예를 들면, 적성검사는 예언 타당도가 가장 높은 측정 도구라고 볼 수 있다. 학생의 학업성취도를 측정하는 수학능력시험 역시 학생의 고등학교까지의 학업성취도를 측정하고자 할 뿐만 아니라 대학에 입학하여 수월하게 공부할 수 있는 능력을 갖춘 학생을 선발하기 위한 잠재적인 목적을 가진 것이다.

(3) 공인 타당도

 공인 타당도란 이미 타당도를 인정받은 검사로부터 얻은 점수와 새롭게 개발된 검사 점수가 일치하는 정도를 말한다. 예를 들면, 새롭게 개발된 지능검사의 타당도를 검증하기 위해 이미 타당도를 공인받은 지능검사와 새로운 지능검사 사이의 상관관계를 산출해 보는 것이다. 이와 같은 타당도는 평가도구의 실제적 의미를 풍부히 해주고 활용하는 데 유용한 정보를 제공할 뿐만 아니라 새로운 연구의 아이디어를 제공한다는 점에서 중요하다.

(4) 구인 타당도

 구인 타당도란 조작적으로 정의되지 않은 인간의 심리적 특성이나 성질을 심리적 구인으로 분석하여 조작적 정의를 내린 후 검사 점수가 조작적 정의에서 규명한 심리적 구인들을 제대로 측정하였는가를 검증하는 방법이다. 구인 타당도는 측정하고자 하는 구인들을 정의하고, 그 구인들에 관한 논리적 가설을 뒷받침해 주는 경험적 자료들을 수집함으로써 검증된다.
 구인이란 심리적 특성이나 행동 양상을 설명하기 위해 존재를 가정하는 심리적 요인을 말한다.

2) 신뢰도

 신뢰도란 측정하려는 것을 얼마나 안정적으로 일관성 있게 측정하느냐 하는 측정의 일관성과 안정성을 의미한다. 즉, 측정의 오차 없이 정확하게 측정하는 정도를 말한다. 이는 곧 한 평가도구가 '어떻게' 측정하고 있는가의 문제이다
 평가도구의 신뢰도를 높이기 위해서는 가능한 다양한 방법으로 통합적이면서도 전체적인 정보를 수집하는 것이 바람직하다. 주어진 상황이 동일하다면 평가 방법이나 도구의 신뢰성을 확보할 수 있는 증거는 많으면 많을수록 좋으며, 증거의 양도 중요하지만 질이 더욱 중요하다는 것도 인식할 필요가 있다. 또한, 평가 문항이 너무 어려우면 불안을 느낄 수 있고, 너무 쉬우면 부주의를 유발하므로 난이도가 중간 수준으로 적절해야 하고, 학생들의 능력에 따라 잘 구분해 줄 정도로 문항 변별도가 높아야 한다.
 이처럼 평가 방법이나 도구의 신뢰도를 알아보기 위한 방식에는 여러 가지가 있는데, 어떠한 방법과 절차를 이용하여 파악하느냐에 따라 검사-재검사 신뢰도, 동형 검사 신뢰도, 문항 내적 일관성 신뢰도 등으로 구분할 수 있다.

(1) 검사-재검사 신뢰도

 검사-재검사 신뢰도란 한 개의 평가도구를 동일한 피험자에게 일정한 시간 간격으로 두 번 실시하여 그 전후의 결과에서 얻은 점수로 상관관계를 산출하는 방법이다. 이 방법은 처음의 결과와 나중의 결과 사이에 어느 정도의 안정성이 있느냐를 보는 것이기 때문에 안정성 계수라고도 한다. 그러나 이 방법은 신뢰도 계수에 영향을 주는 다음의 문제점을 내포하고 있다.
 첫째, 첫 번째 검사와 두 번째 검사의 실시 간격을 어떻게 잡느냐에 따라 오차가 있을 수 있다. 검사 간의 실시 간격을 짧게 잡으면 첫 번째 검사 실시에서의 기억, 연습 효과 등이 두 번째 검사 실시에 영향을 미칠 가능성이 크다. 이러한 연습, 기억 효과가 모든 피험자에게 동일하게 영향을 미친다면 신뢰도는 허구 상관으로 과대 상관이 나타날 가능성이 있고, 만약 개인에 따라 달리 나타난다면 또한 부당한 신뢰도를 낳을 가능성이 있다. 일반적으로 검사-재검사 신뢰도를 위한 평가 간격은 피험자의 기억이 소멸하는 시간인 2주에서 4주로 설정되나 검사 도구의 특성과 측정 내용에 따라 달라질 수 있다.
 둘째, 전후의 검사 실시에서의 여러 가지 조건인 내적 동기 상태, 수업 태도, 검사 지시, 속도 검사의 검사 시간 등을 똑같이 통제하기가 어렵다는 점이다.

(2) 동형 검사 신뢰도

 동형 검사 신뢰도란 측정하려는 내용과 난이도는 같지만 서로 다른 두 개의 검사를 동일한 피험자에게 실시하여 신뢰도를 얻는 방법이다. 흔히 이것을 동형성 계수라고도 한다. 이 검사방법은 기억, 연습 효과를 최소한으로 감소시킨다는 점에서 좋은 방법이다. 그런데 동형 검사 신뢰도를 추정하기 위해 문항 내용과 문항 난이도가 같은 동형 검사를 제작하는 것이 쉽지 않다는 단점이 있다.

(3) 반분 검사 신뢰도

 반분 검사 신뢰도란 하나의 검사 도구를 둘로 나누고, 나누어진 두 부분검사 점수 간의 상관계수를 구하고, 부분검사로부터 구해진 상관계수를 전체 검사의 값으로 확대한 수치이다. 반분 신뢰도 추정 시 검사를 둘로 나누는 방법은 짝수 문항과 홀수 문항으로 반분하는 기우 법, 전체 검사를 전과 후로 나누는 전후 법, 무작위로 분할하는 단순 무작위 법이 있다.

(4) 문항 내적 일관성 신뢰도

 내적 일관성 계수란 문항 하나하나를 독립적인 검사로 보고 각 문항이 일관되게 동일한 능력을 측정하고 있는 정도를 수치화하는 방법이다. 일반적으로 다른 신뢰도 계수에 비해 작은 값이 나타나기 때문에 한 검사의 최소한의 신뢰도라고 볼 수 있다. 

3) 객관도

 객관도란 평가자 혹은 채점자의 채점에 대한 일관성 정도를 말한다. 하나의 반응 결과에 대해 여러 사람의 채점 및 평가가 일치하는 정도를 평가자 간의 객관도라고 하며, 시간적 간격이나 상황의 차이와 관계없이 한 사람의 평가자가 나타내는 일관성을 평가자 내 객관도라고 한다. 논술형 평가의 경우 객관도가 중요한 문제가 된다. 이때 객관도를 높이기 위해서는 도구의 객관화, 평가자의 소양, 기준의 구체화, 다인 수 평가 오류의 제거 등의 측면이 고려되어야 한다.

4) 실용도

 실용도란 평가 방법이나 도구의 제작과정뿐만 아니라 시행 방법이나 절차 그리고 평가 결과를 채점하거나 분석하기 위해 소요되는 인적·물적 자원의 양과 질이 주변 여건에 비추어 실용적인가를 나타내는 정도를 의미한다. 비록 어떤 평가 방법이나 도구의 적합도, 타당도 그리고 신뢰도가 높다고 하더라도 그러한 평가도구를 제작하고 시행하기 위해 소요되는 인적·물적 자원의 양과 질이 주변 여건에 비추어 지나치게 많거나 높다면 현실적으로 사용하기란 거의 불가능할 것이다. 이처럼 실용도란 평가 방법 실시의 편리성, 비용이나 시간의 경제성, 채점의 용이성, 해석의 용이성과 관련된다. 주어진 여건과 상황에서 실시할 수 있는 적절한 방법이나 도구여야 한다.

 흔히 평가 방법이나 도구의 실용도와 관련해서 고려해야 할 사항은 다음과 같다.

1. 실시 방법이 쉬울 것
2. 실시하는 데 소요되는 시간이 적절할 것
3. 채점하기가 쉬울 것
4. 결과를 해석하거나 활용하기가 쉬울 것
5. 평가의 실시 비용이 적절할 것