제14주 측정(measurement)

1. 측정의 의의

측정(measurement)은 추상적․이론적 세계와 경험적 세계를 연결시켜 주는 수단이다. 측정은 일정한 기준에 따라 대상 또는 사건에 수치를 부여하는 과정, 대상 또는 사람들의 속성에 일정한 규칙을 부여하는 과정, 질적 속성을 양적 속성으로 전환하는 작업이다. 측정의 대상은 사람이나 사물(대상)이 아니라 그 대상이 지니고 있는 특성(속성)이다.

척도는 숫자가 지니고 있는 기본 특성을 그대로 지니고 있으며 모든 척도가 다음의 특성을 가지는 것은 아니지만, 많이 갖출수록 우수한 척도이다. 척도의 특성은 다음과 같다. 1) 숫자는 순서가 있다. 2) 숫자간의 차이는 이미 규정되어 있다. 3) 숫자에는 0이 있다.

사회과학에서 측정이 어려운 이유는 다음과 같다. 1) 측정하려는 대상이 추상적인 개념인 경우가 많다. 2) 측정하려는 개념이 다른 개념과 복합되어 있는 경우가 많다. 3) 자연과학에서 널리 이용되는 측정을 위한 표준과 같이 일정한 규칙이나 표준화된 도구가 부족하다.

특성에 숫자를 부여하는 원리는 동일구조성(isomorphism)이라고 한다. 동일구조성이란 측정하고자 하는 특성의 양적 관계와 측정을 위한 숫자 체계가 갖는 특성이 서로 1대1로 대응되어야 한다(one-to-one)는 것 즉, 숫자를 부여하는 체계가 현실을 그대로 반영해야 한다는 것이다. 측정을 통해서 숫자 형태의 자료를 획득하면, 객관적인 표현이 가능하고, 정확한 의사소통이 가능하며, 각종 수학적․통계적 기법의 적용이 가능하다는 이점이 있다.

2. 측정의 수준

1) 명목수준의 측정

명목수준의 측정(nominal level measurement)은 측정대상의 속성을 단순히 분류하거나 확인할 목적으로 수치를 부여하는 것이다. 예를 들어 남자는 1, 여자는 2라는 수치를 부여하는 것, 운동선수의 등번호 부여가 여기에 해당한다. 행정 및 정책현상의 연구에서 흔히 사용되는 예로는 남녀의 성별, 종교, 지지정당, 거주지(대도시, 중소도시, 농어촌) 등에서 명목척도를 사용한다.

명목수준의 측정조건은 총망라성과 상호배타성이다. 총망라성(exhaustive)은 모든 분류대상이 전부 포함될 수 있도록 범주를 정하는 것이고, 상호배타성(mutual exclusive)은 하나의 대상이 두 개 이상의 범주에 속하지 않도록 분류하는 것이다. 명목수준의 측정에서 사용할 수 있는 통계기법은 최빈수, 도수, 상관관계계수 등이다. 예를 들어서 “당신은 어느 정당을 지지하십니까? ① 신한국당  ② 국민회의  ③ 자민련  ④ 국민신당  ⑤ 없음”과 같은 양식으로 조사할 수 있다.

2) 서열수준의 측정

서열수준의 측정(ordinal level measurement)은 측정대상을 그 속성에 따라서 서열이나 순위(rank order)를 매길 수 있도록 수치를 부여하는 것이다. 측정대상을 분류한 다음 범주간에 서열, 대소관계의 구분이 가능한 측정이다. 이것은 수치 자체가 어떤 절대적인 수나 양, 크기 등을 나타내지 않으므로 분류된 범주간의 거리나 간격에 관해서는 정보를 제공할 수 없다. 그러므로 명목척도나 서열척도에 의하여 측정된 변수를 비계량변수(non-metric variable)라고 한다. 서열척도는 순서 또는 방향에 일관성만 있으면 문제되지 않는다. 예를 들어, “당신은 현재 우리나라의 경제사정을 어떻게 생각하십니까? ① 매우 호황  ② 호황   보통  ④ 불황  ⑤ 매우 불황”과 같은 조사를 할 수 있다.

3) 등간격수준의 측정

등간격수준의 측정(interval level measurement)은 측정대상을 속성에 따라 서열화함은 물론 서열간의 간격이 동일하도록 수치를 부여하는 것이다. 예를 들면, IQ점수, 주가지수, 온도의 경우가 이에 해당한다. 온도 40℃가 20℃보다 2배 더 더운 것은 아니다. 측정치는 측정대상이 갖는 속성의 양적 정도의 차이를 나타내 주며 해당 속성이 전혀 없는 상태인 절대적인 원점은 존재하지 않지만 임시적인 원점은 존재한다.

사회과학적 조사연구의 태도 측정 분야에서 등간척도로 공인된 것은 거의 없다. 그러나 서열척도와 등간척도간의 정보의 양, 이용가능한 통계기법상에는 많은 차이가 있다. 엄밀한 의미에서 서열척도인 자료를 등간척도로 취급한다. 등간격수준 측정의 조건은 총망라성, 상호배타성, 대수관계, 부가성이고, 사용할 수 있는 통계기법은 산술평균과 표준편차이다. 예를 들어서, “당신이 지난 학기에 받은 조사방법론의 학점은? ① 1.0  ② 1.5  ③ 2.0  ④ 2.5  ⑤ 3.0  ⑥ 3.5  ⑦ 4.0  ⑧ 4.5”과 같은 조사는 등간격수준의 측정으로 가능하다.

4) 비례수준의 측정

비례수준의 측정(ratio level measurement)은 측정대상의 속성에 절대적인 영 또는 자연적인 영(absolute or natural zero)을 가진 척도를 가지고 수치를 부여하는 것이다. 비율척도는 등간척도의 성격을 가지면서 거기에 절대적 영이 존재하기 때문에 가감승제(+, -, ×, ÷)를 의미 있게 할 수 있다. 예를 들면, 월 소득이 500만원인 사람은 월 소득이 250만원인 사람보다 소득이 2배가 많다고 할 수 있다.

등간척도로 측정되는 섭씨온도로 20℃와 30℃의 차이는 40℃와 50℃의 차이와 같이 10℃차이이다. 그러나 40℃의 온도는 20℃의 2배라고 할 수 없는 것은 화씨온도로 환산해 보면 104℉와 68℉의 관계에서 알 수 있다. 비례수준 측정(ratio level measurement)의 조건은 총망라성, 상호배타성, 대소관계, 부가성, 두 개 척도지수간 동일비율이고, 사용할 수 있는 통계기법은 기하평균과 변이계수이다.

5) 측정수준 및 척도의 비교

(1) 분석력․민감도․자료분석상의 중요성

낮음

명목 → 서열 → 등간 → 비율

높음

(2) 측정의 어려움

쉬움

명목 → 서열 → 등간 → 비율

어려움

(3) 내포된 가정

총망라성․상호배타성      대소관계       부가성      두 개 측정치간 동일 비율

∥                     ∥             ∥                   ∥

명목척도              서열척도        등간척도             비율척도

(4) 평균의 측정

최빈치             중위수      산술평균          기하․조화평균

∥                ∥           ∥                 ∥

명목척도          서열척도     등간척도           비율척도

3. 측정도구와 척도

1) 척도의 의의

척도(scale)란 논리적으로 또는 경험적으로 서로 연관되어 있는 여러 개의 문항 또는 지표로 이루어진 복합적 측정도구이다. 사회과학분야의 경험적 조사연구에서 “정치적 효능감”, “직무만족”, “역할갈등”, “정치적 민주주의” 등은 단일문항(지표)으로 구성된 간단한 측정도구로는 신뢰도․오류 등의 문제를 측정하기 어려워서 척도를 사용한다.

척도의 필요성은 다음과 같다. 첫째, 척도는 하나의 문장이나 지표로는 제대로 측정하기 어려운 복합적인 개념을 측정할 수 있다. 둘째, 척도는 여러 개의 지표(문항)를 하나의 점수로 나타냄으로써 자료의 복합성을 덜 수 있다. 셋째, 척도를 구성하는 문항은 공통적인 특성을 나타내야 하는데, 척도의 단일차원성을 검증해 볼 수 있다. 넷째, 복수의 지표로 구성된 척도를 사용하면 단일문항(지표)을 사용하는 경우보다 측정의 오류를 줄일 수 있고, 측정의 타당성과 신뢰성을 높일 수 있다.

2) 척도구성의 기본전제

첫째, 이론적으로 어느 한 측정 대상에는 측정하고자 하는 속성을 나타내는 무한한 수의 항목 또는 문항이 존재(infinite items)한다. 무한한 숫자의 문항의 집단을 측정대상에 대한 내용의 모집단 또는 문항의 모집단(universe of items)이라고 한다.

둘째, 측정대상은 그 항목 및 문항의 모집단으로부터 추출된 일정수의 항목 또는 문항표본에 입각하여 측정되는 것이다. 그러므로 척도구성 문항의 대표성 및 타당성을 검토하기 위해서는 문항분석(item analysis), 요인분석(factor analysis) 등의 척도분석이 필요하다.

셋째, 하나의 척도는 단일차원의 연속체(uni-dimensional continuum)를 전제로 한다. 여기에서 단일차원은 척도를 나타내는 문항은 공통적인 속성을 나타내야 한다는 것이고, 연속체는 척도를 대상의 성격․목적에 따라 무한히 많은 카테고리로 나눌 수 있다는 것이다.  각 카테고리에 부여되는 숫자의 의미에 따라 척도는 명목적 성격, 서열적 성격, 등간적 성격, 비율적 성격을 갖게 된다.

4. 척도구성의 방법

기존연구에서 타당성과 신뢰성이 검증된 측정도구(척도)를 찾을 수 없는 경우에는 연구자가 측정도구를 구성하여 사용하여야 한다. 척도구성의 방법에는 서스톤 척도(Thurstone scale), 리커트척도(Likert scale), 거트만척도(Guttman scale), 보가더스척도(Bogardus scale), 평정척도(rating scale), Sociometry, 어의차척도(semantic differential scale), Q방법론(Q-methodology) 등이 있다.

1) 서스톤척도

Thurstone이 제시한 척도(scale)에는 유사등간기법(method of equal-appearing intervals), 1대1 비교법(method of paired comparison), 순차적 등간기법(successive intervals) 등이 있다.

유사등간기법(method of equal-appearing intervals)은 어떤 사실에 대하여 가장 우호적인 태도와 가장 비우호적인 태도를 나타내는 양극단을 등간격으로 구분하여 여기에 수치를 부여하는 등간척도이다. 최종척도의 형태는 여러 개의 문항으로 구성되는데 각 문항마다 특정한 척도값이 부여된다. 측정방식은 해당문항에 동의하면 해당문항의 척도값을 얻게되고 반대하면 0으로 처리한다. 결국 동의한 문항에 대한 척도값을 합산하고 평균하여 해당개념에 대한 측정값을 얻게 된다.

유사등간기법의 구성절차는 의견수집, 평가자의 선정, 평가자에 의한 의견평가의 분류, 문항의 선정과 척도치의 부여 등이다.

첫째, 의견수집은 사실보다 그에 대한 태도를 나타내는 의견을 수집한다. 태도 중에서 특히 한 가지 태도만을 명백히 표현한 것으로 태도는 현재의 태도를 표시해야 한다. 의견을 가장 호의적인 것부터 가장 비호의적인 것까지 다양한 의견을 포함해야 한다.

둘째, 평가자의 선정은 수집한 의견의 객관성을 높이기 위해 다수의 평가자(50~100명)를 선정하여 호의성의 정도를 측정한다.

셋째, 평가자 등에 의한 의견의 평가분류는 평가자들에게 각 문구를 그 호의성에 따라 일정하게 지시된 범주로 동일하게 분류하게 한다(11개 정도). 호의성의 정도에 따라 분류된 각 집단에 적절한 수치를 부여한다.

넷째, 문항의 선정에서 연구자는 척도상의 각 점수를 대표할 수 있는 문장을 몇 개씩 선정하여 척도를 구성한다. 평가자들 사이에 이견이 큰 문항은 제외한다.

다섯째, 척도치의 부여에서 선정된 항목에 대해 각각 중위수를 구하여 그 문항의 척도치로 삼는다. 이것을 순서대로 배열하면 하나의 척도가 된다. 최종척도의 형태는 여러 개의 문항으로 구성되는데 각 문항마다 특정한 척도값이 부여되어 있다.

서스톤척도(Thurstone scale)는 척도치의 순서대로 배열된 항목들을 무작위적으로 뒤섞고, 피조사자로 하여금 자기의 의견․태도에 일치하는 항목을 지적하게 한 다음, 지적된 항목들의 척도치를 합하여 평균을 내어 그 사람의 태도를 평점한다. 서스톤 척도의 문제점은 등간격성의 가정이 비현실적이고, 평가자의 편견이 개입하고, 평가작업에 과다한 비용과 인원이 소요된다는 점이다.

2) 리커트척도

척도구성기법 중에서 가장 실용성이 높고 많이 사용되는 방법이 Likert가 개발한 총화평정법(summated rating scale)이다. 리커트척도(Likert scale)는 여러 개의 문항으로 응답자의 태도를 측정하고 해당항목에 대한 측정치를 합산하여 평가대상자의 태도점수를 얻어내는 척도이다. 하나의 척도에 속하는 어떤 문제도 그것이 타당한 문항이라면 그 척도내의 다른 문장과 고도의 연관성을 가져야 한다는 것을 전제로 하여 그 관련성의 정도(식별능력)에 의해 문항 척도의 타당성을 검사하는 방법에 의해 척도를 구성한다.

즉, 모든 문항은 측정하려는 태도의 변화를 올바르게 반영하여야 하며 이를 위해 각 항목들이 태도의 정도를 나타내는데 있어 서로 고도의 연관성이 있어야 한다. 하나의 개념을 측정하기 위해 여러 개의 문항을 이용하는 척도이므로 문항간의 내적 일관성이 높아야 한다. 따라서 내적 일관성 검증을 통하여 신뢰도가 낮은 문장을 삭제할 필요가 있다.

리커트척도(Likert scale)의 구성절차는 ① 의견의 수집, ② 반응 카테고리(응답범주)의 작성, ③ 응답자에의 적용, ④ 점수환산, ⑤ 문항분석(item analysis), ⑥ 각인의 총점산출 등이다.

첫째, 의견을 수집하고, 반응 카테고리(응답범주)를 작성한다. 각 문항에 대하여 그 쟁점이나 평가대상의 성격에 따라서 찬반태도, 호의적․비호의적, 인정․불인정 등의 정도를 나타내는 카테고리를 둔다. 예를 들어, “언론의 자유는 지금보다 확대되어야 한다.  적극 찬성, 찬성, 보통, 반대, 적극반대”와 같은 조사가 가능하다.

둘째, 응답자에게 적용한다. 많은 응답자(약 500명 정도)에게 각 문항에 대하여 자기의 의견에 부합하는 카테고리를 하나에 체크하게 하여 각 문항에 대한 응답을 받아낸다.

셋째, 각 문항에 대한 응답자의 반응을 점수로 환산한다. 응답카테고리에 대한 평점은 가장 우호적인 것을 높은 점수로 매기고 비우호적일수록 낮은 점수를 매긴다.

넷째, 문항분석(item analysis)을 한다. 문항간의 내적 일관성․상관성을 알아보기 위해 식별능력을 산출하는 것이다. 문항끼리의 내적 일관성 또는 각 문항에 대한 응답과 총점과의 일관성을 파악하여 일관성이 낮은 문항을 버리고, 응답자의 태도를 잘 차별화시키는 문항 즉, 식별능력이 있는 문항만을 선택한다.

다섯째, 각인의 총점을 산출한다. 척도로서 타당한 항목을 가지고 다시 응답자의 총점을 구하면 그것이 그 사람의 태도 측정치이다. 총점은 각 문항에 대한 응답의 평점을 모두 합한 수치이다.

리커트척도(Likert scale)의 장점은 다음과 같다.

첫째, 리커트척도는 서스톤척도와는 달리 평가자를 필요로 하지 않기 때문에 척도구성이 간단․편리하고, 평가자의 주관의 개입을 완전히 배제할 수 있다. 거트만 척도와 비교해 보아도 척도구성이 훨씬 간단하면서 비슷한 결과를 산출하여 유리하다

둘째, 리커트척도는 한 항목에 대한 응답의 범위에 따라 측정의 정밀성을 확보할 수 있다. 서스톤척도는 여러 문항 중에 자신의 의견과 일치하는 어느 한 항목만을 선택하지만, 리커트척도는 각각의 문항이 모두 응답되어야 한다. 이 때 각 문항에 대한 응답치를 5개에서 7, 9, 11개로 늘려가면 그 항목에 대한 응답의 정밀성을 높이게 되어 이를 총화한 척도값은 더욱 정밀해진다.

셋째, 리커트척도는 서스톤척도와는 달리 개별 문항들이 반드시 어떤 쟁점에 대한 태도를 분명히 나타내지는 않더라도, 내적 일관성을 얻을 수 있는 것이면 사용가능하다. 리커트척도는 서스톤척도에 비해 사용할 수 있는 문항의 수가 많아지며 신뢰성이 높아진다.

리커트척도(Likert scale)의 단점은 다음과 같다.

첫째, 리커트척도는 각 항목에 대한 응답자의 태도의 강도가 정확히 일치하기는 힘들며 따라서 엄격한 의미의 등간척도가 되기는 어렵다.

둘째, 리커트척도는 총점이 뜻하는 바가 개념적으로 분명치 못하다. 즉, 점수의 단순한 합계에는 각 항목이 표현한 응답자의 태도의 강도가 묻혀버리기 때문이다.

셋째, 리커트척도는 문항분석의 결과 기술적으로 내적 일관성이 확보되었더라 하더라도 그것이 반드시 이론적 타당성을 담보해 주지는 못한다. 우연히 언론의 자유에 대한 태도와 자연보호에 관한 태도가 일치할 가능성은 상존하는데, 이 경우에 두 항목에 대한 응답을 점수화하여 합한 것은 의미가 없다.

3) 거트만척도

거트만척도(Guttman scale)는 단일차원적 누적척도이다. 거트만척도는 척도를 구성하는 과정에서 문항들의 단일차원성이 경험적으로 검증되도록 설계된 척도이다. 이것은 척도를 구성하는 여러 문항과 응답자가 갖는 총평점의 관계가 누적되고 있다. ‘단일차원적(uni-dimensional)’은 문항이 하나의 잠재적인 차원에 일차원적으로 배열되어 있다는 것이고, ‘누적적(cumulative)’은 강한 태도를 갖는 문항에 긍정적인 견해를 표명한 사람은 약한 태도를 나타내는 문항에 대해서는 긍정적이라는 논리를 적용하여 문항을 배열하는 것이다.

그래서 응답자가 마지막으로 동의한 문장을 알면 그 응답자의 다른 문항에 대한 응답을 예측할 수 있다. 가상적인 완벽한 거트만 척도는 다음과 같다.

문항 ① 이웃에 거주를 허용 ② 같은 사교클럽 가입 허용 ③ 자녀와 결혼 허용  총점

A            ○                       ○                      ○             3

B            ○                       ○                      ×             2

C            ○                       ×                      ×             1

D            ×                       ×                      ×             0

리커트척도(Likert scale)의 구성절차는 ① 척도구성항목을 선정, ② 응답자의 응답을 scalogram 용지에 기입, ③ 재생계수(CR: coefficient of reproducibility)를 구하고, ④ 구성항목을 조정하여 척도를 구성하는 것 등이다.

리커트척도는 연구자가 거트만 척도의 절차에 따라서 만든 척도가 완벽한 거트만 척도와 일치하는 정도, 즉 단일차원성․누적성의 가정에 얼마나 부합하는가를 검증한다. 리커트척도는 재생계수를 통하여 그 정도를 파악한다. 재생계수가 1일때, 완벽한 척도구성가능성(scalability)을 가지며, 보통 재생계수가 최소한 0.90은 되어야 바람직한 거트만 척도이다.

재생계수 ＝ 1 －〔응답의 오차수/(문항수×응답자수)〕

4) 보가더스척도

보가더스척도(Bogardus scale)는 Emory. S. Bogardus가 개발한 것으로 사회 제집단간의 거리, 즉 사회관계에 있어서 인간 상호간에 느끼는 이해와 친근의 정도를 측정하는데 사용되는 척도이다. sociometry가 개인을 중심으로 하여 집단 내 개인의 친근관계 측정하는 것이라면, 보가더스척도는 미국내 4개의 소수인종 집단에 대해 미국인이 가지고 있는 사회적 거리감을 조사하는 것이다.

보가더스척도의 적용방법은 다음과 같다. ① 사회적 거리를 표시하는 많은 의견을 조사한다. ② 평가자에게 사회적 거리가 가장 먼 것으로부터 가까운 순서대로 배열시킨다. ③ 이때 식별능력이 없는 것, 위치가 불투명한 것은 제외하고 가능하면 등현간격에 있는 항목을 선정하여 척도로 한다.

<표> 보가더스척도의 적용례

	영 국 인	스웨덴인	네델란드인	한 국 인
결혼하여 가족성원으로 받아들이는 일
개인적 친구로 클럽에 받아들임
이웃으로 우리 동네에 받아들임
같은 직장인으로 받아들임
우리나라의 국민으로 받아들임
우리나라의 방문객으로 받아들임
우리나라에서 추방

위의 문항에서 얻은 점수로 인종간거리계수를 계산하는데, 예를 들어 100명의 미국인 중 77명이 문항 1에서 영국인을 받아들이겠다고 하고 나머지 23명이 문항 2에 답했다고 하면, 척도치는 각각 1과 2를 주고 다음과 같은 계수의 값을 얻을 수 있다.

RDQ ＝ ꍔ(1×77)＋(2×23)ꍕ/100 ＝ 1.23

보가더스척도는 ① 각 척도를 하나의 사회적 거리라는 연속성의 순서에 따라 배열한다. ② 각 점간의 등간격을 가정한다. 그러나 단순히 사회적 원근의 순위만을 표시하는 것이지 한 민족이 다른 민족보다 그 수치만큼 친밀하다고는 말할 수 없다. ③ 평점의 기준이 없다. ④ 신뢰도는 재검사법을 사용하고, 타당도는 집단비교법을 활용하는데, 적용범위는 넓지만 척도로서는 조잡하다.

5) 평정척도

평정척도(rating scale)는 평가자가 측정대상 또는 피조사자의 어떤 속성을 단일연속선상에 배열하기 위하여 일정기준에 입각하여 그 대상의 속성에 일정수치를 그 속성의 강도에 따라 부여하든지 또는 몇 개의 카테고리로 구별하여 만든 척도이다. 학생의 성적을 수․우․미․양․가로 평가하는 경우나 행정현실에서 근무성적의 평정과 관련된 경우이다.

평정척도의 특성은 다음과 같다.

첫째, 평정척도는 일단의 평가자가 연구대상으로서의 문제의 적합성을 검토하고 문항간의 상대적 가치를 정하도록 하는 평가자 척도라는 측면에서 문항 사이에 존재하는 상관관계에 따라 척도를 구성하는 리커트 척도 등의 구조적 척도와 구별된다.

둘째, 평정척도는 평가자 척도라는 점에서는 평위척도와 같다. 그러나 평위척도는 자극상호간을 비교함으로써 이미 주어진 기준에 비추어 평가하지만, 평정척도는 이미 주어진 기준에 비추어 평가한다.

셋째, 평정척도는 기타의 다른 척도와 같이 측정대상의 속성, 그 연속성을 고려하는 이외에 평가자 척도라는 점에서 평가자의 문제를 고려해야 한다.

평정척도에서 일반적으로 평가자가 많을수록 평정은 정확해지고 신뢰도는 높아진다. 그러나 신뢰도는 증가하나 반드시 타당도가 증가하는 것은 아니다. 또 평정척도에서 평가자의 자질문제는 주로 척도의 타당성 문제와 관계된다. 연구문제에 대해 전문적 지식을 가진 사람을 선택하는 것이 좋다. 전문가로 선정하기 어려울 때에는 피조사자의 모집단에서 표본을 추출하여 평가자로 하는 경우도 있다.

평정척도의 종류에는 도표식 평정척도, 수적 평정척도, 기술식 평정척도가 있다. 도표식 평정척도(graphic rating scale)는 일정도표에 기술이 부가된 척도로서 가장 많이 사용한다.

“그는 직무수행시 창의성이………”, “┌─────┬────┬───┬───┐

대단히 있다    있다    보통이다  없다  전혀 없다”

수적 평정척도는 평가자들이 측정대상의 속성의 강도에 따라 일정 척도점을 부여하거나 어떤 카테고리를 선택한 경우 이에 일정 수치를 부여하여 그 결과의 통계적 처리를 용이하게 할 수 있다. 예를 들어, “그는 직무수행시 창의성이………

⑤ 대단히 있다(  )  ④ 있다(  )  ③ 보통이다(  )  ② 없다(  )  ① 전혀 없다(  )”

기술식 평정척도는 도표를 사용하지 않고 점수를 부여하던가 카테고리를 등의 기술만을 사용한다. 예를 들어, “그는 직무수행시 창의성이………

대단히 있다(  )  있다(  )  보통이다(  )  없다(  )  전혀없다(  )”

신뢰성의 측정에서 재조사법이 가장 적합하고 복수양식법도 적용할 수 있다. 일반적으로 평가자의 수가 많을수록, 판별해야 할 수가 적을수록 신뢰도는 높아진다. 타당성의 측정에는 어떤 방법을 사용해도 좋다. 타당도를 높이려면 다른 척도와 같이 명확한 연속성의 규정이 전제되어야 하며, 특히 평가자의 자질이 중요하다.

평정척도의 장점은 다음과 같다. 첫째, 척도의 구성이 용이하다. 둘째, 시간과 비용이 절약된다. 셋째, 작용범위가 넓고 신축적인 적용이 가능하다. 그러나 평정척도는 평가자들의 주관적인 판단에 의존한다는 점에서 단점이 있다. 첫째, 연쇄화경향(halo effect)으로 평가자의 최초 평정의 결과가 이후 문제의 평정에 연쇄적으로 영향을 미친다. 둘째, 관대화경향(error of leniency)으로 평가자가 어떤 특정인에게 나쁜 감정을 갖는 경우가 아니면 대부분 관대하게 평정하여 원만하게 처리하려 한다. 셋째, 집중화경향(error of central tendency)으로 가장 무난하고 원만한 평정으로 척도의 중간점을 선택한다. 넷째, 평정자가 자신의 특성과 반대, 대조되는 특징을 상대방에게서 찾아내어 그것을 부각시키는 대조오류가 있다.

평정척도의 한계점을 극복하기 위한 방안이 있다.

첫째, 평정척도는 평정하고자 하는 내용을 분명히 하고 평정대상집단을 명시하여 공통적인 준거틀(frame of reference)을 사용해야 한다. 둘재, 응답의 보기를 구체적으로 제공한다. 셋째, 평정자의 훈련을 통해 훈련자의 자질을 향상시킨다. 넷째, 관대화경향이나 집중화경향을 극복하기 위해 강제배분의 방법을 사용한다.

6) Sociometry

Sociometry는 J. L. Moreno가 발전시킨 것으로써 인간관계에서 집중화 경향을 측정한 방법이다. 이것은 집단구성원간의 친화와 반발을 조사하여 그 빈도와 강도에 따라 집단구조를 이해하는 척도이다. 조화된 인간관계를 가능케 하는 개인을 형성하고 그 집단의 협동 분위기를 제고하여 능률적 조직을 형성하려는 목적을 가진다.

소시오메트리의 시행절차는 ① 목적규정, ② 질문작성, ③ 실제적용, ④ 결과분석의 순서로 한다. 첫째, 목적을 규정한다. 일상적인 교제를 알기 위한 것인가 또는 업무측면의 인간관계인가 등 집단의 인간관계의 어떤 면에 소시오메트리를 적용할 것인지의 목적을 명확히 규정한다. 둘째, 질문의 방향을 결정하고, 목적에 적합한 질문을 작성한다.

셋째, 개별면접이나 집합조사로 실제적용을 한다. 여기에서 익명성에 관한 문제가 발생하는데, 응답자가 조사자에게 응답내용을 알리고 싶지 않은 경우에 신뢰하도록 강구하고, 응답자 상호간에 알리고 싶지 않은 경우에는 응답자의 이름 대신 번호나 기호를 사용한다.

넷째, 결과를 분석한다. 결과분석의 방법에는 sociometric 행렬, Sociogram, Sociometric 지표 등이 있다. sociometric 행렬(Sociometrix, N×N표)은 피조사자의 배열에 있어 순서․등위를 고려하지 않고 한 사람의 다른 사람(N－1)에 대한 응답을 해당칸에 적고 종열․횡렬을 합계하면 각 구성원이 선택하고 선택받은 수를 계산할 수 있다. Sociogram은 구성원간의 선택․배척을 각종 선으로 표시하여 알기 쉽게 도표로 나타내는 방법이다. sociometric 지표(indices)는 소시오메트릭 자료에서 나온 계산된 단일수치들, 선택지위지수(choice), 집단확장성지수(group expansiveness), 집단응집성지수(group cohesiveness) 등이 있다.

소시오메트리에서 신뢰도의 검증은 재검사법을 사용한다. 그러나 재검사법은 이번 조사를 기억하거나 집단 자체의 변동으로 척도 자체의 신뢰성 평가가 곤란하다. 타당도는 사례연구나 관찰 등 독자적 기준에 의거하는 경우에도 행동과 언어가 반드시 일치하는 것은 아니므로 구두표현에 의존하는 sociometry와 실제행동을 다루는 관찰의 결과가 다를 수 있다.

소시오메트리의 용도는 ① leadership, ② 사회적 적응, ③ 사회적 지위, ④ 사기, ⑤ 집단구조 등을 측정할 수 있다. 첫째, 소시오메트리는 실질적 지도자를 찾아낼 수 있고 그 집단의 분파와 세력의 정도를 측정할 수 있다. 둘째, 소시오메트리는 집단구성원과의 상호작용의 유형을 통해 개인의 사회적응도를 평가할 수 있다. 고립형이나 배척형은 사회적 적응도가 낮다고 할 수 있다. 셋째, 소시오메트리는 선택과 배척을 사용하여 사회적 지위를 측정할 수 있다. 넷째, 소시오메트리는 집단간의 친화감정, 개인의 피선택빈도로서 사기를 측정할 수 있다. 다섯째, 소시오메트리는 하위집단, 의사소통의 통로, 그 집단의 파벌의 결속력, 집단의 공식적, 비공식적 관계 등 집단구조를 알 수 있다.

소시오메트리의 장점은 다음과 같다. 첫째, 소시오메트리는 비교적 경제적이며 자연적이고 단순성 및 신축성을 갖는다. 둘째, 소시오메트리는 집단의 진단, 개인의 지위 등 인사행정과 관련하여 폭넓은 적용범위를 갖고, 높은 계량화 가능성이 있다.

그러나 소시오메트리는 다음과 같은 단점이 있다. 첫째, 소시오메트리 자체의 문제점으로 시간적, 공간적 제약이 있다. 적용대상의 범위가 다소나마 인격적 접촉이 있는 심리적 집단이어야 하고, 통계처리상 많은 사람에게 적용할수록 선택의 수를 줄여야 한다. 둘째, 소시오메트리는 방법을 사용하는 사람에 대한 문제점이 있다. 사용자들은 그 측정의 신뢰도․타당도 문제를 고려하지 않은 채 결과를 그대로 받아들이는 경향이 있고, 조사대상에 대한 체계적인 이론적 검증을 결여하는 경향이 있으며, 소시오메트리의 적용상 기준과 그 자료의 처리에 있어 소홀히 하는 경향이 있다.

7) 어의차척도

어의차척도(semantic differential; SD)는 C. Osgood, Suci가 개발한 척도로써 일직선으로 도표화된 척도의 양극단에 서로 상반되는 형용사로 배열하여 양극단사이에서 해당 속성에 대한 평가를 하는 척도이다. 이것은 여러 차원에 대한 평가를 하고 비교하는데 편리한 척도로써 일정한 대상, 특히 일정한 개념이 갖는 본질적인 뜻을 파악, 측정하는 방법이다. 현재 한 사회내의 구성원이 갖는 일정개념에 대한 인식상태뿐만 아니라 다른 문화의 사회성원간의 일정개념에 대한 인식상태의 비교평가와 시간을 초월한 비교분석도 가능하다.

어의차척도는 개념과 척도를 선정해야 한다. 개념선정은 최초의 단계를 양극 형용사 척도와 더불어 측정개념을 평가하게 될 일정한 개념 또는 평가기준의 선정이다. 각개의 적절한 양극형용사 척도의 선정은 측정대상에 대해 선정된 평가개념을 적절히 평가할 수 있는 양극 형용사의 각 쌍을 선정하는 것이다.

어의차척도의 선정기준은 적합성과 차원의 대표성이다. 적합성은 그 평가개념을 충분히 측정할 수 있는 타당성을 가져야 한다. 예를 들어서 “어머니”라는 평가개념에 대해 좋다-나쁘다, 젊다-늙었다 등이 그것이다. 차원의 대표성은 각각의 양극 형용사 척도가 몇개의 차원을 대표하도록 할 것이냐의 문제이다. 평가차원은 ‘좋다, 나쁘다, 아름답다, 밉다 등’이고, 행동차원은 ‘빠르다, 느리다, 적극적이다, 소극적이다 등’이고, 능력차원은 ‘크다, 작다, 강하다, 약하다 등’이다.

어의차척도는 척도의 양끝에 서로 반대가 되는 한 쌍의 형용사를 배치하고 응답자들에게 응답에 가장 가까운 점을 선상에 표시하도록 하는 것이다. 이렇게 만들어진 척도를 사용하여 연속적인 질문이나 대안들을 응답자들에게 제시함으로써 개념의 의미를 정의하고 전체적인 이해를 얻고자 한다. 어의차척도는 사물이나 개념을 응답자의 응답의 강도에 따라 7부분으로 나누어 분석하므로 7점 척도라 한다.

어의차척도의 장점은 다양한 연구문제에 적용하여 특히 연구대상을 비교하는 데 유용하며, 여러 연구목적에 부합하는 타당성 있는 분석방법이라는 점이다. 또 신속성과 경제성이 있으며, 가치와 태도의 측정에 있어 훌륭한 도구 역할을 한다.

어의차척도의 단점은 다음과 같다. 첫째, 어의차척도는 실제 애매한 경우가 많아 올바른 평가자 집단을 구하는 게 어렵다. 둘째, 어의차척도는 적절한 개념 또는 판간의 기준을 어떻게 선정하느냐의 문제가 있다. 셋째, 어의차척도는 각 문항에 대한 수치부여는 등간격성을 내용으로 하는데, 엄밀히 말해 등간격성이 보장되는지는 의문이다. 넷째, 어의차척도는 똑같은 척도를 사용하여 어떤 개념을 시간․장소를 달리하여 측정하면 다른 측정치가 나올 수 있다.

8) Q방법론

Q방법론(Q-methodology)은 W. Stephenson이 제시한 Q분류법(the Q-sort)이다. Q방법론은 서스톤 척도법을 변형한 것으로 여러 개의 문장 또는 진술들을 제시하고 이것을 응답자들이 9-11개의 무더기로 분류하도록 한다. Q방법론은 서스톤척도와 같이 평가자가 어떤 기준에 따라 각 문장의 순위를 정하는데 목적이 있는 것이 아니라 직접 응답자의 태도를 알아보기 위한 것 즉, 응답자가 문장들을 분류하는 유형자체가 그 사정의 태도 또는 기타 속성의 척도상의 위치를 밝혀주는 분석의 자료가 된다.

Q방법론은 각 범주에 분류할 문장의 숫자를 대체로 정상분포가 되도록 미리 지정해 주는 것이 특징이다. 분석을 위한 범수는 －5~＋5의 범위로 중립적인 태도에는 0점을 준다. 예를 들어서 100명이 분류에 참여시 100개의 순위유형이 나온다. 이를 상관시켜 요인분석을 하여 이들 문장이 담고 있는 태도의 차원을 가려내는 절차를 밟는다. 정치적 태도, 자아상, 타인에 대한 이미지 등을 다루는데 활용할 수 있다.

Q방법론은 각 개인별로 조사를 한 후에는 각 문항의 점수를 개인별로 비교하여 상관분석 등을 통하여 개인간 유사성이 따라 응답자를 분류하는데, 리커트 척도와 달리 측정치의 총점이 아니라 응답자들간의 측정치의 유사성에 주안을 둔다. Q방법론은 시간이 적게 들고 여러 분석방법을 이용할 수 있지만, 문항수와 응답자 수가 늘어나면 처리가 곤란하고 비용이 과다하게 소요된다. 또 강제로 각 소집단에 적정숫자를 지정하였을 때, 과연 이 응답항목들로부터 측정하고자 하는 자극이나 태도가 대표성이 있는가의 문제가 있다.

5. 측정의 타당성

1) 타당성의 개념

타당성(validity)은 추론절차의 올바름을 뜻한다. 즉, 그것은 추론을 구성하는 개개 명제의 진위(眞僞)와는 확연히 구별되며, 추론의 형식적 올바름을 뜻하는 개념이다. 넓은 의미에서 타당성은 명제 또는 명제 체계의 어떤 의미로서의 가치에 관계된다.

타당성은 측정하고자 하는 개념이나 속성을 얼마나 실제에 가깝게 정확히 측정하고 있는가의 정도이다. 측정의 타당성은 해당 변수가 연구하고자 하는 개념을 잘 대표하고 있는지를 검증한다. 이것은 측정한 개념이나 속성을 측정하기 위해서 개발된 측정도구가 해당 속성을 얼마나 정확하게 반영하느냐의 정도를 나타내므로 결국 측정개념이나 속성에 대한 개념적․조작적 정의의 타당성을 의미한다.

2) 타당성의 종류

(1) 내용타당성

내용타당성(content validity)은 논리적(logical)․액면(face) 타당성이다. 내용타당성은 측정 도구 자체가 측정하고자 하는 속성이나 개념을 측정할 수 있도록 되어있는가를 평가하는 것이다. 이것은 측정도구가 측정대상이 가지고 있는 무수한 속성들 중의 일부를 대표성 있게 포함하고 있으면 그 측정도구는 내용타당성이 높다. 내용타당성을 확보하려면, 측정도구의 모든 방법을 나열하여 무작위표출하고, 측정도구의 내용을 정확히 하며, 측정도구가 순서대로 이루어지는 경우 순서를 일정하게 해야 한다. 예를 들어서 4지선다형의 시험을 본다면, 반드시 정답이 그 안에 포함되어야 한다.

내용타당성의 평가방법은 전문가의 주관적인 판단(judgement)에 의존하는 것이다. 예를 들어서 A행정학 교수가 행정학 객관식 문제를 출제하였을 때, 행정학 객관식 문제의 모집단은 이론적으로만 존재하고 실제는 존재하지 않으므로 문항의 모집단에서 무작위표출을 통해 시험문제를 구성하는 것이 불가능하다. 따라서 전문가인 동료교수에게 시험문제의 내용을 평가하게 한다.

내용타당성은 통계적인 절차를 사용하지 않고 직접 이용할 수 있으며, 적용이 용이하고 시간이 많이 소요되지 않는다는 장점이 있다. 그러나 조사자의 주관적 해석과 판단에 의존하므로 판단에 오차나 착오가 발생할 수 있고, 측정하려는 속성과 항목간의 상관관계를 파악할 수 없고 통계적 검증이 어렵다는 점이 단점이다.

(2) 기준타당성

기준타당성(criterion-related validity)은 통계적인 유의성을 평가하는 것으로서 어떤 측정도구와 측정결과인 점수간의 관계를 비교하여 타당도를 파악하는 방법이다. 이것은 이미 타당성이 검증된 기준과 관련시켜서 타당성을 검증하기 때문에 경험적 타당성 또는 이해타당성(nomological validity)이라고 한다. 예를 들어서 공무원 채용시험의 타당성 평가는 시험성적을 채용 후 근무성적과 비교하여 근무성적이 채용시험의 타당성을 평가하는 기준이 된다.

기준타당성에는 예측적 타당성과 동시적 타당성이 있다. 예측적(predictive) 타당성은 평가기준변수가 미래의 시점이다. 이것은 어떤 검사의 결과가 예측한 값과 실제 대상자가 나타낸 행위와의 관계를 측정하므로 가장 신뢰성이 없는 방법이다. 예측적 타당성의 문제점은 측정도구가 어떤 속성을 완전히 측정했다는 것을 증명할 수 없고, 관련 기준의 타당성의 문제가 있고, 기준의 사용이 기술적으로 곤란하며 기준이 보수적이라는 점이다. 동시적(concurrent) 타당성은 현재의 상태를 나타내는 것이다. 이것은 예측적 행위의 점수가 실제 실현된 행위와 동시에 획득되는 것이다.

기준타당성은 측정도구를 적용하여 얻은 값과 기술변수를 적용하여 얻은 측정값에 대한 상관분석을 실시하여 평가하는데, 상관계수 값이 크면 기준타당성이 높다. 기준타당성은 좋은 기준을 얻기가 어렵고, 기준으로 사용하는 속성을 정의하기가 어려우며, 측정에 사용되는 비용이 과다하다는 문제점이 있다.

(3) 구성개념타당성

추상화의 정도가 높은 개념을 구성개념이라 하는데, 연구자가 측정하고자 하는 추상적 개념이 실제로 측정도구에 의하여 제대로 측정되었는지의 정도를 구성개념타당성(construct validity)이라고 한다. 이것은 연구에 사용된 이론적 구성개념과 이를 측정하는 측정도구, 측정수단들간의 일치의 정도이다.

구성개념타당성에는 수렴적 타당성과 차별적 타당성이 있다. 수렴적(convergent) 타당성 은 집중타당성이다. 이것은 같은 개념을 측정하는 경우에는 상이한 측정방법을 사용하더라도 그 측정값은 하나의 차원으로 수렴해야 한다. 예를 들어서 주관식 시험이나 상호토론을 하였을 경우에 모두 상관관계가 높은 경우이다. 차별적(discriminant) 타당성은 판별타당성이다. 이것은 상이한 개념을 측정하는 경우에는 상이한 측정방법을 사용하더라도 그 측정값 사이에는 차별성이 나타나야 한다. 예를 들어서 진보주의와 보수주의를 측정하는 경우이다.

구성개념타당성의 평가방법에는 다속성 다측정방법 행렬분석, 요인분석과 논리적 구성타당도가 있다. 다속성 다측정방법 행렬분석(multitrait-multimethod matrix)은 Campbell과 Fiske가 제안한 것으로써 2개 이상의 개념에 대해 측정할 수 있는 도구를 각각 2개 이상 개방하고 수렴적 타당성과 차별적 타당성을 동시에 평가하는 방법이다.

요인분석(factor analysis) 방법은 다수의 상호관련된 변수․문항들을 보다 제한된 수의 자원이나 공통요인으로 분류하는 통계분석기법이다. 요인분석의 기본원리는 항목들간의 상관관계가 높을 것끼리 하나의 요인으로 묶어내며, 요인들간에는 상호독립성을 유지하도록 하는 것이다. 하나의 요인으로 묶여진 측정항목들은 하나의 개념을 측정하는 것으로 간주할 수 있고, 요인간에는 서로 상관관계가 없으므로 각 요인들은 서로 상이한 개념이 된다. 요인내의 항목들은 수렴적 타당성에 해당되며 요인간에는 차별적 타당성이 적용되는 것으로 해석할 수 있다.

논리적 구성타당도는 이론적 근거하에 구성(개념)들간의 관계가 예상한대로 나타나고 있는지의 여부를 평가하여 구성타당도를 평가하는 방법이다. 이것은 구성원들간의 관계가 너무 높은 상관관계를 보이면, 해당 구성원들은 동일한 구성이 될 수 있다는 점에 유의해야 한다.

3) 측정도구의 타당화 방법

측정도구의 타당화 방법에는 논리적 타당화, 전문가 의견법, 기지집단법, 독립기준법 등이 있다. 논리적 타당화(logical validation)는 가장 널리 사용되는 방법으로 외관적 타당화(face validation)이다. 이것은 측정도구의 항목을 이론적․상식적으로 분석하여 타당도를 확보하는 방법으로 측정하고자 하는 면을 정확하게 규정하고 항목을 조심스럽게 선택하여 자동적으로 이루어진다.

전문가 의견법(jury opinion)은 논리적 타당화의 연장으로서 측정도구가 측정하고자 하는 문제에 관한 전문가의 논리적 판단에 근거하여 타당도를 확보하는 방법이다. 기지(旣知)집단법(known group)은 이미 그 태도와 특징을 알고 있는 집단에 측정도구를 적용하여 이들의 태도와 특징을 충분히 식별해 내면 그 측정도구를 타당도가 있는 것으로 평가하는 방법이다. 독립기준법(independent criterion)은 어떠한 독립적인 기준에 입각하여 측정도구의 타당성을 검사하는 방법이다. 이것은 측정대상에 독립적인 한 개의 기준이 존재하고 있는 경우는 드물기 때문에 보통 측정도구의 기초가 되는 몇 가지 기준을 사용하여 측정도구의 타당도를 검사하는 방법이다.

6. 측정의 신뢰성

1) 신뢰성의 개념

신뢰성(reliability)은 측정도구가 측정하고자 하는 현상을 일관성 있게 측정하는 능력 또는 동일한 개념에 대해 측정을 반복했을 때 동일한 측정값을 얻을 가능성이다. 이것은 보통 측정의 안정성․일관성․예측가능성․정확성 등이 내포된 개념이다. 신뢰도는 동일한 상황에서 동일한 관찰 절차가 동일한 정보를 창출하는 정도이다. 신뢰도는 얼마나 정확하게 오차 없이 측정하고 있느냐와 관련되는 개념이다.

일반적으로 신뢰도는 같은 대상에 대해 2번 측정해서 얻은 2개의 측정치 사이에 어느 정도 일관성이 있느냐는 뜻으로 해석되기도 한다. 이 신뢰도의 정도를 표시하는 신뢰도 계수는 진(眞)점수의 변량에 대한 관찰 점수의 변량의 비(比)로 나타낸다. 첫째, 신뢰도는 측정도구가 갖는 측정오차의 크기에 반비례한다. 둘째, 동일대상을 반복하여 측정할 때 측정도구의 측정오차가 클수록 측정도구의 신뢰성이 떨어지게 된다. 셋째, 실제 측정값을 참성분(true)과 오차성분(error component)으로 구분할 때 참성분의 비중이 클수록 신뢰도는 높다.

2) 신뢰도의 추정방법

구체적으로 신뢰도를 측정하는 방법에는 재검사법, 내적 일관성분석, 반분도법, 복수양식법 및 크롬바하의 알파 계수법 등이 있다.

(1) 재검사법

재검사법(test-retest method)은 동일한 측정도구를 이용하여 동일한 상황에서 동일한 대상에게 일정기간을 두고 반복 측정하여 최초의 측정치와 재측정치가 동일한지의 여부를 평가하는 방법이다. 이것은 장기간 변하지 않는 태도의 측정, 하나의 개념을 하나의 항목으로 측정할 때 이용될 수 있는 방법이다. 재검사 신뢰도는 1개의 평가도구 또는 검사를 같은 집단에게 2회 실시해서 전후의 결과에서 얻은 점수를 기초로 하여 상관계수를 산출하는 방법이며, 이것은 곧 전과 후의 점수 사이에 어느 정도의 안정성이 있느냐를 보는 관점이기 때문에 안정성 계수라고도 한다.

재검사법의 측정간격은 시험효과를 고려하여 보통 2주 정도로 한다. 재검사법은 측정도구 자체를 직접 비교할 수 있고 적용이 간편하지만, 검사요인, 성숙요인과 역사요인이 작용하기 때문에 이 방법을 신뢰도 추정의 유일한 방법으로 사용하기는 곤란하며 보완이 필요하다. 여기에서 검사요인효과는 처음 측정이 재검사점수에 영향을 미치는 효과이고, 성숙요인효과는 측정간격이 길 때에 조사대상집단의 특성변화에 따른 효과이고, 역사요인효과는 측정기간 중에 발생한 사건의 영향을 말한다.

(2) 반분법

반분법(split-half method)은 측정도구를 임의로 반으로 나누어 각각을 독립된 척도로 보고 이들의 측정결과를 비교하는 방법이다. 이것은 동일한 개념에 대해 여러 개의 문항으로 측정을 하는 경우에 무작위로 측정도구를 두 집단으로 나누고 이들 측정치간의 상관관계를 분석하는 방법이다.

반분신뢰도(split-half reliability)는 동질성 계수를 보는 방법이다. 이것은 1개의 평가도구 또는 검사를 한 피험집단에게 실시한 다음 그것을 적절한 방법에 의해 두 부분의 점수로 분할하고 이 분할된 두 부분을 독립된 검사로 생각해서 그 사이의 상관을 계산하는 방법이다. 이 방법은 재검사 신뢰도가 부적당할 때, 또 동형검사를 만들기가 어려울 때 쉽게 사용할 수 있는 방법으로 많이 이용된다.

반분법의 전제조건으로 측정도구의 동질성(homogeneity)이 확보되어야 한다. 즉, 측정도구가 같은 개념을 측정한다는 것이 명백해야 한다. 또 양분된 측정도구의 문항․항목수는 그 자체가 완전한 척도를 이룰 수 있을 만큼 충분해야 한다. 반분된 항목수는 적어도 8~10개는 되어야 한다. 그러나 반분법은 항목을 나누는 방식에 따라서 신뢰도 계수의 측정치가 달라지고, 전제요건을 충족하기가 어렵다는 단점이 있다.

(3) 내적 일관성분석

내적 일관성분석(internal consistency analysis)은 반분법이 지니는 문제점이 단일의 신뢰도 계수를 구할 수 없다는 점에 착안하여 동일한 개념에 대해 여러 개의 항목으로 구성된 척도를 이용할 경우에 해당문항을 가지고 할 수 있는 한 가능한 모든 반분신뢰도를 구하고 이의 평균치를 산출하여 신뢰도를 측정한다. 그 계수를 Cronbach의 α값이라고 한다. 그 값은 적어도 0.60은 넘어야 만족수준이 된다.

Cronbach는 논문형 문항과 같이 1개의 문항이 여러 단계의 점수로 채점되는 경우에도 사용할 수 있도록 일반화 계수로서 알파계수 방법을 제안하고 있으며 흔히는 급내상관(intraclass correlation)이라고도 한다. 이러한 Cronbach의 알파계수는 검사의 신뢰도 계수의 기초인 상관계수가 갖는 단점 및 호이트가 제안한 변량분석의 한계를 극복하고 모든 제약으로부터 해방시키는 방법이다.

내적 일관성분석은 동일한 개념을 측정하는 항목인 경우에 그 측정결과에 일관성이 있어야 한다는 논리에 따라 일관성이 없는 항목, 즉 신뢰성을 저해하는 항목을 배제한다. 이것은 유일한 신뢰도 계수를 구할 수 있으므로 현실적으로 가장 많이 사용한다.

(4) 복수양식법

복수양식법(multiple forms techniques)은 평행(parallel), 대안(alternative)양식법이다. 복수양식법은 동일한 개념에 대해 2개 이상의 상이한 측정도구를 개발하고 각각의 측정치간의 일치여부를 검증하는 방법이다. 이것은 측정도구에 포함된 항목이나 문장들이 어떤 측정대상의 모집단의 한 표본에 지나지 않는다는 논리에 근거한다.

신뢰도는 미리 2개의 동형검사를 제작하고 그것을 같은 피험자에게 실시해서 두 동형검사에서 얻은 점수 사이의 상관을 산출하는 방법이며, 이것을 동형성 계수라고도 한다. 복수양식법은 척도간의 동등성(equivalence) 확보가 어렵고, 신뢰성이 낮은 경우에 실제 신뢰도가 낮은 것인지 동등성이 확보되지 않아서 애매하며, 두 가지 측정도구가 유사해지면 시험효과가 나타날 수도 있다는 단점이 있다.

3) 신뢰도의 제고방안

첫째, 측정도구의 모호성을 제거한다. 측정도구를 구성하는 문항을 분명하게 작성한다.

둘째, 측정항목을 늘린다. 문항간의 상관관계가 유사한 경우 항목의 수를 늘리면 측정도구의 신뢰도는 높아진다. 표본의 수를 늘리면 측정값이 평균을 중심으로 정규분포를 이루는 것과 같은 원리로서 측정항목이 많아지면 측정값들의 평균치는 측정하고자 하는 속성의 실제값에 가까워지게 된다.

셋째, 측정자의 태도와 측정방식의 일관성이 유지되어야 한다. 어떤 요인의 측정의 신뢰도를 떨어뜨리는 가를 알기 위해 측정상황 자체를 분석한다.

넷째, 조사대상자가 무관심하거나 잘 모르는 내용은 측정하지 않는 것이 좋다. 사전에 신뢰도가 검증된 표준화된 측정도구를 이용하는 것이 바람직하다.

7. 신뢰도와 타당도의 영향요인

타당성이 있는 측정은 항상 신뢰성이 있고, 신뢰성이 없는 측정은 타당도가 없다. 즉, 측정도구의 신뢰도가 타당도에 비해 확보하기가 용이한 이점이 있기는 하지만, 일반적으로 타당도의 수립이 보다 더 가치가 있다. 타당도와 신뢰도에 영향을 미치는 요인에는 검사도구, 환경적 요인, 개인적 요인과 조사자의 해석 등이 있다.

1) 검사도구

타당도와 신뢰도에 영향을 미치는 검사도구에는 측정의 길이, 문화적 요인, 직문유형과 기계적 요인 등이 있다. 첫째, 측정의 길이는 질문이 길어져 조사대상자가 실증을 느끼면 편의주의적․형식적 응답이 발생하는 경우이다. 둘째, 문화적 요인은 관례상 사용하지 않는 단어나 구절이 포함되었을 때의 문제이다. 예를 들어, 냉장고 대신 아이스박스를 사용하고 있을 경우의 문제가 있다. 셋째, 개방형 질문인가 폐쇄형 질문인가의 문제가 있다. 개방형 질문은 응답자의 능력이나 교육수준의 영향을 받는다. 넷째, 기계적 요인은 대인면접에서 조사자가 임의로 조사하거나 질문지의 탈자, 오자, 읽기 어려운 단어나 페이지의 누락 등으로 오해를 유발하는 경우이다.

2) 환경적 요인

환경적 요인으로 측정도구를 완성하는데 필요한 제시의 명백성, 대인면접과 자기기입식 질문지는 타당도와 신뢰도에 영향을 미친다.

3) 개인적 요인

개인적 요인으로 응답자의 직업, 소득, 교육수준 등 사회․경제적 지위(social economical status; SES), 성별, 연령, 성숙도, 기억력, 사회적 요청 등은 타당도와 신뢰도에 영향을 미친다. 특히 응답자들은 자신들의 진실을 밝히기보다는 사회적으로 바람직하다고 하는 것을 응답할 가능성이 많다. 또 부호화(coding)에서 조사자의 해석이 문제가 될 수 있다.