<실험적 조사설계>

1. 실험적 조사설계의 개념

실험조사란 인과관계에 대한 가설을 검증하기 위해 변수를 조작․통제하여 그 조작의 효과를 관찰하기 위한 방법이다. 실험조사를 기본적으로 실험집단과 통제집단 및 자극의 3가지 요소로 이루어진다. 즉 인과관계를 추리하기 위하여 실험집단과 통제집단으로 나누고 실험집단에 자극을 가하여 나타난 결과를 통제집단과 비교하여 보는 것이 일반적인 원리이다.

2. 변수의 통제를 위한 사전작업

실험조사에서 조사대상을 실험집단과 통제집단으로 나누기 이전에 보고자 하는 변수를 찾아내어야 한다. 물론 이 변수는 연구주제와 밀접한 관련을 가지며 연구자에 의해서 결정된다. 이러한 변수를 찾기 위하여서는 문헌조사, 경험자조사, 조작적 정의와 재개념화의 방법을 사용하여 어떤 변수가 개입하였는가를 찾는 방법, 사회이론과 연관시켜 변수를 찾는 방법, 예비조사(pilot study)를 통하여 변수를 찾아내는 방법 등을 사용할 수 있다.

3. 실험설계의 구성요소

1) 비교(comparison)

비교의 과정은 공동변화 또는 상관관계를 살펴보기 위하여 필요하다(공동변화의 입증). 즉, 비교는 두 변수 사이에 상관관계가 존재하는지를 입증하기 위하여 필요한 작업이다.

2) 실험변수의 조작(manipulation)

인과성의 관념 속에는 만약 X가 Y의 원인이라면, X의 변화를 유도할 때 Y의 변화가 뒤따른다는 뜻을 함축하고 있다(시간적 선행성의 입증). 양자간 관계는 비대칭적인 것으로 가정한다.

3) 무작위배정

제3의 변수에 의한 설명의 가능성을 줄이고 내적 타당성을 확보하기 위한 통제의 절차는 기본적으로 실험집단과 통제집단 구성원의 동질성을 확보하는 것이다. 통계적 논리에서 보면 실험집단과 통제집단을 동질적으로 구성하여 허위변수와 혼란변수에 의한 설명을 배제하는 것이다(외재적 변수의 통제와 경쟁가설의 제거). 이와 같이 동질성을 확보하기 위한 통제의 절차가 바로 무작위배정, 짝짓기로 구분된다.

4. 제3변수의 통제방법

1) 난선화(randomization)

조사대상이 양 집단에 뽑힐 똑같은 확률을 부여함으로써 변수를 통제하는 것을 말한다. 따라서 이 방법에서는 조사자의 주관이나 선입관 또는 판단이 개입되어서는 안된다. 이는 무작표위표출과는 엄격히 구분되는 것이다. 무작위표출은 연구대상의 대표성을 확보하기 위한 표본추출의 방법이고(외적 타당성과 관련), 반면 무작위 배정은 실험집단과 통제집단의 동질성을 확보함으로써 내적 타당성을 확보하기 위한 방법이다.

2) 짝짓기(matching)

짝짓기에는 정밀통제와 빈도분포통제가 있다. 첫째, 정밀통제의 방법은 변수에 관한 것을 하나 하나 조사하여 양 비교집단으로 나누는 것을 말한다. 이 방법은 변수의 수가 많을 때, 짝이 없을 경우 사용이 불가능하며, 어떤 변수가 중요한 것인지 결정하기가 곤란할 때 사용하기가 곤란한 점이 있다. 또한 정밀한 짝짓기를 실시할 때 적절한 짝을 구하기 위해 많은 사례를 상실하는 경우가 많다.

둘째, 빈도분포통제는 하나의 변수가 모든 변수를 대표한다고 보고 한 변수의 전반적인 빈도분포에 의하여 배합하는 방법이다. 짝짓기가 용이할 뿐만 아니라 연구자는 많은 수의 사례를 상실하지 않을 수 있다. 그러나 정확성이 떨어지는 면이 약점으로 존재한다.

<난선화와 적용영역>

1. 난선화의 개념

흔히 사회조사기관에서 전국의 유권자의 의견을 모두 조사하지 않고 2000명 정도의 표본만을 대상으로 하여 조사한 다음 거의 정확하게 선거결과를 예측한다. 이는 표본추출방법의 발전에 의해 가능해진 마술로서 이러한 표본추출기법의 기본적 논리는 바로 난선화(randomization)이다. 난선화는 원래 표본추출에 있어 “의식적인 조작이 전혀 없이 조사대상에 포함되는 모든 표본단위들이 동일한 추출기회를 갖도록 표본을 추출하는 방법”을 말한다. 난선화는 본래 표본추출의 방법으로 발전한 것이나, 사회조사방법에서 다양하게 그 논리가 적용되고 있다. 아래에서는 난선화의 의의와 유용성 및 종류를 논하고 그 구체적 적용영역을 상술하기로 한다.

2. 난선화의 유용성

난선화는 사회현상을 과학적으로 연구하려는 사회과학에 있어, 매우 중요한 위치를 차지하고 있다. 자연과학에 있어서는 예컨대 암모니아의 성질을 연구하는 경우 비교적 쉽게 암모니아의 순수형을 구할 수 있고 이를 가지고 연구한 결과를 쉽게 모든 암모니아에 일반화할 수 있다. 그러나 사회과학의 경우에 있어서는 예컨대 중산층의 순수형을 구하기는 매우 어렵다.

또 어떤 중산층 한 사람의 정치적 성향을 연구하고 그 결과를 모든 중산층에 적용하여 그들의 정치적 성향을 연구하는 것은 실제로 시간․노력․비용을 지나치게 요구하므로 매우 어려운 일이다. 따라서 일부에 대해서만 안심하고 일반화할 수 있는 조사결과를 산출할 수 있는 표본조사는 사회과학에서는 없어서는 안될 중요한 개념이다. 이러한 객관성 있는 표본조사를 가능하게 하는 것은 바로 난선화가 가지는 몇 가지 중요한 이점 때문이다. 난선화의 유용성은 아래의 세 가지로 정리할 수 있다.

1) 전수조사에 비하여 시간, 노력, 비용이 절감된다. 표본조사를 실시하면 전수조사를 하는 경우보다 훨씬 더 적은 시간․노력․비용으로 전수조사에 결코 뒤지지 않을 정도로 정확한 결과를 산출할 수 있다. 이러한 장점은 선거결과의 예측과 같이 시간이 너무 많이 소요되며 가치가 없어지는 사회조사에서 더욱 진가를 발휘한다.

2) 전수조사에 비하여 정확성을 제고해준다. 상식적으로 보면, 아무리 표본추출이 정교하게 이루어진다고 하더라도 전수조사가 표본조사보다 실제 사회현상을 보다 정확히 반영할 것이라고 생각할 수 있다. 그러나 다음과 같은 이유로 표본조사가 전수조사보다 오히려 더 정확한 경우가 많다. 첫째, 조사대상자의 수가 전수조사의 경우보다 적어 관리하기가 쉽다. 둘째, 양질의 조사자만으로 조사를 실시할 수 있어 좀 더 정확한 조사를 할 수 있다. 셋째, 전수조사를 하더라도 응답률이 낮으면 전체를 잘 반영하는 조사결과를 산출할 수 없으나, 표본조사는 비교적 적은 수의 표본에 대해서만 시간․노력․비용을 집중함으로써 응답률을 높일 수 있다. 따라서 좀 더 전체를 잘 나타내는 조사결과를 산출할 수 있다.

위의 세 가지 요인을 다르게 표현하면 다음과 같다. 조사결과의 정확성의 문제는 결국 조사상의 오차(error)의 문제라고 할 수 있는데, 오차에는 표본오차와 비표본오차가 있다. (1) 표본을 조사함으로써 얻은 모수치의 추정값이 모수치와 다른 정도를 나타내는 표본오차가 있다. 표본조사를 하는 이상 피할 수 없는 것이 오차이지만, 표본의 수가 일정한 수준을 넘으면 급격히 줄어들어 전수조사와 큰 차이가 없게 된다. (2) 표본오차 이외에 자료수집이나 처리 등이 부정확하게 됨으로써 발생하는 비표본오차가 있다. 비표본오차는 표본의 수가 증가할수록 계속 증가하는 속성을 가진다. 즉 표본조사를 하는 경우에는 표본오차는 전수조사보다 다소 높을지 모르나 비표본오차를 대폭 감소시킴으로써 전수조사보다 더 정확한 결과를 산출할 수 있다.

이와는 다른 측면으로 표본조사의 조사결과의 정확성을 높여주는 것으로 시간적 지연(time lag)의 극복을 들 수 있다. 시간의 흐름에 따라 끊임없이 변화하는 사회현상이나 적시에 사용되어야 할 자료라면 조사결과의 완전한 정확성보다는 정확성은 다소 희생되더라도 조사결과의 적시사용이 더 중요해질 수 있다. 이러한 경우 표본조사는 시간적 지연을 극복함으로써 적시에 필요한 조사결과를 제공할 수 있게 해주며, 현재에 가장 가까운 과거의 상태를 알게 해 줌으로써 이런 측면에서는 전수조사보다 더 정확하다고 볼 수 있다.

3) 비확률적 표출방법에 대비한 장점이 있다. 표본추출의 방법에는 난선화를 기본으로 하는 확률적 표출방법 외에 비확률적 표출방법이 있다. 이러한 비확률적 표출방법은 표출자의 주관이 어떠한 형태로든 개입할 수밖에 없어 (1) 편중된 표출을 함으로써 자료의 질을 떨어뜨릴 염려가 있고, (2) 표본오차를 산정할 수 없어 어느 정도 신뢰할 수 있는지를 알 수가 없다는 단점이 있다. 이러한 점에서 난선화는 장점을 가진다.

3. 난선화의 유형

1) 순수한 형태

순수한 형태에는 단순무작위추출(SRS: simple random sampling)이 있다. 단순무작위추출은 조사대상에 포함되는 모든 단위들에 대하여 표본으로 뽑힐 확률을 완전히 동일하게 부여하려는 것으로 실제로는 난수표에 의하는 방법과 제비뽑기를 하는 방법 등을 생각할 수 있다. 이 방법은 가장 객관적이어서 난선화의 의의를 가장 잘 살리는 방법임은 의심할 바 없으나, 조사대상이 전국민인 경우와 같이 모집단 대상이 엄청나게 큰 경우에 그 목록(list)을 확보하여 이 방법을 적용하는 것은 매우 어려운 작업이다. 따라서 난선화의 의의를 살리면서도 좀 더 쉽게 적용할 수 있는 다음과 같은 몇 가지 변형된 방법이 사용된다.

2) 지역표출

지역표출(area sampling)은 전국을 일정한 크기의 지역으로 분류한 다음 이 지역을 표출단위로 표출한 다음 더 작은 단위로 계속 표출을 행하여 결국 개인의 수준까지 표출을 하는 경우를 말한다. 예컨대 전국을 대상으로 한 조사에서 먼저 도나 광역시를 대상으로 한 조사에서 표출단위로 몇 개의 표본을 추출한 다음, 이에 속한 시․군․구를 표출단위로 하여 다시 표본을 뽑고, 또 이렇게 시․군․구의 읍․면․동을 표출단위로 해서 표본을 추출하고, 최종적으로 이에 속한 개인을 표출하는 경우를 들 수 있다. 이러한 지역표출은 표본추출 과정을 간편하게 해줄 뿐만 아니라, 표본들이 단순무작위표출의 경우보다 일정한 지역에 집중되어 있어 실제 조사를 용이하게 해 주는 장점이 있다.

3) 계통적 표출법

계통적 표출법(systematic sampling)은 모집단에 속하는 표출단위의 리스트를 이용하여 매 K번째 표출단위를 표본으로 추출하는 방법이다.

4) 층화표출법

층화표출법(stratified random sampling)은 모집단을 보다 동질적인 몇 개의 층(strata)으로 나누고, 이러한 각층으로부터 단순무작위표출을 하는 방법이다.

5) 집락표출법

집락표출법(cluster sampling)은 모집단으로부터 집락(cluster) 또는 집단을 무작위로 선정한 다음 이 집락에서 일정한 수의 표출단위를 표본으로 추출하는 방법이다.

4. 난선화의 구체적 적용영역

1) 사회조사(social survey)

사회조사는 표본조사와 표본의 대표성 확보의 문제가 중요하다. 사회조사는 주관적 의미를 중요시하는 질적 방법으로 대체로 (1) 질문지법, (2) 면접법, (3) 관찰법에 의해 수행된다. 이 중 어떠한 경우라도 전수조사의 번거로움과 한계를 극복하기 위해서, 먼저 표본을 추출한 다음 이들에 대해서 질문서를 적용하거나, 면접을 하거나, 관찰을 함으로써 조사를 수행하는 표본조사를 수행하는 경우가 많다.

이때 표본을 대상으로 한 조사결과를 전체에 얼마나 일반화할 수 있느냐는 표본이 얼마나 모집단을 잘 대표하느냐에 달려 있다. 즉 표본조사에 있어서 표본의 대표적 확보는 그 무엇보다 중요하다. 조사자가 선별적으로 조사대상을 추출할 특별한 이유가 없는 한, 난선화의 방법이 가장 타당한 표출방법이 될 것이다. 표본조사에 있어 표본에 대하여 사전지식이 있는 경우에는 지역표출법, 계통적 표출법, 층화 표출법, 집락 표출법 등 변형된 방법들을 사용할 수 있다.

2) 실험(experiment)

실험의 기본적 논리는 실험집단과 통제집단의 동질성을 확보하는 것이다. 사회과학에서의 실험은 완전히 동질적인 두 집단을 설정하고, 이 중 한 집단(실험집단)에 대해서만 실험적 처치(experimental treatment)를 한 다음, 실험적 처치를 하지 않은 집단(통제집단)과 비교하여 두 집단간에 어떤 차이가 보이면 이를 실험적 처지의 결과로 간주하는 것을 기본적 논리로 하고 있다. 따라서 실험집단과 통제집단의 동질성의 확보는 실험의 성패를 좌우하는 중대한 요소이다.

첫째, 실험집단과 통제집단의 동질성을 확보하는 가장 좋은 방법은 역시 난선화의 방법이다. 실험집단과 통제집단의 동질성을 확보하는 방법에는 난선화의 방법 외에도, 배합법(matching)을 쓸 수 있는데, 이에는 다음과 같은 두 가지 방법이 있다.

둘째, 정밀통제(precision matching)의 방법은 유관적합하다고 간주되는 모든 특성․요인․조건․변수 등에서 정확하게 서로 꼭 같은 개인들을 둘씩 골라 하나는 실험집단에 다른 하나는 통제집단에 배정함으로써 두 집단의 동질성을 확보하는 방법이다.

셋째, 빈도분포통제(matching by frequency)는 실험집단과 통제집단에 배정될 사람들이 어떤 속성에서 평균치와 빈도분포가 같거나 아주 비슷해지도록 배정하는 방법이다.

3) 내용분석(content analysis)

내용분석은 인간의 상징적 기호로 표시된 의사소통의 기록물의 내용적 특성들을 체계적으로 기술하고 나아가 그 동기원인 및 결과나 영향을 체계적으로 추리하려는 사회과학의 분석기법을 말한다. 쉬운 예로, 「노동신문」에서 ‘물자절약’이라는 단어가 나오는 빈도를 조사함으로써 북한의 ‘물자사정’을 미루어 짐작해 볼 수 있다. 이러한 내용분석의 난선화에서 일년치 혹은 반년치 등 일정한 기간 동안의 노동신문의 모든 일자․모든 면을 조사할 수도 있지만, 몇 일자 몇 면만을 표본으로 추출할 수 있다. 이 경우와 같이 신문을 대상으로 하는 경우에는 계통적 추출방법이 간편하게 적용될 수 있다.

5. 결론

난선화를 이용한 표본조사는 전수조사나 표본조사의 비확률적 방법에 비하여 여러 가지 장점을 지니고 있고, 이 때문에 사회조사방법론의 여러 가지 기법 속에 스며들어 사용되고 있다. 따라서 난선화의 논리와 기법을 정확히 이해하고 활용하는 것이 무엇보다 중요하다 할 수 있다.

<실험설계의 종류>

1. 실험의 의의

<표> 실험설계에서 기호의 의미

기호 및 용어	의미
EG(Experiment group): 실험집단	실험적 처리가 이루어지는 집단
CG(Control group): 통제집단	실험적 처리가 이루어지지 않고 실험집단과 비교되는 집단
R(Random assignment): 무작위배정	실험집단과 통제집단에 연구대상이 무작위적으로 배정되었다는 의미
M(Matching): 짝짓기	실험집단과 통제집단에 연구대상이 짝짓기 방법에 의해 배정되었다는 의미
X(Treatment): 실험처리	실험적으로 조작되는 처리를 나타내는 변수, 처리의 종류가 많은 경우에는 아래첨자(X₁X₂X₃)를 써서 구분
O(Observation): 관찰 또는 측정값	종속변수에 대한 측정값, 측정이 여러 차례 이루어지는 경우에 아래첨자(O₁O₂O₃)를 써서 구분
E(Effect): 실험효과	실험변수 처리효과의 크기

실험은 가학적 방법의 요체인 “통제된 연구(controlled inquiry)”의 정신에 가장 충실하고자 하는 연구방법으로, 엄격히 통제된 상황에서 두 변수 사이의 인과관계를 검증하는 것이다. 실험설계의 구성요소에는 1) 공동변화를 입증하기 위한 비교, 2) 시간적 선행성을 입증하기 위한 실험변수의 조작, 3) 경쟁적 가설을 배제하기 위한 통제 등이 있다. 이 세 가지 조건을 어느 정도 갖추었는가에 따라 진실험설계, 준실험설계, 비실험설계로 나뉜다.

2. 진실험설계(true experimental design)

1) 진실험설계의 개념

진실험설계(true experimental design)는 순수실험설계이다. 실험설계의 세 가지 조건을 비교적 충실하게 갖추고 있는 설계, 즉 엄격한 외생변수의 통제 하에서 독립변수를 조작하여 인과관계를 밝힐 수 있는 설계이다. 연구자가 사전에 계획하여 실험집단․통제집단을 무작위로 배정할 수 있기 때문에 미래지향적(prospective) 성격을 가진다. 진실험설계는 순수한 독립변수 효과의 측정․변수간 인과관계의 검증, 가설의 검증, 가설의 수정 및 새로운 가설의 도출에 사용한다.

실험절차상 유의할 점은 다음과 같다. (1) 연구대상자를 선발해서 실험집단과 통제집단으로 나눈다. (2) 실험적 환경(실험실, 현지)을 규정한다. (3) 두 집단의 종속변수에 대한 사전 측정을 한다. (4) 실험집단에 대한 독립변수를 조작한다. (5) 두 집단의 종속변수에 대한 사후측정을 한다. (6) 두 집단간 사전․사후 측정을 비교한다.

2) 진실험설계의 장점과 단점

진실험설계의 장점은 다음과 같다. 첫째, 외생변수의 철저한 통제가 가능하다. 둘째, 대상의 무작위화가 가능하다. 셋째, 1개 이상의 독립변수를 조작하는 것이 가능하다. 넷째, 변수의 명확한 조작화와 그 강조의 정밀한 변화가 가능하다. 다섯째, 재현가능성이 높다. 여섯째, 명확한 인과관계의 검증이 가능하다.

진실험설계의 단점은 다음과 같다. 첫째, 인위성․부자연성이 있다. 둘째, 표본의 수가 적다. 셋째, 윤리적인 문제로 실험이 불가능한 경우도 있다. 넷째, 독립변수의 강도가 실제 세계에서만큼 크게 작용하지 못한다.

3) 진실험설계의 도출

(1) 통제집단 사후측정 설계(posttest-only control group design)

EG : (R) × O1 (E＋U)    E : 실험효과

CG : (R)    O2 (U)       U : 기타 외생변수효과

E ＝ (O1－O2)             I : 상호작용효과    R : 시험효과

통제집단 사후측정 설계는 무작위배정에 의해서 동질적인 실험집단과 통제집단을 구성한 다음 실험집단에 대해서는 실험변수를 처리하고 통제집단에 대해서는 실험변수를 처리하지 않는다. 두 집단 모두에 대해 사후측정을 실시한다. 실험변수의 효과는 실험집단의 관찰값과 통제집단의 관찰값의 차이로 표현된다. 통제집단 사후측정 설계는 사전측정이 문제를 일으킬 수 있는 경우나 사전측정이 불가능한 경우에 사용한다.

통제집단 사후측정 설계는 사전측정을 하지 않아 시험효과 및 상호작용의 개입을 방지하고, 시간과 비용을 절약할 수 있다. 이것은 두 집단을 난선화를 통해서 선정하므로 두 집단 모두 외생변수의 영향은 동일하다고 가정하지만, 사전측정을 하지 않아 최초의 상태가 동질적인지 정확히 알지 못한다.

(2) 통제집단 사전사후측정 설계(prestest-posttest control group design)

EG : (R)  O1 × O3 (E＋U＋I＋T)

CG : (R)  O2    O4 (U＋T)

E ＝ (O3－O4) － (O1－O2) ＝ E ＋ I

통제집단 사전사후측정 설계(고전적 설계, classic design)는 난선화를 통해 선정된 두 집단에 대하여 실험집단에는 실험변수의 조작을 가하고 통제집단에는 독립변수의 조작을 가하지 않는 방법이다. 이것은 사전측정이 설계에 통합되어 있으며, 변화의 정도를 분석하기에 적합한 설계이다. 두 집단의 최초의 상태가 동질적임을 측정하고자 할 때 사용한다. 통제집단 사전사후측정 설계는 사전측정이 포함되므로 두 집단의 동질성이 검증될 수 있다. 그러나 실험․통제집단 모두에서 검사요인을 통제할 수 없고, 검사 또는 사전측정과 처리의 상호작용효과가 발생한다.

(3) Solomon의 4집단설계(Solomon four-group design)

EG1 : (R)  O1 × O3 (E＋U＋I＋T)

CG1 : (R)  O2    O4 (U＋T)

EG2 : (R)        O5 (E＋U)

CG2 : (R)        O6 (U)

Solomon의 4집단설계는 가장 강력한 실험설계의 유형이다. 통제집단 사전사후측정 설계와 통제집단 사후측정 설계를 결합하여 가장 이상적이다. 사전측정의 효과는 EG1, CG1의 사후측정값 O3, O4와 EG2, CG2의 사후측정값 O5, O6을 비교하여 구한다. 측정과 처리의 상호작용의 효과는 EG1의 사후측정값 O3와 EG2의 사후측정값 O5를 비교하여 구한다.

Solomon의 4집단설계는 실험설계가 다름에 따라 상이한 결과가 나타난 경우에 보다 정확한 결과를 검증하고자 할 때 사용한다. 이것은 각 외생변수별로 효과의 분리가 가능하고, 철저한 외생변수의 통제가 가능하다는 점이 장점이다. 그러나 실험․통제집단의 선정․관리가 어렵고, 비경제적이다.

3. 준실험설계(quasi-experimental design)

1) 준실험설계의 개념

준실험설계(quasi-experimental design)는 인과적 추론이 가능한 유사실험설계이다. 준실험설계는 무작위배정에 의하여 실험집단과 통제집단의 동등화를 꾀할 수 없을 때 사용한다. 무작위배정에 의한 방법 대신에 다른 방법을 통하여 실험집단과 유사한 비교집단을 구성하려고 노력하는 설계이다. 연구자가 과제에 발생한 실험처리의 효과를 추정하기 위한 연구가 많기 때문에 과거지향적(retrospective)인 경우가 많다.

정책평가는 대부분 준실험설계를 사용한다. 준실험설계는 진실험보다 실용성․실행가능성․일반화 능력은 좋으나 인과관계의 명확한 규명은 진실험설계보다 못하다. 외적 타당성은 높으나 내적 타당성이 낮다.

2) 준실험설계의 장점과 단점

준실험설계의 장점은 다음과 같다. 첫째, 실제상황에서 이루어지므로 독립변수의 강도가 강하게 나타난다. 둘째, 매우 복잡한 사회적 요인이 작용하는 경우에 사용할 수 있다. 셋째, 이론의 검증이나 실제적 문제해결에 이용될 수 있다. 넷째, 융통성이 있으며 다양한 문제해결에 적용될 수 있다.

준실험설계의 단점은 다음과 같다. 첫째, 현장 상황 하에서는 대상의 무작위화와 독립변수의 조작화가 어려운 경우가 많다. 둘째, 외생변수의 개입 때문에 다른 변수들에 의해서 독립변수의 효과가 오염될 수 있다. 셋째, 현장에서 실험이 불가능한 경우가 있다. 넷째, 정밀도가 낮다.

3) 준실험설계의 종류

(1) 비동질적 통제집단설계

EG :       O1 × O3

CG : (M)  O2    O4 (U＋T)

E ＝ (O3－O4) － (O1－O2)

비동질적 통제집단설계(non-equivalent control group design)는 실험조건상 조사대상을 실험․통제집단으로 나눌 수는 있으나 무작위배정을 통한 동질화가 이루어지지 않는 경우에 짝짓기(matching) 등의 방법을 통하여 가능한 범위 내에서 실험집단과 유사한 비교집단을 구성하려고 노력한다. 예를 들어, 고위공무원의 해외연수 프로그램의 효과 분석시 연수참가자 집단과 비참가자 집단을 짝짓기에 의해 선정한다. 내적 타당성을 저해하므로 외생변수의 영향이 순수실험설계보다 크며 이를 통제하기 어렵다.

(2) 회귀․불연속설계

회귀․불연속설계(regression-discontinuity design)는 실험집단과 통제집단에 실험대상을 배정할 때 분명하게 알려진 자격기준(eligibility criterion)을 적용하는 방법이다. 예를 들어,장학금을 지급받은 학생이 지급받지 않은 학생이 비하여 성적이 상승하였는지를 판단할 때 평점 3.5가 장학금 지급․비지급 구분점(cutting point)이라 하면 장학금 지급의 효과를 두 회귀직선의 불연속의 크기를 나타낸다.

(3) 단절적 시계열설계

단절적 시계열설계(interrupted time-series design)는 여러 시점에서 관찰되는 자료를 통하여 실험변수의 효과를 추정하기 위한 방법이다. 각 시점에서 관찰된 단일단위(a single unit)가 정의될 수 있고, 계량적 관찰이 가능하며, 이러한 관찰이 정책실시 전후의 여러 시점에 걸쳐서 가능할 때 적용할 수 있는 방법이다. 단절적 시계열설계의 기본논리는 O₁ O₂ O₃ O₄ × O5 O6 O7 O8로 표현할 수 있다. 여기에서 E는 일정기간동안 추세선상에서 실험변수가 도입된 시점을 중심으로 나타난 변화를 나타낸다.

각 시점에 하나의 자료가 주어져 있기 때문에 시계열이라 하고, 독립변수가 조작되는 점에서 분명한 구분선이 존재하기 때문에 단절적 시계열이라고 한다. 전체적인 시계열을 관찰함으로써 극단적인 점수에 대한 일시적인 반응이나 성장률에 있어 식별되지 않은 변화 등으로 인해 진정한 프로그램의 효과에 혼란을 가져오는 기회가 강조될 수 있을 것이다.

단절적 시계열설계는 조사대상을 실험․통제집단으로 나눌 수 없고, 실험변수의 효과가 일시적이거나 변화될 가능성이 있을 때 동일한 대상에 대하여 실험변수에 노출되기 전․후에 여러 차례 정기적으로 종속변수에 대한 측정을 실시하여 변화의 추세를 파악하여 실험효과를 분석하는 방법이다. 우발적인 사건이나 측정수단의 변화와 같은 외생변수의 영향을 받을 가능성이 많은 것이 단점이다.

(4) 단절적 시계열 비교집단 설계

EG : O1 O2 O3 O4 × O5 O6 O7 O8

CG : O1 O2 O3 O4    O5 O6 O7 O8

단절적 시계열 비교집단 설계는 단절적 시계열 설계와 비동질적 통제집단설계의 두 가지를 조합한 것으로 프로그램 효과 추정상의 왜곡을 줄여 인과적 해석이 가능하다. 이것은 실험집단․통제집단이 공유하는 역사․성숙․검사결과 등을 통제할 수 있는 장점이 있다.

(5) 동류집단 설계

O1 × O2

E ＝ O2 － O1

동류집단 설계(cohort design)는 실험대상집단이 시간이 경과해도 비슷한 특징을 보이고 있으며, 집단간에 경험한 사건이 다를 때, 각 대상집단간의 차이를 통하여 알고자 하는 변수의 효과를 측정하는 것이다. 예를 들어, 미취학 어린이용 TV 교육 프로그램이 어린이들의 취학 후 적응 능력에 미치는 영향을 알고자 할 때 사용할 수 있다. 이것은 표본편중에 의한 오차와 우발적인 사건에 취약하다.

4. 비실험설계(non-experimental design)

1) 비실험설계의 개념

비실험설계(non-experimental design)는 인과적 추론이 어려운 준실험설계로써 원시실험설계(pre-experimental design)라고도 한다. 이것은 인과적 추론의 세 가지 조건을 모두 갖추지 못한 설계, 즉 진실험, 준실험을 제외한 인과관계의 추론방법이다. 비실험설계는 실험자가 실험변수를 조작하기 어렵고 실험대상을 무작위화할 수 없는 실험설계이므로 엄격한 의미에서는 실험설계라 할 수 없다. 가설의 검증보다는 문제의 도출을 위하여 순수한 실험설계 전에 시험적으로 실시하는 탐색조사의 성격을 띠게 된다.

2) 비실험설계의 종류

(1) 단일집단 사후측정설계

EG :      × O1

E ＝ O1

단일집단 사후측정설계(one-short case)는 단일사례연구라고도 한다. 이것은 실험변수에 노출된 하나의 집단에 대해 사후적으로 결과변수를 측정하여 사전측정이 없어 실험의 순수한 효과를 측정했다고는 볼 수 없다. 외생변수의 통제도 불가능해서 내적․외적 타당성이 모두 결여되어 있다. 예를 들어, 조사대상자들에게 광고를 보여준 후 광고의 선호도를 측정하는 경우가 이에 해당한다.

(2) 단일집단 사전사후측정설계

EG : O1 × O2

E ＝ O2 － O1

단일집단 사전사후측정설계(one group pretest-posttest design)는 실험변수를 조작하기 전에 결과변수에 대한 측정을 하고, 실험변수를 조작한 후에 결과변수의 수준을 측정하여 두 결과간의 차이로 실험변수의 효과를 측정한다. 이것은 외생변수의 통제가 불가능하다. 예를 들어, 조사대상자들에게 광고를 보여주기 전의 상품의 인지도를 측정하고 광고를 보여 준 후 다시 측정하여 광고의 효과를 알아보는 경우가 이에 해당한다.

(3) 정태적 집단비교설계

EG :    × O1

O2

E ＝ O1 － O2

정태적 집단비교설계(static group comparison design)는 실험대상을 두 개의 집단으로 나누어 실험변수를 조작하는 집단과 그렇지 않은 집단으로 구분하여 사후측정결과의 차이로 실험변수조작의 효과를 측정하는 설계이다. 이것은 무작위배정이나 짝짓기(matching)가 없어 내적 타당성이 약하다. 즉 실험집단과 통제집단의 동등화가 불가능하다. 통제집단이 있으므로 우발적 사건이나 시험효과, 측정수단의 변화, 통계적 회귀 등을 제거한다. 정태적 집단비교설계는 실험의 간결성, 시간과 조사비의 절감으로 사회과학 조사에서 많이 사용한다.

(4) 기타

그밖에도 통계적 분석이나 인과경로모형에 의한 추론 등의 방법이 있다. 인과경로모형은 여러 변수들 사이의 원인과 결과의 관계가 복잡하게 작용할 것으로 생각되는 경우에 인과적 모델링(modeling)에 의해서 인과모형을 작성하고, 경로분석(path analysis)을 통하여 변수들간의 인과관계의 경로에 관한 가설을 검증하는 방법이다.

5. 사후설계

1) 사후설계의 개념

사후설계는 독립변수의 조작이 없이 변수들간의 관계를 검증하고자 할 때 이용되는 설계이다. 독립변수의 조작이 없으므로 인과관계를 밝힐 수 없으며 단순히 변수들간의 상관관계만을 알 수 있는 설계이다. 독립변수가 이미 노출된 뒤에 행하여진다는 점에서 사후설계라고 한다.

사후설계는 중요한 변수의 발견이나 변수들간의 관계를 밝히기 위한 사전적인 연구인 탐색연구나 가설의 검증을 위해 이용한다. 가설 검증을 위한 연구인 경우에 이론적 체계가 확고히 확립된 경우에만 시행한다. 즉 어떤 결과가 이미 발생한 후에 그 결과가 나타나게 된 원인을 사후적으로 추적하여 찾아내는 방법이다. 사후설계는 독립변수의 조작이 불가능한 경우 또는 독립변수가 사전에 노출된 경우에 이용한다.

2) 사후설계의 장점과 단점

사후설계의 장점은 다음과 같다. 첫째, 이론을 근거로 도출한 가설을 현실상황에서 검증해 볼 수 있다. 둘째, 광범위한 대상으로부터 자료수집이 가능하다. 셋째, 실험설계에 비해 다양한 변수를 연구할 수 있다. 넷째, 인위성의 개입이 없고 매우 현실적이다. 다섯째, 자기주도적으로 스스로 발견해내는 접근(heuristic approach)이 가능하다.

사후설계의 단점은 다음과 같다. 첫째, 독립변수의 조작이 불가능하여 명확한 인과관계의 검증이 불가능하다. 둘째, 측정의 정확성이 낮다. 셋째, 대상의 무작위화가 불가능하다. 넷째, 결과해석상 임의성․주관성의 문제가 있다. 현상을 야기하는 원인을 추적하여 찾아내는 과정을 거치기 때문에 원인과 결과를 뒤집어 해석할 가능성이 있다.

3) 사후설계의 종류

(1) 현장연구

현장연구는 연구자가 관심을 가지고 있는 변수들간의 관계를 인위적이 아닌 현실 상황에서 연구하는 방법이다. 현재 현상 속에서 작용하고 있는 변수들간의 관계를 검증하려는 연구와 모집단으로부터 표본을 선정하여 표본통계량을 구하고 이를 이용하여 모집단이 갖는 특성들의 분포와 사회․심리적 변수간의 상호작용을 밝히고자 하는 연구가 있다.

(2) 후향적 연구

후향적 연구는 결과변수의 현재상태와 과거에 작용했을 독립변수와의 관계를 분석하는 연구(회고연구)이다. 지금의 어떤 현상이 과거 어떤 요소의 영향으로 인하여 발생했는가를 찾아내는 연구이다. 예를 들어, 어떤 질병의 발생원인을 찾아내는 연구이다.

(3) 전향적 연구

전향적 연구는 원인이 될 수 있는 변수에 초점을 두고 미래에 나타날 종속변수의 변화에 대한 연구(전망연구)이다. 어떤 결과의 원인이라고 생각되는 변수를 파악하고 일정시간이 경과한 후에 과연 예상하였던 결과가 발생하였는지를 조사하는 연구이다.

6. 실험설계의 평가기준

실험설계의 평가기준에는 내적․외적 타당성과 관련된 요인들이 추가된다.

	진실험	준실험	사후실험
독립변수의 조작가능성	○	△	×
외생변수의 통제정도	○	△	×
조사상황의 자연성	×	○	○
조사결과의 일반화 정도	×	△	○
변수의 강도와 범위	×	△	○
수행의 용이성(비용․시간 등)	△	×	○