신뢰성과 타당성 - 마케팅조사

안녕하세요. 여러분, 이번 게시물에서는 신뢰성과 타당성에 대해서 알아보도록 하겠습니다.

 

 

신뢰성

동일한 조건에서 동일한 대상에게 동일한 개념에 대하여 반복 측정하였을 때 같은 결과를 보이는 정도를 의미.

 

신뢰도 측정 방법

• 재검 사법 : 동일한 대상에 동일 개념에 대해 동일한 척도를 가지고 일정 시간 이후에 재 측정하여 얻게 된 두 측정값의 상관관계의 값으로 신뢰성을 평가하는 방법.
• 반분 법 : 측정항목을 양분하여 서로 다른 집단에서 측정하고 양분된 집단 간의 상관관계를 측정하여 신뢰성을 평가하는 방법
• 동형 검사법 : 동일한 대상에게 유사한 두 가지의 척도를 가지고 일정 시간 간격을 두고 측정하여 신뢰성을 평가하는 방법.
• 내적 일관성 법 : 동일 개념에 대해 측정 시, 여러 항목을 이용하는데 이때 신뢰성을 저해하는 항목을 찾아내어 제거한 후 신뢰도를 높이는 방법. 이 때 크론바흐 알파 계수를 사용하여 신뢰도를 측정하게 된다. 
  * 내적 일관성은 한 Construct를 다항목으로 측정했을 때 항목들이 일관성 혹은 동질성을 갖는가에 대한 것.

* 크론바흐 알파계수 - 두 항목 간의 상관관계를 변형한 값으로 내적일관성을 나타내는 지수이기도 하다. 0 ~ 1 사이의 값을 가지며 보통 0.8 ~ 0.9 사이면 이상적이고 0.6 이상일 경우 신뢰도가 있다고 받아들이게 된다.

 

* 신뢰성을 높이는 방법

• 신뢰성이 높다고 인정되어 널리 사용하는 방법을 사용한다.
• 측정항목의 수, 척도점의 수를 높이면 크론바흐 알파값은 커지며 신뢰도는 높아진다.
• 신뢰도를 저해하는 항목을 제거하여 크론바하 알파 값을 높인다.
• 시간과 비용이 허락한다면 반복 측정법을 사용한다.
• 비체계적 오차가 발생할 수 있는 가능성을 제거한다.

 

타당성

측정 개념을 얼마나 정확하게 측정하였는가 하는 정도를 말한다. 종류에는 내용 타당성, 기준타당성, 구성타당성이 있다.

 

(1) 내용타당성

액면 타당성, 표면 타당성, 논리 타당성이라고도 하며, 측정도구가 측정하고자 하는 개념의 내용을 얼마나 충분히 대표하고 있는가를 나타내는 정도를 말함.

EX) 학력검사나 성취도 검사에서 학습과정에서 배웠던 내용들이 문제에 얼마나 충실히 적영 되고 있는지.

 

(2) 기준 타당성

이미 과거에 경험적으로 입증된 기준과 비교한 측정도구의 타당성을 말한다. 측정도구를 통해 얻어진 측정치와 이미 입증된 기준이 얼마나 부합하느냐를 경험적 차원에서 판단하게 된다. 기준 타당성을 예시 타당성, 준거 타당성, 실용 타당성 이라고도 하며, 여기에는 예측 타당성과 동시타당성이 있다.

 

예측타당성

측정기준이 되는 측정이 미래의 사건을 얼마나 잘 예측하는지를 알아보기 위한 것으로, 예를 들어 입사시험이 인재를 선발하는데 타당한지를 알아보기 위해 입사 전 시험성적과 입사 후 성적과 비교하여 상관관계가 높다면 입사시험은 미래를 예측하는 예측 타당성이 높은 것이다.

 

동시 타당성

측정기준이 되는 측정이 현재 상황을 얼마나 잘 반영하는지를 알아보기 위해 기존의 입증된 기준과 비교하여 그 정도를 파악하는 방법. 예를 들어 영어시험을 만들어 테스트를 실시할 경우, 새로 만든 영어시험의 타당성을 측정하기 위해 토익시험과 비교하여 상관관계가 높게 나타나면 동시 타당성이 높은 것이다.

 

(3) 구성 타당성

개념 타당성이라고도 불리며, 측정도구가 실제 무엇을 측정하였는지, 과연 측정하고자 하는 개념이 실제 측정도구에 의해 측정되었는가 하는 정도를 뜻한다.

 

수렴 타당성

동일한 개념은 서로 다른 측정방법을 사용하더라도 높은 상관관계를 보여야 한다는 것으로, 예를 들어 영어능력 측정 시 토익, 토플이라는 방법으로 측정하여도 영어능력이 우수한 사람은 모든 테스트에서 높은 점수가 나와야 한다는 것이다. 이 경우 토익, 토플은 수렴 타당성이 높다고 할 수 있다.

 

판별 타당성

상이한 개념은 동일한 측정방법을 사용할 경우 차별성이 있어야 한다는 것. 두 측정 간에는 높은 상관관계가 있어서는 안 된다는 것이다. 예를 들어 수학능력이 높은 사람과 영어능력이 높은 사람에게 토익시험을 쳤을 때 영어능력이 높은 사람만 점수가 높아야 한다는 것이다. 이 경우 토익은 영어능력 측정에 관해 판별 타당성이 높다고 할 수 있다.

 

이해 타당성

측정 간의 관계에서 이론적인 관계가 확인되면 이해 타당성이 높다는 것으로 예를 들어 행복지수와 소득 수준이 밀접한 관계가 있다면 이를 측정한 행복지수와 소득수준 사이에도 상관관계가 높아야 한다는 것.

 

* 타당성 향상 방법

• 측정하고자 하는 대상 그 자체에 대한 엄격한 개념 정의가 필요하다.
• 측정대상에 대해 명확한 이해를 갖는 사람이 척도를 개발하고 평가하도록 한다.
• 두 개 이상의 다른 척도를 사용하여 집중 타당성을 평가한다.
• 정확하게 의사소통이 되도록 용어 사용에 신중을 기한다.
• 기존에 타당성이 있는 것으로 받아들여지는 척도를 이용한다.