Data science/Statistic (49)

반응형


쉽게 이해하는 민감도, 특이도, False Positive, False Negative, 양성예측도



민감도 (Sensitivity), 특이도(Specificity), 양성 예측도(Positive Predictive Value, PPV) 는 바로 무언가를 예측하는 상황에서 쓰이는 통계적인 지표입니다. 이 지표들이 가장 많이 쓰이는 곳이 바로 검진(Diagnostic)인데요.


우선 검진의 정의에 대해서 명확히 짚고 넘어가보겠습니다. 검진이란 "건강 상태와 질병의 유무를 알아보기 위하여 증상이나 상태를 살피는 일" 입니다. 이처럼 검진은 그 사람의 병의 유무를 알기 위해 일종의 검사를 하여 병의 유무를 예측하는 것입니다. 중요한 건, 검진은 실제와 다를 수 있다는 것입니다.  


예를 들어, 폐암 검진을 위해 흉부를 X-ray로 촬영한다고 해봅시다. X-ray는 저비용으로 폐암 여부를 알아보는 효과적인 방법입니다. 하지만 문제는 X-ray 결과로 그 사람의 폐암 여부가 결정이 나는 것이 아니라는 것입니다. X-ray에서 폐암이 의심이 가는 경우, MRI, CT 등의 더 정밀한 검사를 통해 폐암의 실제 여부를 결정하게 됩니다. 


이 때, X-ray가 "폐암 여부를 정확하게 가려내는 정도" 를 수치화할 수 있겠죠. 이렇게 수치화하는 지표 중에 유명한 것이 바로 민감도, 특이도, 양성 예측도입니다. 이를 이해하기 쉽게 설명하기 위해 다음과 같은 표로 많이 설명합니다.



폐암 X-ray 검진 예제

 

 폐암 O

폐암 X 

 

 X-Ray 양성

 90

100 

190 

 X-Ray 음성

10 

800 

810 

 

 100

 900

 1000


총 1000명이 X-ray 검사를 받았고, 이 중에 폐암환자는 10%인 100명, 비환자는 90% 입니다. 폐암환자 100명 중 90명이 X-ray 양성 판정을 받았고, 비환자 900명중 800명이 X-ray 음성 판정을 받았습니다. X-ray가 꽤 잘 맞춘 것이죠.


이 때, 폐암환자 중 양성 판정을 받은 사람의 비율을 민감도,

비환자 중 음성 판정을 받은 사람의 비율을 특이도라고 합니다. 


이 예에서, 민감도는 90/100 = 0.9, 특이도는 800/900 = 0.89 입니다. 이 때 1-0.9=0.1 = False Negative Rate, 1-0.89 = False Positive Rate 라고 합니다. 


즉, False Negative는 환자인데 검진에서 가려내지 못한 사람의 수, False Positive는 정상인인데 검진에서 환자로 판단한 사람의 수입니다. Rate가 붙으면 분모로 나누어 0과 1 사이의 값으로 나타내게 되는 것입니다. 민감도, 특이도, False Negative, False Positive는 이렇게 세트로 묶어서 이해할 수 있습니다.


그렇다면 양성 예측도, 음성예측도는 무엇일까요?


민감도와 특이도는 검진을 받은 "사람"의 관점에서 그 기기의 검진의 정확도를 판단한 것입니다. 반면, 양성 예측도, 혹은 음성 예측도의 경우 "기기의 관점"에서 검진의 정확도를 판단하게 됩니다. X-ray가 양성이라고 판단했을 때, 실제 폐암 환자일 확률은 90/190 = 0.47 입니다. 바로 이것을 양성 예측도라고 합니다. 반대로, X-ray가 음성이라고 판단했을 때, 진짜 정상인일 확률은 음성 예측도라고 하며, 800/810=0.98 입니다. 


문제는 양성 예측도가 왜이렇게 작게 나왔는가? 하는 것입니다. 양성 예측도는 민감도(0.9)와 특이도(0.89)처럼 그 값이 크지 않다는 것을 확인할 수 있습니다. 관찰력이 좋으신 분들은 직감으로 이걸 이해할 수 있으실 것입니다. 문제는 바로 "데이터의 불균형" 때문인데요. 비환자 900명중에 단지 100명만이 X-ray 양성으로 잘못 판단되었지만 (False Positive) 상대적으로 비환자가 1:9로 많기 때문에 그 값이 상대적으로 크게 잡혔다는 것을 볼 수 있습니다. 


이를 식으로 살펴보면, 양성 예측도 = 90 / 190 = 90 / 90+100 으로 풀어쓸 수 있겠죠. 이 때, 비환자가 환자와 마찬가지로 100명이었다면 90/90+100/9 = 약 0.9가 되었어야합니다. 하지만, 비환자가 환자에 비해 상대적으로 많기 때문에 False Positive가 많아져서 양성 예측도가 적게 나왔다는 것을 이해할 수 있습니다.


이를 두고, 양성 예측도는 유병률이 작을 수록 작다. 라고 표현합니다. 이 예제에서 폐암 유병률은 0.1이겠죠. 이 값이 작으면 작을 수록 False Positive에 의해 양성 예측도, PPV 는 작아지게 됩니다. 이를 보통 아래 식을 통해서 이해를 하게 되는데요. 


이 식은 위 테이블에서 변수를 놓고 방정식을 풀면 나오게 됩니다. (시간이 되시는 분들은 직접 손으로 풀어보시면 나옵니다.) 이 식을 보면, 분모는 검진의 양성 판단 횟수이며, 분자는 환자를 양성으로 판단한 횟수임을 알 수 있습니다. 


근데, sensitivity*prevalance는 분모, 분자에 같이 있으므로, (1-specificity)*(1-prevalence)가 실제 PPV 값에 영향을 주게 되겠죠. specificity가 고정되어있을 경우, prevalence, 유병률이 작아질 수록 분모가 커져 PPV 값은 작아진다는 것을 쉽게 알 수 있습니다. 


민감도, 특이도, 양성 예측도 중 어떤 지표로 검진 기기를 판단해야 할까요?


명확하게 무엇이 절대적인 기준이라는 것은 없습니다. 다만, 민감도의 경우 환자의 생명과 직접적인 관련이 있을 수 있습니다. 민감도가 낮은 검진의 경우, False Negative(환자인데 정상으로 판단)가 많아지게 되겠죠. 환자인데 정상으로 판단하여 적절한 치료를 받지 못하면, 환자의 생명에 지장이 있을 수도 있습니다. 이것이 많은 사람들이 민감도를 중요시하는 이유입니다. 반면, 특이도의 경우 불필요한 비용의 낭비와 관련이 있습니다. 특이도가 낮으면, False Positive(정상인데 환자로 판단)가 많아지게 되겠죠. 정상인이 환자로 판단되면, 환자가 불안감에 시달리거나, 불필요한 정밀한 추가검사를 받아 환자가 아니라는 것을 밝혀야합니다. 따라서 불필요한 손실이 일어나게 됩니다. 하지만 민감도와 특이도는 현실적인 관점에서 trade off의 관계에 있습니다. 민감도를 높이면 특이도는 보통 낮아지게 되죠. 따라서 적절한 수준에서 검진의 민감도와 특이도를 설정할 필요가 있습니다. 양성 예측도의 경우 유병률이 매우 낮은 질병에서는 높은 것을 기대하기가 힘듭니다. 위 식에서 봤듯이 유병률이 매우 낮으면, 데이터의 불균형으로 인해 False positive가 많아지고 양성 예측도는 낮아지게 됩니다. 이를 방지하기 위해서는 검진의 특이도를 매우 높여야하는데, 현실적으로 민감도를 포기할 수 없기 때문에 양성 예측도는 유병률이 낮은 질병에서 보통 낮은 경향이 있습니다. 

반응형
반응형

Nested case-control study

우선 nested case-control study란, 코호트 데이터에서 질병 상태에 따라 case-control을 뽑아내서 case-control study를 하는 것을 말한다. 예를 들어 어떤 코호트 스터디에서  10년간 추적관찰을 하였는데 10만명의 사람중 2천명이 유방암에 걸렸다고 하자. 이 때, case와 control을 적절하게 추출해 gene expression의 차이를 보고 싶다고 하자. 이것이 nested case-control study의 예라고 할 수 있다. 만약 cohort 초기에 gene expression 데이터셋을 구축하고자 한다면, 10만명의 사람들의 피를 추출해 gene expression DB를 구축해야할 것이다. 하지만 nested case-control study 방법으로 한다면, 보통, case의 1-4배 정도 되는 control을 추출해 gene expression을 분석하면 되기 때문에 시간과 비용을 아낄 수 있다. 실제로 nested case-control study는 biomarker를 이용하는 연구에서 많이 사용하는 방법이다. 


Retrospective cohort study

retrospective cohort study(후향적 코호트 연구)란 cohort study의 크게 두 가지 범주(전향적, 후향적 코호트 연구) 중 하나로, 연구 시점이 코호트 데이터를 모은 '후' 가 되는 연구를 말한다. 이는 nested case-control study와 비슷한데, 마찬가지로 연구 시점이 코호트 모집 전이 아니라 후이기 때문이다.  하지만 후향적 코호트 연구의 경우, 기본적으로 코호트 연구이며, case-control처럼 질병 상태에 따라 연구 집단을 뽑지 않는다는 차이가 있다. 예를 들어, 광산에서 일하는 광부들을 10년간 추적 관찰했다고 하자. 추후에 이 광부들을 대상으로 lung cancer으로 인한 사망률을 일반 인구집단과 비교해 알아보고 싶은 경우, 이것이 후향적 코호트 연구의 예가 될 수 있다. 이 광부 코호트로 nested cohort study를 하는 경우는 lung cancer에 따라 case-control을 추출 한 후, 이 case-control을 대상으로 exposure을 비교하는 경우이다.


참고 

https://en.wikipedia.org/wiki/Nested_case-control_study

http://epidemiologyclass.blogspot.kr/2004/10/difference-between-nested-case-control.html

반응형
반응형
역학 연구에서의 스터디 디자인


역학 연구에서의 스터디 디자인을 한 눈에 볼 수 있는 테이블이다. 각각의 스터디 디자인에서 기술 연구, 분석 연구를 할 때 일반적으로 어떤 measure를 사용하는지, 그리고 스터디 디자인마다 장, 단점은 무엇인지 파악할 수 있다.


Table 1: 
Main study designs in classic epidemiology.


Case reportsCase seriesEcological studiesCross sectional studiesCase controlCohortIntervention trials

Unit of study(Single case) 
individual
(>1 cases) individualPopulationIndividualIndividualIndividualIndividual

DescriptionDescribes unusual characteristics of a caseA group of casesComparing populations in different places at the same time or, in a time seriesStudy of population at, “point-in-time,”Study of two groups of subjects: (case; disease of interest and control; disease-free)Study of two groups of subjects (exposure and non-exposure groups)Study and examine two groups of subjects (intervention and control groups)

DirectionPresentPresentPresentPresentReverseForwardForward

Type of measurementReporting, descriptionReporting, descriptionCorrelationPrevalence, associationOdds ratioPrevalence, incidence, relative risk, attributable riskPrevalence, incidence, relative risk, attributable risk

AdvantagesQuick, having clinical importance, opportunities for physicians to exchange of thoughtsQuick, having clinical importance, opportunities for physicians to exchange of thoughtsQuick, inexpensive, group-level studies may also be the only way to study the effects of group-level constructs, for example, lawsEasy, inexpensive, useful for investigating fixed exposures such as blood group, most convenient in outbreaks of diseaseRelatively inexpensive good for rare diseases Efficient in resources and timeBetter for rare exposures, ability to determine causality relationsThe strongest evidence for causality, control of unknown confounders, fulfils the basic assumption of statistical hypothesis tests

limitationInability to determine statistical relations and analysisInability to determine statistical relations and analysisEcological fallacySusceptible to selection bias and misclassification, difficult to establish a putative, “cause”, Not good for rare diseases or rare exposuresSusceptible to selection bias and misclassification bias, may be difficult to establish that, “cause,” preceded effectCostly and time consuming, susceptible to selection bias. Relatively statistically inefficient unless disease is common.Expensive, time consuming, sometimes ethically generalizability problem

https://www.hindawi.com/journals/isrn/2013/952518/tab1/


반응형
반응형

False Discovery Rate


False Discovery Rate(FDR)는 다중비교문제에서 1종 오류를 조절하는 방법이다. FDR은 특히 유전학 연구에서 대량의 유전체 마커와 질병과의 연관성을 보는 연구(예를 들어 Genome-wide association study)에서 많이 사용하는 방법이다.


다중비교문제에서 기본적으로 많이 사용하는 본페로니 방법은 전체 테스트의 1종 오류를 alpha (예를 들어0.05)로 고정하는 방법이다. 즉, 전체 테스트가 유의하지 않은데 유의하다고 잘못판단할 확률을 0.05로 한다는 것이다.


50000개의 마커에 대해 연관성을 검정하며,  이 중 49000개가 실제로 연관성이 없고나머지 1000개가 실제 연관성이 있다고 해보자.


개별 테스트의 1종 오류를 0.05로 고정하면, 1종 오류는 유의하지 않은데, 유의하다고 판단할 확률이므로 49000*0.05 = 2450개가 평균적으로 false positive가 된다. 즉, 49000개 중에 2450개를 유의하다고 잘못판단하고, 나머지 46550개를 유의하지 않다고 잘 판단한 것이다. 만약 1000개의 실제 연관성이 있는 마커중 900개를 유의하다고 판단하고, 100개를 유의하지 않다고 판단했다고 하면, 총 3350개를 유의하다고 판단해서 그 중에 900개가 맞은 것이다.


본페로니 보정을 이용하여 전체 테스트의 1종 오류를 0.05로 고정하면 개별 테스트의 컷오프는 0.05/50000이 되므로, 49000*0.05/50000 = 약 0.05가 평균적으로 false positive가 된다. 따라서 본페로니 보정을 이용하면 false positive를 확연히 줄일 수 있다. 하지만 본페로니 보정의 단점은 너무 컷오프가 엄격하기 때문에 실제 유의한 마커의 effect size가 크지 않은 경우 유의하지 않다고 판단할 수 있다는 것이다. 이것이 소위 말하는 power의 문제이며, 1종 오류와 2종 오류가 trade off 관계임을 알 수 있다. 이렇게 false positive를 엄격하게 통제하면 너무 보수적인 결정을 내리게 되며 실제 유의한 마커를 찾아내기가 힘들어진다. 따라서 어느정도의 오차를 허용하면서 실제 유의한 마커도 잘 골라내는 방법이 필요하게 된다.


따라서 이러한 연구에서는 False Discovery Rate, 즉 유의하다고 판단한 것중에 틀릴 확률을 고정시키는 새로운 p-value를 정의하는 방법을 많이 사용한다. 우선 FDR의 정의부터 보면,


FDR = false positive / total positive (total positive = false positive + true positive)


즉, 유의하다고 판단한 것 중에 실제로는 유의하지 않은 것의 비율이다. 이 비율을 0.05로 고정한다면, 유의하다고 판단했을 때 틀릴 확률은 0.05로 고정할 수 있다. 이는 위의 접근법과는 다소 다르다. 1종 오류는 유의하지 않은데 유의하다고 판단할 확률이지만, FDR은 유의하다고 판단했을 대, 이것이 틀릴 확률이다. 위의 경우에는 3350개를 유의하다고 판단했는데 이 중 틀린 것이 2450이므로 FDR = 2450/3350 = 0.73 이다. 수많은 false positive로 인해 FDR이 높아졌음을 알 수 있고, 데이터가 밸런스하지 않기 때문에 실제 유의한 마커를 찾는 것이 매우 힘들다는 것을 알 수 있다.


근데 FDR은 실제 정답을 알아야 알 수 있다. 실제 유의한 (혹은 인과적 관계를 갖는) 마커를 알아야 FDR을 정확히 구할 수 있는데 이것은 힘든 일이다. 따라서 다양한 방법으로 FDR을 추정하는데 대표적인 방법으로는 Benjamini-Hochberg procedure가 있다.


위키피디아의 정의를 보자.

Benjamini–Hochberg procedure

The Benjamini–Hochberg procedure (BH step-up procedure) controls the FDR at level \alpha .[1] It works as follows:

  1. For a given \alpha , find the largest k such that P_{(k)} \leq \frac{k}{m} \alpha.
  2. Reject the null hypothesis (i.e., declare discoveries) for all H_{(i)} for i = 1, \ldots, k.


우선, 모든 마커의 p-value를 큰 것부터 작은 것으로 내림차순 정렬을 한 후, 개별 테스트의 p-value를 각각 다르게 적용시키는 방법이다. 예를 들어, alpha = 0.05, m=50000, k=50000 인 경우, 가장 p-value가 큰 마커이다. 이 마커의 경우 p-value의 기각역은 50000*0.05/50000 = 0.05 이다. 즉, p-value가 낮은 마커로 갈 수록 점점 엄격한 p-value의 컷오프를 적용한다. Benjamini-Hochberg procedure는 이러한 방식으로 FDR을 0.05로 고정한다.


# 2018.2.6 추가

Benjamini 방법을 통해 기각역을 정하는 것을 시각화해서 보면 위와 같은 그림이 된다. 기각역을 고정시키는 본페로니나 Holm's의 방법(회색선) 보수적인 기각역을 갖고, FDR의 경우(빨간색선) 어느 정도 false positive를 허용함으로써 너무 보수적이지 않도록 기각역을 조정한다.


참고 : http://t-lab.tistory.com/28

반응형
반응형

PBC 데이터를 통한 생존분석



PBC 데이터 다운받을 수 있는 사이트

http://www4.stat.ncsu.edu/~boos/var.select/pbc.html

http://www4.stat.ncsu.edu/~boos/var.select/pbc.dat.txt


데이터 구조

이 데이터는 D-penicillamine의 약효를 판단하기 위한 데이터이다. 이 약이 더 오랜시간 생존에 도움이 된다는 것을 밝히는 것이 목적이다.

id       = case number
futime   = number of days between registration and the earlier of death,
           transplantion, or study analysis time in July, 1986
status   = 0=alive, 1=liver transplant, 2=dead
drug     = 1= D-penicillamine, 2=placebo
age      = age in days
sex      = 0=male, 1=female
ascites  = presence of ascites: 0=no 1=yes
hepato   = presence of hepatomegaly 0=no 1=yes
spiders  = presence of spiders 0=no 1=yes
edema    = presence of edema 0=no edema and no diuretic therapy for edema;
          .5 = edema present without diuretics, or edema resolved by diuretics;
           1 = edema despite diuretic therapy
bili     = serum bilirubin in mg/dl
chol     = serum cholesterol in mg/dl
albumin  = albumin in gm/dl
copper   = urine copper in ug/day
alk_phos = alkaline phosphatase in U/liter
sgot     = SGOT in U/ml
trig     = triglicerides in mg/dl
platelet = platelets per cubic ml/1000
protime  = prothrombin time in seconds
stage    = histologic stage of disease

여기서 status가 0이면 해당 futime에 censoring된 자료이며, 2이면 futime에 실제로 '발생'이 이루어진 경우로 censoring이 되지 않은 자료이다. status=0,1의 경우 censoring된 자료이다. 생존분석에서는 censoring이냐 아니냐가 중요하기 때문에 이 데이터를 0=censoring,1=not censoring으로 바꾸는 작업을 해주면 좋다. 생존분석에서의 종속변수 Y는 'censoring 여부와' '어떠한 사건이 발생할 때까지의 시간'이 한 세트라고 보면 된다. 다른 여러가지 변수를 통해 이 시간을 예측하는 것이 목적이라고 할 수 있다. 이를 time to event를 예착한다고 한다.


또한 이 데이터의 경우 약이 생존에 어떤 영향을 미치는지를 알아보는 연구이므로, drug를 placebo=0, D-penicillamine=1로 재코딩해주는 것이 좋다. 이렇게 재코딩함으로써 분석할 때 해석의 이점을 볼 수 있다.

 


PBC 데이터 읽어오기

http://www4.stat.ncsu.edu/~boos/var.select/pbc.sas.txt

options nodate nonumber ps=2000 ls=100;
data pbc;
infile 'K:\pbc.dat.txt';
    input id futime status drug age sex ascites hepato spiders edema
            bili chol albumin copper alk_phos sgot trig platelet
            protime stage;
    age = age/365.25;
if _n_ > 312 then delete;
if status=1 then status=0;
run;
proc phreg data=pbc;
model futime*status(0)=drug age sex ascites hepato spiders edema
            bili chol albumin copper alk_phos sgot trig platelet
            protime stage;
run;


SAS를 통한 분석 (Cox Regression)


proc phreg data=pbc;
    model time*delta(0)=drug sex age stage;
run;


Analysis of Maximum Likelihood Estimates
Parameter DF Parameter
Estimate
Standard
Error
Chi-Square Pr > ChiSq Hazard
Ratio

drug

1 0.04474 0.18327 0.0596 0.8071 1.046
sex 1 -0.28166 0.24618 1.3091 0.2526 0.755
age 1 0.02804 0.00927 9.1520 0.0025 1.028
stage 1 0.75390 0.12458 36.6217 <.0001 2.125


이 때, time은 time to event이고, delta는 0=censoing, 1=not censoring이다. (0)은 0이 censoring이라는 것을 나타내준다. 실제로 알아보고 싶은것은 drug와 time(생존시간)의 관계이고, confounding을 없애기 위해 sex, age, stage와 같은 통제변수(control variable)와 함께 분석한다.  cox coxregression에서는 계수 추정치가 log(hazard ratio)의 증가량이므로 이를 exponential 해주면, hazard ratio가 증가하는 비율을 알 수 있게 된다. 예를 들어, exp(0.04474)=1.046 이다.


근데 이를 해석하면 오히려 약을 처방할 수록, hazard가 증가한다는 결론을 얻게된다. 이러한 결론에 관한 한가지 해석은 confounding에 의한 효과라는 것이다. 약을 처방받는 사람들이 대부분 위중한 환자들이기 때문에 이러한 현상이 나타나며, 제대로된 약의 효과를 알아보기 위해서는 더 많은 통제변수가 필요할 것이다.



Cox Regression에서 생존함수 식 유도하기


https://stats.stackexchange.com/questions/270164/how-do-i-interpret-a-cox-hazard-model-survival-curve

반응형
반응형

범주형 자료분석 - 맥니마 검정



 

 

맥니마 검정은 1947년 Psychometrika 이라는 학술지에 처음 발표된 것으로 미국의 심리학자이자 통계학자인 Quinn McNemar에 의해 만들어졌습니다. 맥니마 검정이 어떤 상황에서 쓰이고 무엇을 검정하기 위한 것인지 알아보겠습니다.

 

맥니마 검정은 짝지은 명목형 데이터에서 Column과 Row의 marginal probability가 같은지를 검정하는데에 쓰입니다. 2x2 테이블일 때 적용가능한 방법으로, 즉 변수가 2개일 때 쓸 수 있는 방법입니다. '짝지은' 이라는 말은 두 변수의 값이 서로 연관되어있으며, (동일한 사람에 대해 두 번 측정하거나, 부모-자식 처럼 관련있는 사람들에 대해 측정함) 두 변수의 값을 측정할 때 총 n수가 변하지 않았다는 의미로 볼 수 있습니다. 예를 들어 다음의 데이터를 봅시다.


표1

 

 After: present

 After: absent

 Row total

 Before: present

 59 (a)

6 (b)

65

 Before: absent

 16 (c)

 80 (d)

96

 Column total

75

86

161


위 데이터의 161명의 환자를 대상으로 약을 처방하기 전의 질병의 상태(present, absent)와 처방한 후의 질병의 상태를 나타내는 집계 데이터입니다. 이 집계 데이터의 row 데이터는 아래와 같이 생겼을 것입니다.


Before

After

 present

present

present

absent

....

....


이러한 모양의 행이 161개인 데이터를 집계한 결과가 위의 2x2테이블인 셈입니다. 짝지었다(paired)는 말은 이 경우에는 동일한 사람에 대해 Before와 After을 측정하였으니 이를 짝지은 데이터라고 할 수 있습니다. 또 Before와 After이 범주형이기 때문에 맥니마 검정은 범주형 자료분석의 범위에 속해있는 것입니다. 만약 Before와 After의 변수의 값이 연속형이라면 paired t-test를 통해 before와 after의 모평균의 차가 0인지를 검정할 수 있습니다.


맥니마 검정에서의 귀무가설과 대립가설은 무엇인가?


맥니마 검정에서 검정하고자하는 것은 marginal probability가 같은지를 검정하는 것입니다. 즉, 식으로 pa + pb = pa + pc , pc + pd = pb + pd 으로 표현할 수 있습니다. (이 때 p(a) = a/(a+b), p(b) = b/(b+c) ... 입니다. ) 식을 정리하면 결국, 귀무가설은 pb = pc가 됩니다. 이 귀무가설을 말로 표현해보면 "전체에서 Before:present의 비율과, After:present의 비율이 같은가?" 또한 "Before:absent와 After:present의 비율이 같은가?" 로 표현할 수 있습니다. 공교롭게도 이것은 하나의 식으로 표현가능합니다. 바로 pb = pc 이죠. 이 케이스에서는 약 처방 후 환자의 상태가 유의하게 변했는가? 라고 표현할 수도 있습니다.


귀무가설과 대립가설


{\begin{aligned}H_{0}&:~p_{b}=p_{c}\\H_{1}&:~p_{b}\neq p_{c}\end{aligned}}



검정통계량

\chi ^{2}={(b-c)^{2} \over b+c}. (자유도 = 1)


맥니마 검정의서의 귀무가설과 대립가설, 검정통계량은 위와 같습니다. 이해를 돕기 위해 극단적인 케이스를 살펴보겠습니다.


표2

 

 After: present

 After: absent

 Row total

 Before: present

65

0

65

 Before: absent

0

96

96

 Column total

65

96

161


데이터가 이렇게 생겼다고 해봅시다. 이 경우에 환자는 약의 처방과 관계 없이 이전과 이후의 상태가 완벽하게 같습니다. 따라서 Pb와 Pc의 추정량이 같으며, 검정통계량은 0이 됩니다. p-value를 계산하면 1이되며, 귀무가설을 기각할 수 없게됩니다.


표1

 

 After: present

 After: absent

 Row total

 Before: present

 59 (a)

6 (b)

65

 Before: absent

 16 (c)

 80 (d)

96

 Column total

75

86

161


다시 원래의 표로 돌아가 검정 통계량을 계산해보겠습니다. b=6, c=16이므로 검정통계량은 100/22 = 4.55입니다. p-value는 카이제곱분포에서 4.55이상의 값을 관측할 확률이므로 0.033으로 계산할 수 있습니다. 따라서 marginal probability가 같다는 귀무가설을 기각할 수 있습니다.


참고

http://www.statisticssolutions.com/non-parametric-analysis-mcnemars-test/

http://www.statisticshowto.com/mcnemar-test/

https://en.wikipedia.org/wiki/McNemar%27s_test

반응형
반응형

 


범주형 자료에서 RR, OR을 구할 때, 혼란 변수를 보정하는 한 가지 방법 - 코크란 멘텔 헨젤 방법


앞서 혼란변수가 변수간의 관계를 추론할 때 어떠한 문제를 일으키는 지 알아보았습니다. (http://3months.tistory.com/228) 이러한 혼란 변수는 다양한 방법으로 보정할 수 있습니다. 이번 포스팅에서는 2x2 테이블에서 Relative Risk와 Odds Ratio를 구할 때, 혼란 변수를 보정하여 구하는 방법인 코크란 멘텔 헨젤 방법에 대해 알아보겠습니다.


 

 CVD

No CVD

Total

 Obese

 46

254

300

 Not Obese

60

640

 700

 Total

 106

894

1000


OR = Odds(Obes)/Odds(Not Obese) = (46/254) / (60/640) = 1.93


나이가 혼란변수로 의심되 나이에 따라 Stratification 합니다.

 

Age < 50


 

 CVD

No CVD

Total

 Obese

10

90

100

 Not Obese

35

465

 500

 Total

45

555

600

 

Age >= 50

 

 CVD

No CVD

Total

 Obese

36

164

200

 Not Obese

25

175

200

 Total

61

339

400


Age < 50 : OR = (10/90) / (35/465) = 1.476

Age >= 50 : OR = (36/164) / (25/175) = 1.53

 

Stratification 후에 각각 계산된 OR 값을 통해 혼란 변수로 인해 OR 값이 과추정 되었음을 알 수 있습니다. 이를 감안하여 두 OR 값을 합치기 위한 방법이 바로 코크란-멘텔-헨젤 방법을 통해 공통 OR을 구하는 것입니다.

 

 

 


RR과 OR에 대한 코크란-멘텔-헨젤 추정량은 위와 같습니다. 위 공식에 넣어 공통 OR을 계산하면 1.52를 얻을 수 있습니다.

 

 

 

위에서는 나이 50살을 기준으로해서 단지 2개의 그룹으로 나누었습니다. 하지만 이 기준은 모호하고, 그룹을 세분화하지 않았기 때문에 아직 confounding effect가 남아있을 수 있습니다. 이를 더욱 제거하기위해 아래와 같이 더 세분화하여 그룹을 나눌 수도 있습니다. 이 경우에도 마찬가지로 코크란-멘텔-헨젤 방법의 공식을 통해 공통 OR, RR을 구할 수 있습니다.

 

 

 

 

 

또한 혼란 변수가 보정 된 코크란 멘텔 헨젤 추정량을 얻기 전 OR 또는 RR에 대한 동질성 검정(homogeneity test)을 실행하는 것도 좋습니다. 위 경우에는 두 그룹의 OR 값이 비슷했기에 이를 합쳐 공통 OR을 구하는 것이 합리적인 방법이였지만, 만약 두 그룹의 OR의 차이가 많이 난다면, 따로따로 관계를 해석하는 것이 바람직할 것입니다. 이를 테스트하기위해 사용하는 한가지 방법이 breslow-day test입니다. 이 검정의 p-value가 작으면, 두 그룹의 OR 값이 유의하게 다른것이며, 이 경우에는 코크란 멘텔 헨젤 추정량을 이용하기보다 그룹별로 따로 구한 OR을 각각 해석하는 것이 좋습니다.

참고

http://sphweb.bumc.bu.edu/otlt/mph-modules/bs/bs704-ep713_confounding-em/BS704-EP713_Confounding-EM7.html


반응형
반응형

심슨의 역설(Simpon's Paradox)


심슨의 역설로 유명한 영국 통계학자 에드워드 심슨(1922~)

 

통계학에서의 심슨의 역설이란 그룹을 나누어서 봤을 때는 나타나는 경향이 그룹을 합쳤을 때는 사라지거나 오히려 경향이 역전되는 것을 말합니다. 이는 경향이 역전된다니 그것이 무슨 말일까요?


예를 들어, 신장 결석을 치료하는 두 가지 수술 방법이 있다고 해봅시다. 수술방법 A는 가격이 비싼 대신 치료 성공률이 높습니다. 하지만 가격이 비싸 기 때문에 결석이 큰 중증 환자만 수술방법 A를 택합니다. 반면, 수술 방법 B는 가격이 싸서 비교적 증상이 약하고 결석의 크기가 작은 환자들이 많이 하는 수술방법입니다. 하지만 가격이 싼 만큼 A에 비해서는 치료 성공률도 낮습니다. 이 때, 신장 결석의 크기 별로 수술방법 A와 수술방법B의 치료율을 알아보겠습니다.



작은 결석


 

 수술방법 A

수술방법B

 치료

81

234

 미치료

6

46

 

87

 270


수술방법 A 치료율 = 81/87 = 93%

수술방법 B의 치료율 = 234/270 = 87%


큰 결석


 

 수술방법 A

수술방법B

 치료

192

55

 미치료

 71

25

 

 263

80


수술방법 A 치료율 = 192/263 = 73%

수술방법 B의 치료율 = 55/80 = 69%

결과를 보면 작은결석과 큰 결석 모두에서 수술방법 A의 치료율이 조금씩 높습니다. 그러므로 결론적으로 수술방법 A의 치료율이 높습니다.



작은 결석 + 큰결석


 

 수술방법 A

수술방법B

 치료

 273

289

 미치료

 77

 61

 

 350

 350


수술방법 A 치료율 = 273/350 = 78%

수술방법 B의 치료율 = 289/350 = 83%


하지만 결석의 크기에 따라 치료율을 알아보지 않고 합쳐서 봤을 때는 어떨까요? 이 때, 수술방법 A의 치료 성공률은 273/350 = 0.78, 수술방법 B의 치료 성공률은 289/350 = 0.83입니다. 합치고 보니 오히려 수술방법 B가 더 좋은 것입니다. 이처럼 그룹(결석)을 나누었을 때, 보였던 경향(수술방법A의 치료율이 더 좋다)이 그룹을 합쳤을 때는 오히려 역전(수술방법 B의 치료율이 더 좋다)되는 것을 심슨의 역설이라고 합니다.


그렇다면 왜 이런 현상이 나타날 것일까요? 바로 수술을 받는 환자들의 결석 크기의 분포가 다르기 때문입니다. 서두에도 말했든 수술방법 A는 중증 환자가 받는 수술이기 때문에 큰 결석을 갖고 있는 환자가 많이 받았고, 수술 방법 B는 작은 결석 환자가 많이 받았습니다. 그래서 수술방법 A는 대부분 치료가 어려운 환자를 상대했기 때문에 치료율이 낮을 수 밖에 없는 것입니다.


이를 변수를 도입하여 모델링 해봅시다. 수술방법을 X1, 결석 크기를 X2, 치료 여부를 Y라고 놓아봅시다. 우리가 알고 싶은 것은 X1과 Y의 관계입니다. 하지만 X2는 X1과 Y에 모두 영향을 주면서, (즉 X2<->X1과 X2<->Y가 독립이 아닙니다.) X1와 Y의 인과관계 판단에 영향을 줍니다. 이러한 변수 X2를 우리는 혼란변수(confounding variable)이라고 합니다. 


심슨의 역설은 데이터를 해석할 때는 주의를 기울여야 한다는 교훈을 주었습니다. 왜냐하면 이 경우에는 작은 결석과 큰 결석으로 나눈 데이터를 먼저 보았기 때문에 이러한 결론을 내릴 수 있지만, 실제로 우리가 보는 데이터가 그룹별로 나뉘어진 데이터가 아닐 수도 있기 때문입니다. 그럴 경우에 우리는 '수술방법 B가 더 낫다' 라는 잘못된 결론을 내릴 수도 있습니다. 따라서 데이터를 해석하고 그 안에 숨겨진 인과관계를 추론할 때는 이러한 혼란 변수를 반드시 고려하여 결론을 내려야 합니다.

 


참고

https://en.wikipedia.org/wiki/Simpson%27s_paradox

반응형
반응형

Ecological Fallacy


https://www.britannica.com/topic/ecological-fallacy


Ecological fallacy, also called ecological inference fallacy, in epidemiology, failure in reasoning that arises when an inference is made about an individual based on aggregate data for a group. In ecological studies (observational studies of relationships between risk-modifying factors and health or other outcomes in populations), the aggregation of data results in the loss or concealment of certain details of information. Statistically, a correlation tends to be larger when an association is assessed at the group level than when it is assessed at the individual level. Nonetheless, details about individuals may be missed in aggregate data sets. There are a variety of examples of ecological fallacy; three are described in this article.


In a third example, researchers found that death rates from breast cancer were significantly increased in countries where fat consumption was high when compared with countries where fat consumption was low. This is an association for aggregate data in which the unit of observation is country. Thus, in countries with more fat in the diet and higher rates of breast cancer, women who eat fatty foods are not necessarily more likely to get breast cancer. One cannot be certain that the breast cancer cases had high fat intakes.


우선, 생태학적 연구란 관찰연구이며 risk factor와 health outcome 사이의 관계를 인구집단 단위로 보는 것이다. 생태학적 오류(Ecological Fallacy)란 하지만 이러한 인구집단별 차이가 개개인의 risk-outcome 관계를 추론하는데 실패하는 경우를 이르는 경우를 말한다. 생태학적 연구의 결과는 집단의 평균에 관한 것이며 이를 개인으로 일반화 시키면 안된다는 것을 말한다.


예를 들어, A 국가와 B 국가의 지방섭취량과 유방암 사망률을 조사해서 지방섭취량이 많은 나라가 유방암 사망률이 더 높다는 결론을 얻었다 하자. 하지만 이러한 결론을 개인화화여 "지방섭취량이 많으면 유방암 사망률을 높인다." 와 같이 결론을 내릴 수는 없다. 이 국가중 한 나라를 집어서 개인별로 지방섭취량과 유방암 사망률의 관계를 조사한 결과 이러한 생태학적 연구 결과와 상관없이 지방섭취량과 유방암의 관계는 없었다고 한다. 이처럼 생태학적 연구의 결과를 개인에 적용하면 안되며, 심지어 생태학적 연구의 결과와 이를 개인에 적용했을 때의 결과는 반대일 수도 있다.


그러면 일반화의 오류(hasty generalization)과 생태학적 오류는 어떻게 다를까? (https://enviropaul.wordpress.com/2016/04/03/logical-fallacies-and-the-environment-hasty-generalization-and-the-ecological-fallacy/) 일반화의 오류는 작은 데이터로 전체를 판단하는 오류이다. 이는 집단의 평균적 특성을 개인에 적용하면 안된다는 생태학적 오류와는 다소 다르다.


* 2017/10/17 추가


생태학적 연구로 risk-outcome의 관계에 대해 결론을 내릴 수 없다면 생태학적 연구는 왜 하는 것일까? 이유는 생태학적 연구를 통해 가설을 생성(hypothesis genetraing) 할 수 있기 때문이다. 생태학적 연구를 통해 어떠한 risk가 outcome의 잠재적인 원인이 될 수 있다는 가설을 세울 수 있고, 이를 RCT 등의 연구를 통해 검증할 수 있다. 또한 생태학적 연구의 장점은 비용과 시간이 적게 들며, 개인으로는 쉽게 얻을 수 있는 데이터를 쉽게 얻을 수 있다는 점이다. 예를 들어 개인의 알코올 섭취량과 어떤 질병의 관계에 관한 연구에서, 개인의 정확한 알코올 섭취량을 얻기는 힘들다. (설문지 등을 이용하여야하기 때문에 이로 인해 bias가 생길 수  있음) 하지만, 생태학적 연구를 통해 집단별로 연구를 하게 되면 그 지역의 주류세 등을 이용해 알코올 섭취량과 질병의 관계를 집단 단위로 수행할 수 있게 된다.


반응형
반응형

임상실험은 사람을 대상으로하는 실험이며, 특정 집단을 대상으로 임의로 그룹을 나누고(Randomization), 그룹별로 처치를 다르게 하여, 그룹별 결과의 차이를 살펴 보는 실험이다. 임상실험은 스터디 디자인 중 메타분석을 제외하면 가장 결과의 타당도가 높은 실험이며, 인과성 추론(causal inference)의 강한 증거가 된다.


예를 들어 10명을 대상으로 임상실험을 한다고 하면


실험 참여자 : {1,2,3,4,5,6,7,8,9,10}


이들 중에 5명은 A그룹으로 A약을 처치하고 5명은 B그룹으로 위약을 처치한다고 하자. 그러면 5명을 임의추출 하여 A 그룹으로 그 이외의 5명을 B 그룹으로 나누게 된다. (일반적인 임의 추출법을 사용하는 경우) 예를 들어,


A : {2,3,7,8,10}

B: {1,4,5,6,9}

(randomization이 잘 됐다면 두 그룹에서 confounder의 분포는 기대적으로 같다.)


임상실험의 장점은 다른 관찰 실험들에 비해 Randomization을 통해 많은 바이어스를 제거할 수 있다는 것이다. Randomization을 잘 한다면, 바이어스의 3가지 종류(selection bias, information bias, confounding bias) 모두 감소시킬 수 있다.


하지만 randomization이 잘 안되었을 경우, RCT에도 바이어스가 생길 수 있는데 그 예는 아래와 같다.


  • Selection bias & confounding bias : randomization이 제대로 되지 않았다면, 그룹별로 기본적인 특성이 달라서 생길 수 있다.
  • Information bias
    • Performance bias : 연구자가 그룹별로 다르게 대우한다면 결과에 바이어스가 있을 수 있다. 예를 들어, 신약 임상실험에서 신약을 섭취한 대상의 예후를 좋게하기 위해 더 케어를 해준다면 이런 바이어스가 나타날 수 있다.
    • Reporting bias : 결과가 좋은 환자만을 대상으로 리포팅한다면 바이어스가 생길 수 있다.
    • Attrition bias : 중도 탈락자에 의해 생길 수 있는 바이어스.

이 때, selection bias와 confounding bias는 눈가림법(bliding method)을 사용하고 표본의 수를 늘린다면 어느정도 해결 할 수 있을 것이다. 하지만 Information bias는 사람에 의해 일어나서 막기가 힘든 바이어스이다. (물론 중도 탈락자한테 돈을 지급해 줄테니 실험에 참여해달라고 할 수도 있다.) 이처럼 여러가지 스터디 디자인 중에 증거력이 좋은 임상실험이라 할지라도 결과에 어느정도 바이어스가 있을 수 있다.






반응형
반응형