Synthetic Control Methods (SCM)

※ 이 글은 2020년 여름에 다른 곳에 게시했던 글이다. 글에 대한 모든 권리는 글쓴이에게 있으며, 글에 남아있는 모든 오류는 글쓴이의 책임이다. 글의 영리적 이용을 금하며, 그 외 비영리적 목적에서의 이용은 글쓴이에게 문의해 주시기를 바란다. (소개는 상관없음.) 

===========================================================================

 

"어떤 방법론, 이론을 배우는 가장 좋은 방법 중 하나는, 그 방법론이나 이론으로 논문을 쓰는 것이다." 참 쉽죠?

 

그래서 공부해 본, Synthetic Control Methods에 관한 짧은 정리.

 

최근 응용미시경제학에서 많이 쓰이고 있는 처치효과(Treatment Effects) 추정법 중 Synthetic Control Methods (SCM)라는 방법론이 있다.

응용미시경제학에서 잘 알려진 처치효과 추정법들은 대개 이중차분법(Difference-in-Differences), 절단회귀법(Regression Discontinuity), 성향점수매칭(Propensity Score Matching) 등등의 적절한 한글 용어가 있는데, SCM은 한글로는 어떻게 불러야 하는지 잘 모르겠다. 아무튼... 가짜통제법? 종합적통제법? 다 아닌듯ㅠㅠ

  

SCM은 Abadie et al (2010 JASA) (2014 AJPS)에서 출발한 방법론으로, 개인/지역/국가단위에서 어떤 특정 개별단위에게만 외생적인 정책(Treatments) 또는 간섭(Intervention)이 일어났을 때 그 처치효과를 어떻게 정확히 추정해낼 것인가에 대한 것이다. 최근 몇년 동안 처치효과 추정에 있어 나름 '최신' 기법으로 각광받아왔고 (이제는 최신기법이라 하기 좀 어렵지만), 짧은 내 생각에도 논리가 꽤 매력적인 구석이 있는 방법론이다. 이쪽방면의 대가들인 Susan Athey와 Guido Imbens 선생 曰, "SCM은 최근 15년간 정책효과 추정 방법론에 있어 가장 중요한 혁신이다." (The synthetic control approach developed by Abadie, Diamond, and Hainmueller (2010, 2014) and Abadie and Gardeazabal (2003) is arguably the most important innovation in the policy evaluation literature in the last 15 years (Athey and Imbens, 2017)).

 

실증무역쪽에서는 SCM을 연구에 적용할 여지가 있는 상황들이 노동, 교육, 보건 등에 비해 적어서 SCM이 그리 자주 사용되지는 못했지만, 그래도 연구맥락에 따라 소수의 몇몇 실증무역연구들이 SCM을 적용해 왔다. 예컨대 미국이 중국으로부터의 타이어 수입에 대해 세이프가드를 걸었을 때 미국 노동시장에서의 해당 부문의 고용, 임금효과가 어땠는지를 보는데 이용한다든지.(Chung et al (2016 EER))

 

가급적 간단히, 최대한 직관적으로 SCM에 대해 이해해보자. 

 

"30명이 있는 어느 중학교 1학년 학급이 있다. 1학년을 마치는 시점에서, 추첨을 통해 학급의 한명에게 장학금을 지급하기로 하였고 추첨결과 반에서 15등인 김철수가 뽑혀 장학금을 받았다. 이 장학금이 철수의 학업성적에 끼치는 영향은 어떻게 평가할 것인가?" 

 

장학금의 정책효과를 평가하기 위해서는, 장학금을 지급한 이후 같은 시점에서 '장학금을 받은 철수'와 '장학금을 받지 않은 철수' 사이의 성적을 비교해야 할 것이다. 그리고 거의 모든 처치효과 추정 문제가 그렇듯, 가장 큰 문제는 '장학금을 받지 않은 철수'는 세상에 존재하지 않는다는(Counter-factual)데 있다.

 

이러한 상황을 타개하기 위한 SCM의 철학은 대략 이렇다. 철수를 제외한 다른 29명중 몇명을 뽑는다. 그리고 그렇게 뽑힌 학생들로부터, 장학금이 수여되기 전 특성들(pre-intervention characteristics)을 예측변수(predictor)로 삼아 이들을 잘 섞었을 때, 장학금을 받기 전인 중학교 1학년 철수의 특성과 가장 흡사한 특성을 갖는 '가짜 철수'를 만드는 가장 좋은 가중치(optimal weights)를 찾는다. 

그렇게 얻은 가중치들을 우리가 관심을 갖는 변수(outcome variable: 우리 예시에서는 성적)에 대해 동일하게 적용한다. 이 때 장학금 수여 이후 실제로 관찰된 '진짜 철수의 성적'과 가중치를 통해 철수네 학급 학생들의 성적을 섞어 만든 '가짜 철수의 성적' 사이의 차이가 우리가 보고싶은 장학금 지급의 정책효과가 된다. 

 

SCM을 성공적으로 적용하기 위해서는 따라서 몇가지 조건들이 만족되야 한다.

 

1. 가장 중요한 조건. 사건이 일어나기 전 기간(Pre-intervention Periods)가 사건 이후의 기간(Post-intervention Periods)에 비해 충분히 길어야 한다.

 

SCM은 사건이 일어나기 전 기간의 특성들의 추세를 통해 사건의 영향을 받은 단위가 '만약 사건의 영향을 받지 않았다면' 어땠을지 추정하는 방법이다. 따라서 추정의 신뢰성을 위해서는 예측을 위해 사용할 사건 이전의 기간이 충분히 길어야 한다. 예컨대 위의 사례에서 중학교 1학년 한 학기 정도의 자료를 가지고 장학금이 중2, 중3, 고1, 수능....등등의 장기간 성적에 미치는 영향을 추정하려 하면 그 결과를 신뢰하기가 어려워진다. 사건이 일어나기 전 기간의 길이가 사건 이후의 기간 대비 충분히 길수록 결과를 신뢰하기 쉬워진다. 가끔 연구들 중에 보면 정책이후 기간이 이전 기간보다 긴 경우들이 있는데, 데이터 문제 때문에 어쩔 수 없었으리라 짐작은 하지만 결과를 받아들이기 좀 어려운 것도 사실이다. 수능에 미치는 영향을 보려면 적어도 유치원 부터의 성적은 있어야...

 

2. 가중평균을 위해 사용되는 다른 관측치들이, 사건의 영향을 받은 단위와 어느정도 흡사해야 한다.

 

장학금을 받기 전 철수는 반에서 15등 정도 성적인 학생이다. 다른 10명을 뽑아 '가짜 철수'를 만든다고 할 때, 대략 10-20등 정도 성적의 학생들을 섞는 쪽이, 성적이 아주 좋은 학생들만 뽑아 섞거나 반대로 성적이 아주 안좋은 학생들만 뽑아 섞는 것보다 실제 철수에 더 가깝게 가짜 철수를 만들기 쉬울 것이다. 

 

3. SCM을 위해 사용되는 특성의 분포에서, 사건의 영향을 받은 단위가 끝쪽에 위치할 수록 SCM을 사용하는데 어려움이 따른다.

 

2번과 연결되는 이야기이다. 예컨대 '가짜' 철수를 만들기 위한 변수로 집안의 소득 변수를 사용하기로 했다고 하자. 하필 철수만 재벌 아들이고 가짜 철수를 만들기 위한 다른 10명은 모두 그렇지 않다면 어떨까. 나머지 10명의 소득을 아무리 잘 섞어도 '금수저 철수'를 만들기는 쉽지 않을 것이다. 따라서 이런 경우 집안의 소득은 좋은 예측변수가 될 수 없다. 

 

- 3-1을 해결하기 위해, 가중평균을 위한 가중치에서 음수를 허용하는 방법도 생각해 볼 수 있다. 이러한 0보다 작은 가중치를 허용하는 것은 곧 예측변수에서 외삽을 허용하는 것과 동일한 결과라고 알려져 있다. (Abadie et al (2014 AJPS)) 상황에 따라 이러한 '외삽'을 허용하는 것이 예측력을 더 높일 수도 있으나, 세상만사가 대개 그렇듯이 이렇게 했을 때 감수해야 하는 문제점도 있다....라고 한다. (Doudchenko and Imbens 2017)

 

4. 그렇다면 우리가 가짜 철수를 만들기 위해 사용하는 예측 변수(Predictor)로, 우리의 관심변수(Outcome Variable)를 사용해도 되는가? 즉 다른 10명의 장학금 수여식이 있기 이전 1학년 때의 몇몇 성적을 섞어 '가짜 철수'의 성적을 만들어도 괜찮은가?

답은 "일단은 Yes"이다. 장학금이 수여되기 전 성적 중 몇몇 일부, 혹은 최초값이나 평균등을 예측변수로 삼을 수도 있을 것이다. 이 때 연구자는 자신이 원하는 결과만을 체리피킹하지 않도록, 다양한 시도들에 대해 결과가 일관되게 나오는지 살펴볼 필요가 있다. 

관심변수의 과거값을 어떻게 예측변수로 삼아야 하는가에 대해서는 다소간 논쟁이 있어서, 예컨대 앞의 예시에서 장학금 수여 전(Pre-intervention) 모든 성적을 각각 개별적으로 예측변수로 사용할 경우, 다른 설명변수들이 예측력을 잃으면서 추정치가 편의(bias)로 오염될 수 있다는 주장도 있다. 따라서 연구자가 SCM 분석을 수행하는데 있어 과거 관심변수 외에 다른 예측변수들도 유용하게 쓰이기를 원한다면, 모든 과거 변수를 각각 개별적인 예측변수로 사용하는 것은 피해야 한다. 다른 설명변수가 없을 경우 모든 과거 변수를 각각 개별적인 예측변수로 사용하는 것은 시계열에서의 단변량 예측과 같다고.   (자세한 것은 Kaul et al 2019 참조) 

 

5. 보통 SCM이 잘 되었는지를 평가하기 위해서는 (1) 장학금을 받기 전  '진짜 철수'와 '가짜 철수'가 서로 비슷하게 잘 맞춰졌는가? (2) 장학금을 받은 이후 '진짜'와 '가짜'의 성적 차이가 다른 학생들과 비교했을 때 딱 철수만 다르게 나타나는가?를 보는 것이 중요하다. 

(1)은 별로 설명이 필요없을 것 같고, (2)는 만약 장학금 수여 시점 이후 철수 뿐 아니라 다른 학생들에서도 진짜와 가짜 사이에 성적이 다르다는 결론이 나왔다면, 철수에게서 관찰된 정책효과는 철수에게만 적용되는 장학금이 아니라 모든 학생들의 성적에 공통적인 뭔가 다른 요인의 영향을 받았을 가능성을 의심해야 한다. 

 

대개의 연구들에서 (1)은 진짜 철수와 가짜 철수의 장학금 받기 전 관심변수의 추세가 근접하는지를 봐야 한다. RMSPE (Root Mean Squared Prediction Errors)라는 통계치의 값을 제시하기도 하지만 사실 가장 직관적인 방법은 그냥 눈으로 봤을 때 둘이 예쁘게 비슷한지 보는것이다. (이걸 또 문헌에서는 굳이 'Eyeball Test'라고 부른다는...) (2)를 평가하기 위해서 '진짜 철수'와 '가짜 철수' 뿐 아니라 다른 학생들에 대해서도, 마치 다른 학생들도 각각 장학금을 받은 것 처럼 가정해서 '진짜'와 '가짜'를 만든 후 관심변수의 차이를 비교하는, 위약 검사(Placebo test)를 수행한다. 장학금 수여 시점 이후 철수에게서만 진짜와 가짜의 성적 차이가 뚜렷하고 다른 학생들에게서는 그런 패턴이 관찰되지 않았다면, 철수에게서 관찰된 효과는 장학금 수여의 효과라고 추측할 수 있을 것이다. 

 

PS. 위약검사라는 이름에서 볼 수 있듯 이러한 처치효과 방법론의 용어들은 본래 방법론들이 먼저 개발된 보건학쪽에서 빌려온 경우가 많다. (예컨대 위의 가짜 철수를 만들기 위한 다른 학생들의 그룹을 문헌에서는 'Donor pool'이라고 부른다든지...)

 

 

추가로 참고할 자료

• Synthetic Control Methods에 대한 온라인 세미나 링크 (Link)
• 누군가 SCM의 최근 논의에 대해 잘 정리한 글 하나 링크 (Link)
• Abadie et al의 최초의 SCM 모형이 나온 이후에도 이를 보완 및 확장하는 여러 후속 연구들이 있었다. 보이는대로 기록해 봐야겠다.
  예컨대 Preintervention fit이 만족스럽지 않은 경우 생길 수 있는 편의에 대한 보정을 고려한 Augmented SCM (Ben-Michael, Feller, Rothstein 2021 JASA Link), Penalized SCM (Abadie and L'Hour 2021 JASA Link). 그리고 이들을 STATA에서 구현한 패키지에 대한 설명 슬라이드 Link
• 사건의 영향을 받은 Unit이 다수인 경우 어떻게 SCM을 적용할 것인지에 대해서는 Cavallo et al (2013 REStat Link), Kreif et al (2016 Health Economics Link)의 선행연구가 있었고, 이를 STATA에서 구현하는 법에 대해서는 Synth_runner 패키지를 볼 것(Link, Github). 그 밖에 최근에 나온 위에 소개한 Abadie and L'Hour의 Penalized SCM도 같이 볼 것. 
• Abadie 교수가 최근에 JEL에 작성한 SCM에 대한 광범위한 문헌 연구 Link 

 

(2023.07.24 추가)

 

Synthetic Control을 다시 써볼일이 있어 조금 찾아보았다. 딱 좋은 설명변수가 없는 상황에서 (1)  Pre-treatment 시기의 종속변수 각각을 예측변수로 써도 될지 (2) Pre-treatment 이전 시기의 종속변수를 예측변수로 써도 되는지 고민중이다. (그렇게 한 응용 논문들도 있다.)  

• 위의 Kaul et al은 2022년에 Journal of Business and Economic Statistics에 게재되었다.
• 다음 두 논문들도 참고.
  Synthetic controls with imperfect pretreatment fit (Ferman and Pinto 2021 Quantitative Economics)
  On the role of covariates in the synthetic control method (Botosaru and Ferman 2019 Econometric Journal)