백테스트: 과거로 미래를 예측할 수 있는가
퀀트 투자자들이 가장 먼저 하는 일은 백테스트(Backtesting)입니다. 과거 데이터로 자신의 투자 전략을 검증하는 작업입니다. "만약 2000년부터 이 전략을 사용했다면 어떤 수익률을 냈을까?"를 시뮬레이션합니다. 백테스트 결과가 좋으면 실전에 적용하고, 나쁘면 전략을 수정합니다.
그러나 이 접근법에는 치명적인 약점이 있습니다. Quantopian의 분석에 따르면, 백테스트 샤프비율(위험 조정 수익률 지표)과 실제 성과의 상관계수는 0.05 미만입니다. 통계적으로 거의 무관한 수준입니다. 즉, 백테스트에서 아무리 좋은 성과를 보인 전략도 실전에서는 그 성과가 재현되지 않을 가능성이 매우 높습니다.
백테스트의 구조적 문제
문제 1: 과적합(Overfitting)
과적합은 백테스트에서 가장 흔하고 심각한 문제입니다. 투자자들은 좋은 결과가 나올 때까지 전략을 수정합니다. 이동평균 기간을 10일, 20일, 50일로 바꿔보고, 매수 기준을 5%, 10%, 15%로 조정해봅니다. 최종적으로 가장 좋은 결과를 내는 파라미터 조합을 선택합니다.
이것이 과적합입니다. 전략이 특정 과거 데이터에만 최적화되어, 새로운 데이터(미래)에는 잘 작동하지 않습니다. 충분히 많은 파라미터를 시도하면, 어떤 데이터에서든 좋은 결과를 낼 수 있습니다. 이것은 통계적 우연에 불과합니다. 학술적으로 이를 "데이터 마이닝 편향(Data Snooping Bias)"이라고도 합니다.
David Bailey 외(2014)의 연구에 따르면, 월간 데이터로 10년치를 백테스트할 때, 진정한 성과 없이도 과적합만으로 인상적인 샤프비율이 나올 확률이 40%에 달합니다. 즉, 과적합 전략 10개 중 4개는 우연히 좋아 보이는 백테스트 결과를 냅니다.
문제 2: 생존 편향(Survivorship Bias)
백테스트에 사용하는 데이터베이스에는 현재 존재하는 기업만 포함됩니다. 파산하거나 상장폐지된 기업들은 데이터베이스에서 사라졌습니다. "상위 시가총액 100개 종목에 투자하는 전략"을 2000년부터 백테스트한다면, 그 100개는 2024년 현재도 존재하는 기업들입니다. 2000년에 상위 100개였지만 이후 파산한 기업들은 포함되지 않습니다.
이 생존 편향은 백테스트 수익률을 인위적으로 높입니다. 실제로 그 전략을 2000년에 사용했다면 파산 기업들도 포함됐을 것이기 때문입니다. 연구에 따르면 생존 편향이 백테스트 수익률을 연 1~5%포인트 과대평가하게 합니다.
문제 3: 거래 비용과 슬리피지 과소평가
백테스트는 일반적으로 "종가에 완벽하게 거래된다"고 가정합니다. 그러나 실제 거래에는 수수료, 세금, 비드-애스크 스프레드, 슬리피지(Slippage, 원하는 가격과 실제 거래 가격의 차이)가 발생합니다. 특히 유동성이 낮은 소형주나 변동성이 높은 시장에서는 슬리피지가 매우 클 수 있습니다.
고회전율 전략은 이 비용에 특히 민감합니다. 매일 포지션을 바꾸는 전략이 백테스트에서 연 20% 수익을 보이더라도, 실제 거래 비용을 반영하면 수익률이 절반 이하로 줄어들 수 있습니다.
문제 4: 미래 데이터 오염(Look-Ahead Bias)
백테스트에서 종종 발생하는 오류는 미래 데이터를 현재 결정에 사용하는 것입니다. 예를 들어, 어떤 기업의 분기 실적이 좋았다는 사실이 발표일 이전 데이터에 반영되어 있다면, 그 정보를 바탕으로 한 전략은 실전에서 사용 불가능합니다. 이 오류는 코딩 실수로도 발생하고, 데이터 정제 과정에서도 발생합니다.
좋은 백테스트를 위한 원칙
백테스트의 문제를 완전히 피할 수는 없지만, 신뢰성을 높이는 방법은 있습니다. 첫째, 아웃오브샘플(Out-of-Sample) 검증을 합니다. 전체 데이터를 훈련 데이터와 테스트 데이터로 분리해, 훈련 데이터에서 전략을 개발하고 테스트 데이터에서 검증합니다. 둘째, 파라미터 수를 최소화합니다. 파라미터가 적을수록 과적합 위험이 줄어듭니다. 셋째, 생존 편향 없는 데이터를 사용합니다. 파산 기업을 포함한 전체 유니버스 데이터를 사용합니다. 넷째, 실제 거래 비용을 보수적으로 반영합니다. 다섯째, 여러 시장과 기간에서 전략이 일관성 있게 작동하는지 확인합니다(Robustness Test).
결론: 백테스트는 참고 자료이지 보증서가 아니다
Quantopian이 측정한 상관계수 0.05는 백테스트 성과가 실제 성과를 예측하는 데 거의 쓸모가 없다는 것을 의미합니다. 그러나 백테스트를 완전히 무시해야 한다는 뜻도 아닙니다. 백테스트는 전략이 "절대 작동하지 않는지"를 확인하는 필요 조건이지, 충분 조건이 아닙니다. 백테스트에서 나쁜 결과는 전략을 포기하는 이유가 되지만, 좋은 결과는 실전 투자를 보장하지 않습니다.