월요일 아침, 한국의 KOSPI가 7.9% 떨어졌습니다 — 수년 만에 최악의 세션 중 하나였죠. 저희 엔진은 몇 시간 뒤 그날의 결정을 봉인했습니다. 봉인된 기록에는 그 순간 엔진이 믿고 있던 것이 그대로 남아 있습니다: "아시아 밤사이 +0.35% — 우호적인 배경."
아시아는 +0.35%가 아니었습니다. 아시아는 불타고 있었습니다. 저희 엔진은 금요일을 읽고 있었던 겁니다.
이 글은 그 버그의 이야기입니다. 미스를 공개하는 것이 저희 제품이니까요.
무엇이 잘못됐나. 저희 레짐 엔진은 일본·한국·대만·중국을 추종하는 미국 상장 ETF들을 통해 아시아 시장을 관찰합니다. 룩어헤드 편향(look-ahead bias) — 아직 존재하지 않았던 정보를 실수로 쓰는 것 — 을 막기 위해, 파이프라인은 이 ETF들의 완결된 일봉만 소비하도록 설계돼 있었습니다. 그런데 이 ETF들은 미국 시간에 거래됩니다. 저희 봉인 시각(미국 개장 전)에 가장 최근의 완결된 일봉은 금요일 미국 종가였습니다. 몇 시간 전에 이미 끝난 — 휴대폰만 있으면 누구나 볼 수 있었던 — 월요일의 한국 세션은, 엔진이 스스로에게 허용한 데이터 안에서는 아직 존재하지 않았던 겁니다. 부정행위를 막으려고 만든 규칙이, 보는 것 자체를 막아버렸습니다.
그날 저희가 한 일. 봉인은 봉인된 채로 남았습니다 — 공개된 기록은 절대 수정하지 않습니다. 대신 미국 개장 46분 전, 그날 리포트에 라벨을 단 부록(addendum)을 덧붙였습니다: 아시아가 실제로 어떻게 됐는지, 엔진이 무엇을 믿고 있었는지, 그리고 결정은 바꾸지 않았다는 것. 그리고 밤사이 파이프라인을 고쳤습니다: 아시아 신호는 이제 봉인 시각의 당일 스냅샷을 쓰고, 신선한 가격이 없는 티커는 (정직한 라벨과 함께) 종목별로 폴백합니다. 그 월요일을 새 로직으로 재생하면, 한국은 −0.67%가 아니라 −7.53%로 읽힙니다 — 신호의 기여가 "약한 긍정"에서 "확실한 경계"로 뒤집힙니다.
반전: 그날 그 버그는 거의 문제가 되지 않았습니다. 반사실(counterfactual)을 돌려봤습니다. 엔진이 폭락을 봤더라도 노출을 1%포인트도 안 되게 줄였을 것이고 — 그 월요일 S&P가 빠지는 동안 저희 방어적 포트폴리오는 오히려 플러스였기 때문에, "올바른" 신호가 있었어도 결과는 거의 달라지지 않았을 겁니다. 반전이 하나 더 있습니다: 바로 다음 날 미국 시장이 반등했기 때문에, 패닉에 비례해 반응했다면 그것이야말로 진짜 실수가 됐을 겁니다. 저희가 버그를 고친 이유는 결과가 요구해서가 아니라, 틀린 입력은 틀렸기 때문입니다.
남긴 것. 그 월요일에서 세 가지 습관이 나왔고, 이제 영구 운영됩니다. 첫째, 아시아 신호가 실제로 미국 세션을 예측했는지 매일 채점하는 로그(첫 이틀 동안 두 번 빗나갔습니다 — 그래서 가정하는 대신 기록합니다). 둘째, 이런 날들을 다음 엔진 개정판을 위해 적어두는 사례집(casebook). 셋째, 부록 관행 그 자체 — 현실이 봉인을 앞지르면, 같은 날 그 페이지에서 그렇다고 말합니다.
버그를 절대 공개하지 않는 시스템은 버그가 없다고 믿어주길 바라는 시스템입니다. 저희 시스템은 공개하고, 여러분은 저희가 고치는 과정을 지켜볼 수 있습니다.
교육 목적의 콘텐츠입니다. 투자 조언이 아닙니다. 모든 수치는 공개된 타임스탬프 기록에서 가져왔습니다.