따져 본 규칙
봇의 부진 원인을 찾다가 일봉으로 단순한 규칙 하나를 시뮬레이션했다. 2월 초부터 8월 말까지의 기록이다.
코스닥 지수가 전날보다 1% 이상 높게 출발한 날, 코스닥 종목을 시가에 사서 장 마감에 판다. 이런 날이 41일 있었고, 왕복 비용을 뺀 뒤에도 하루 평균 +0.566%였다.
숫자가 좋아 보일수록 먼저 묻는 것이 있다. 아무 날이나 골라도 이 정도는 나오지 않는가. 그래서 늘 쓰던 무작위 대조에 넣었다. 규칙이 고른 결과를 무작위로 고른 결과 수천 개와 나란히 놓고, 몇 번째쯤에 서는지 보는 검사다. 상위권에 서야 "무작위보다 낫다"고 말할 수 있다.
48.7퍼센타일
결과는 48.7퍼센타일이었다. 무작위 분포의 한가운데다. 이 검사의 문법대로라면 "무작위와 구분할 수 없음"이고, 그렇게 기각 쪽으로 적었다.
그런데 이 숫자는 규칙에 대해서만이 아니라 도구에 대해서도 무언가를 말하고 있었다. 결과가 분포의 정확히 가운데에 떨어질 때는, 규칙이 무력한 경우와 검사가 아무것도 보지 못하는 경우가 같은 모양으로 보인다.
도구가 통제하던 것
그래서 규칙이 아니라 도구를 열었다.
이 무작위 대조는 대조군을 선택된 거래와 같은 날짜, 같은 시각에서 뽑는다. 이유가 있는 설계다. 특정한 날에 몰린 규칙이 그날 시장이 좋았던 덕을 자기 실력으로 가져가는 것을 막으려는 장치다. "같은 날 안에서 어떤 종목을 고르느냐"를 재는 규칙에는 정확히 맞는 대조다.
문제는 이번 규칙이 종목을 고르지 않는다는 점이었다. 이 규칙이 고르는 것은 날이다. 그날이 오면 종목은 전부 산다.
같은 날짜에서 대조군을 뽑으면, 대조군도 규칙이 고른 바로 그날들에서 나온다. 그날의 종목을 전부 산 결과와, 그날의 종목을 무작위로 산 결과는 평균이 같아질 수밖에 없다. 규칙이 만든 차이, 즉 "어느 날 참여할지"가 대조 단계에서 통째로 지워진다.
48.7퍼센타일은 신호가 없다는 뜻이 아니었다. 이 도구로는 날을 고르는 효과를 잴 수 없다는 뜻이었다. 무엇을 넣어도 한가운데가 나오는 측정이었다.
날짜 단위로 다시 뽑자
대조를 바꿨다. 신호일 대신 무작위로 고른 날들에 같은 방식으로 사고팔게 하고, 이것을 5,000번 반복해 분포를 만들었다.
| 대조 방식 | 무엇을 맞추고 뽑는가 | 결과 |
|---|---|---|
| 기존 무작위 대조 | 같은 날짜·같은 시각 | 48.7퍼센타일 |
| 날짜 단위 다시 뽑기 | 날짜 자체를 무작위로 | 99.8퍼센타일 |
5,000번 중 규칙을 이긴 경우는 12번이었다. 같은 규칙, 같은 기간, 같은 비용이다. 바뀐 것은 대조가 무엇을 고정하느냐 하나였다.
그래서 이 규칙을 썼는가
쓰지 않았다. 도구를 고치자 신호가 살아났지만, 살아난 신호가 곧 채택할 신호는 아니었다.
- 기간을 나누면 흔들렸다. 7~8월 12일만 보면 하루 +1.560%로 부풀었고, 2~4월 19일만 보면 하루 −0.334%에 51.4퍼센타일, 다시 무작위와 구분되지 않았다.
- 소수의 날이 결과를 만들었다. 상위 3일이 전체 합의 89%였다.
그래서 판정은 "무작위보다 낫다는 것은 확인했고, 그 우위가 기간을 견디는지는 확인하지 못했다"에서 멈췄다. 이 글이 말하려는 것은 신호가 좋았다는 이야기가 아니다. 틀린 도구가 내린 기각을 그대로 믿었다면, 이 두 번째 질문까지 가지도 못했을 것이다.
💡 검증 도구가 무엇을 통제하는지 모르고 쓰면, 도구가 정답을 기각한다. 대조군을 무엇에 맞춰 뽑느냐가 곧 그 검사가 지우는 효과다. 규칙이 다루는 효과가 바로 그것이면, 결과는 늘 "구분 불가"로 나온다.
남은 것
대조를 고르기 전에, 규칙이 무엇을 고르는지부터 적는다. 종목을 고르는 규칙과 날을 고르는 규칙은 같은 대조로 잴 수 없다.
한가운데라는 결과도 의심한다. 무작위 분포의 중앙은 "효과가 없다"와 "이 도구는 효과를 볼 수 없다"를 같은 모양으로 보여 준다. 둘을 가르려면 도구가 무엇을 지우는지 알아야 한다.
거짓 기각은 조용하다. 틀린 통과는 나중에 돈을 잃으며 드러나지만, 틀린 기각은 아무 일도 일어나지 않아서 드러나지 않는다. 버린 신호는 다시 보지 않기 때문이다.