접을지를 따지던 자리
EthiLab은 장 마감 뒤 시그널을 내고, 그 뒤 실제 가격으로 성적을 매긴다. 한동안 이 성적표를 "손실 중"으로 읽었다. 내가 먼저 그렇게 판정했다. 건당 평균 −0.84%, 신호 7종 가운데 6종이 기준 미달. 그 판정 위에서 시그널을 계속 낼지, 접을지를 논의했다.
그 판정에는 표본 수가 적혀 있었다. 빠진 것은 하나였다. 그 표본이 그 결론을 받칠 수 있는지 검정하지 않았다.
원본을 다시 열었다
요약 화면이 아니라 집계 원본을 열고, 기간 세 개를 나란히 놓았다. 수수료·세금을 빼기 전, 청산 1건당 평균 수익률이다.
| 구간 | 청산 | 평균 | |t| |
|---|---|---|---|
| 전체 | 74건 | −0.53% | 0.66 이하 |
| 최근 90일 | 66건 | −1.08% | 1.31 이하 |
| 최근 30일 | 26건 | +1.22% | 0.98 이하 |
마지막 열이 이 글의 전부다. t는 "평균이 0에서 떨어진 거리"를 "흔들림의 크기"로 나눈 값이고, 대략 2를 넘어야 0과 다르다고 말할 수 있다. 세 구간 모두 그 근처에도 가지 못했다. 가장 좋아 보이는 30일 +1.22%조차 95% 신뢰구간이 가장 좁게 잡아도 −1.36%에서 +3.80%까지 걸쳐 0을 품는다.
부호가 구간마다 갈리는 것처럼 보였지만, 실제로는 어느 구간도 부호를 말할 자격이 없었다.
💡 "성과가 나쁘다"와 "판정할 수 없다"는 다른 결론이다. 평균이 음수라는 사실만으로는 손실 중이라고 말할 수 없다. 그 평균이 0과 구별되는지부터 묻는다.
처방이 정반대다
이 구분이 중요한 이유는 다음 행동이 갈리기 때문이다.
- 성과 부진이면 신호를 고치거나 접어야 한다. 기다려도 나아지지 않는다.
- 판정 불가면 표본이 쌓일 때까지 기다리면 된다. 지금 접으면 판정이 가능해지는 시점 자체를 없앤다.
"접을까"라는 질문이 "얼마나 더 모아야 하나"라는 질문으로 바뀌었다. 같은 숫자를 보고 있었는데 질문이 바뀐 것은, 숫자 옆에 흔들림의 크기를 같이 놓았기 때문이다.
30일 +1.22%도 쓸 수 없었다
판정 불가라고 해 놓고 최근 30일 숫자만은 "좋아지는 중"으로 읽고 싶은 유혹이 있었다. 이것도 막혔다.
30일 창이 시작되는 지점이, 성적이 가장 나빴던 신호 하나의 비중을 낮춘 시점과 겹쳤다. 그 신호는 청산이 가장 많이 나오고 성적이 가장 나빴는데, 비중을 낮춘 뒤로는 한 번도 나오지 않았다. 90일 창에는 그 신호가 들어 있고 30일 창에는 없다.
그러면 30일이 좋아 보이는 것은 남은 신호가 나아져서가 아니라 나쁜 것을 뺐기 때문일 수 있다. 빼는 방식의 개선은 빼기만 해도 평균이 오른다. 이 차이가 진짜인지는 무작위로 뺀 경우와 비교하지 않고는 말할 수 없다.
필요한 표본도 처음엔 틀리게 셌다
판정에 몇 건이 필요한지도 계산했다. 처음에는 약 214건이 나왔다. 그런데 이 계산에 넣은 흔들림의 크기가 실측보다 작았다. 실제 데이터로 다시 재니 약 290건이었고, 남은 기간도 그만큼 늘었다.
표본 74건도 독립된 74건이 아니었다. 같은 날 같은 종목이 두 번 세어진 행이 섞여 있었다. 종목-일 단위로 중복을 걷어 내고 다시 집계해야 했고, 그 뒤에도 평균의 신뢰구간은 0을 품고 있었다.
그 사이 신호를 고르는 규칙 자체가 한 번 바뀌었다. 규칙이 바뀌면 바뀌기 전과 후를 합쳐 셀 수 없다. 기다리는 시계가 다시 처음부터 돈다.
공개 화면부터 고쳤다
같은 문제가 공개 화면에도 있었다. 성적 화면에는 "청산 완료 20건 이상이면 통계 신뢰도가 안정된다"는 안내가 붙어 있었고, 74건은 그 기준을 넘었으니 경고가 꺼져 있었다. 화면이 판정할 수 없는 숫자를 판정된 숫자처럼 보여 주고 있었던 셈이다.
건수 기준을 올리는 것으로는 풀리지 않았다. 어떤 건수를 넘어도 신뢰구간이 0을 품고 있으면 같은 말을 할 수 없기 때문이다. 그래서 오너의 결정으로 건수 기준을 없애고, 평균 옆에 95% 신뢰구간을 직접 표시하도록 바꿨다. 경고도 "건수가 적을 때"가 아니라 "구간이 0을 포함할 때" 켜진다.
남은 것
판정 전에 판정할 수 있는지부터 묻는다. 평균과 건수만 적으면 결론처럼 보인다. 흔들림의 크기를 같이 적어야 그 결론이 설 자리가 있는지 보인다.
판정 불가는 실패가 아니라 상태다. 기다리면 풀린다. 다만 기다리는 동안 규칙을 바꾸면 그 시계는 다시 처음으로 돌아간다.
공개 숫자일수록 구간을 같이 보여 준다. 이 성적표는 투자 판단의 근거로 쓰라고 만든 것이 아니다. 지금 이 숫자들이 말해 주는 것은 "아직 모른다"이고, 화면도 그렇게 말해야 한다.