판단에 점수가 붙어 있다
봇은 종목을 살지 말지 결정할 때 언어 모델에게 한 번 더 묻는다. 모델은 사거나 말라는 답과 함께 0에서 1 사이의 확신도를 돌려준다. 그 값이 기준선을 넘어야 실제 주문이 나간다. 기준선은 0.8이다.
이 기준선이 적절한지는 오래된 질문이었다. 너무 높으면 기회를 놓치고, 너무 낮으면 확신 없는 거래가 늘어난다.
세어봤더니 거의 전부가 0.80이었다
어느 날 나는 이 질문에 답을 냈다고 생각했다. 실제로 매수된 거래의 확신도를 세어보니 열에 아홉 이상이 정확히 0.80이었다.
그래서 이렇게 결론냈다.
모델이 내놓는 확신도는 정도를 나타내는 값이 아니라 켜짐과 꺼짐뿐인 스위치다. 0.75와 0.85 같은 중간값이 사실상 안 나온다.
꽤 그럴듯했다. 후속 판단도 여기서 뻗어 나갔다. 값이 스위치라면 기준선을 0.75나 0.85로 옮기는 논의 자체가 의미 없기 때문이다. 나는 이 관찰을 다시 건드리지 말 것 목록에 올려뒀다. 확정된 사실로 다뤘다는 뜻이다.
분모가 틀렸다
두 달 가까이 지나 다른 조사를 하다가 이 문장을 다시 봤다. 그리고 한 가지가 걸렸다.
내가 센 것은 "실제로 매수된 거래"였다.
매수되려면 0.8을 넘어야 한다. 그러니 매수된 거래의 확신도가 0.8 언저리인 것은 발견이 아니라 정의다. 기준을 통과한 것만 모아놓고 "이것들이 기준값 근처에 몰려 있다"고 말한 셈이다.
0.79 이하는 애초에 그 집합에 들어올 수 없었다. 나는 살아남은 것만 보고 전체의 분포를 말하고 있었다.
분모를 되돌리자 그림이 반대였다
모델이 낸 판단을 주문 여부와 무관하게 전부 모아 다시 셌다.
- 통과한 것만 셌을 때: 0.80이 96.7%
- 제안 전체를 셌을 때: 0.8 이상이 4.8%
나머지 95%는 0.6에서 0.75 사이에 퍼져 있었다. 중간값이 안 나오는 게 아니라 중간값이 대부분이었고, 그것들이 기준선에 막혀 주문으로 이어지지 않았을 뿐이다.
"스위치처럼 동작한다"는 관찰은 그 자리에서 무너졌다. 확신도는 정상적으로 연속값이었다.
근거를 대던 또 하나도 틀렸다
이 판정을 뒷받침한다고 믿은 문장이 하나 더 있었다. "모델에게 주는 지시문에 0.8이라는 기준이 적혀 있으니, 모델이 그 숫자에 맞춰 답한다"는 것이었다.
확인해보니 0.8이라는 숫자는 다른 곳에 있었다. 확신도를 받아서 통과 여부를 판정하는 쪽에는 있고, 확신도를 만들어내는 쪽에는 없었다.
즉 값을 만드는 모델은 기준선이 얼마인지 모른다. 기준에 맞춰 답을 낸다는 설명이 성립할 수 없었다.
결론은 살고 근거만 죽었다
여기서 한 가지를 분명히 해둬야 한다. 기준선 0.8을 유지한다는 결론 자체는 바뀌지 않았다.
이유는 별개로 있다. 거래마다 세금과 수수료가 붙기 때문에 어중간한 거래를 늘리면 비용이 수익을 먼저 갉아먹는다. 확신이 낮은 거래를 자제하자는 방향은 그 자체로 근거가 있다.
바뀐 것은 그 결론을 떠받치던 문장이다. "확신도는 스위치니까 어차피 조정할 것이 없다"는 더 이상 쓸 수 없다. 조정할 여지는 있었고, 다만 다른 이유로 안 하기로 한 것이다.
💡 결론이 맞았다는 것이 근거가 맞았다는 뜻은 아니다. 근거가 무너졌는데 결론이 살아 있으면 그 결론은 지금 다른 다리로 서 있는 것이고, 그 다리가 무엇인지 다시 적어둬야 한다. 안 적으면 다음에 그 결론을 인용할 때 무너진 다리를 함께 들고 온다.
남은 것
통과한 표본으로 생성 분포를 추론하면 안 된다. 임계를 넘은 것만 모으면 임계값이 최빈값처럼 보인다. 분모를 임계 이전으로 되돌리기 전까지는 어떤 분포도 읽어낼 수 없다.
확정 표시가 붙은 관찰일수록 오래 산다. 나는 이 관찰에 다시 건드리지 말자는 표시까지 달아뒀다. 그 표시가 재검토를 막았고, 두 달 가까이 아무도 분모를 묻지 않았다. 다시 보지 말라는 표시는 그 문장이 옳다는 보증이 아니라 확인을 미루는 장치다.
숫자가 너무 깔끔하면 그 숫자가 어디서 왔는지 먼저 본다. 96.7%처럼 한쪽으로 쏠린 값은 대단한 발견이거나 집계 방식이 만든 착시다. 후자일 확률이 생각보다 높고, 구분은 분모 한 줄로 끝난다.