"이 규칙으로 과거 3년을 돌리면 수익률이 몇 퍼센트"라는 결과는 매력적이다. 과거 데이터에 매매 규칙을 대입해 보는 도구와 모의 매매 봇을 직접 만들어 운영하면서, 그 숫자가 실제와 벌어지는 지점을 여럿 확인했다. 규칙이 좋고 나쁨을 따지기 전에 검증 방법 자체에서 걸러야 할 것들이다.
1. 닿았다고 체결되는 것이 아니다
과거 데이터에서 그날 저가가 내 매수 지정가에 닿았으면 "체결"로 처리하기 쉽다. 실제로는 같은 가격에 먼저 걸려 있던 주문이 다 체결된 뒤에야 내 차례가 온다. 가격이 스치기만 한 날에는 체결되지 않았을 가능성이 크다. 나는 체결 기록마다 "가격이 지정가를 한 호가 이상 지나갔는지, 닿기만 했는지"를 따로 표시해 두고, 닿기만 한 체결을 뺀 결과도 함께 본다.
2. 비용은 생각보다 크다
매매 수수료와 세금은 거래할 때마다 나간다. 자주 사고파는 규칙일수록 비용이 수익을 갉아먹는다. 모의 투자 서버의 비용률이 실제와 다른 경우도 있었다. 내가 쓴 모의 서버는 실제보다 수수료가 훨씬 높게 잡혀 있었다. 그래서 같은 체결 기록에 모의 비용과 실제 비용을 각각 적용한 결과를 나란히 보여 주게 했다.
3. "아무것도 안 했다면"과 비교한다
수익이 났다고 규칙이 좋은 것은 아니다. 같은 기간에 처음 산 것을 그대로 들고 있었을 때의 결과와 비교해야 한다. 내 봇은 "첫날 수량을 끝까지 보유했다면"의 자산을 매일 함께 기록하고, 전체 손익을 "그냥 들고 있어서 생긴 몫"과 "사고팔아서 생긴 몫"으로 나눠 보여 준다. 나눠 보면 열심히 매매한 몫이 음수인 기간이 드물지 않다.
4. 그때 알 수 없던 정보를 쓰지 않는다
과거의 어느 날을 계산할 때는 그날까지의 자료만 써야 한다. 당연해 보이지만 실수하기 쉽다. 장 마감 뒤에 확정되는 값을 장중 판단에 쓴다든지, 나중에 수정된 수치를 당시 값처럼 쓰는 경우다. 조건을 평가하는 함수가 "그 날짜 이전의 값만 본다"를 구조적으로 보장하게 만들었다.
5. 과거 값이 없는 조건은 검증되지 않는다
호가 잔량이나 실시간 지표처럼 과거 기록이 남지 않는 조건이 규칙에 들어 있으면, 과거 검증에서는 그 조건이 항상 "미충족"으로 처리된다. 결과 표는 멀쩡히 나오지만 그 조건은 검증된 것이 아니다. 이런 조건이 있으면 결과 화면에 경고를 띄운다.
6. 값을 맞추다 보면 과거에만 맞는다
여러 값을 바꿔 가며 가장 좋은 결과를 찾으면, 그 값은 그 기간의 우연까지 학습한 것이다. 조합별 결과를 표로 볼 때는 최고점 하나가 아니라 "주변 값에서도 비슷하게 괜찮은가"를 본다. 한 칸만 유독 좋고 옆 칸이 나쁘면 우연일 가능성이 크다.
7. 하루치 재현은 하루치일 뿐이다
규칙을 바꾸면서 그날의 분 단위 자료로 옛 규칙과 새 규칙을 나란히 재현해 봤다. 옛 규칙의 재현 결과가 실제 기록과 거의 같아서 방법 자체는 쓸 만했다. 그래도 그것은 하루의 결과다. 그래서 새 규칙을 실제로 적용하면서, 옛 규칙을 같은 시세로 가상으로 계속 돌리는 대조군을 따로 두었다. 같은 날 같은 시점에 출발시켜야 비교가 공정하다.
정리
- 체결 가정을 보수적으로: 닿기만 한 체결은 의심한다.
- 비용을 실제 요율로 넣는다.
- 아무것도 안 한 경우와 반드시 비교한다.
- 검증되지 않은 조건이 무엇인지 표시한다.
- 바꾼 규칙은 대조군과 함께 실시간으로 검증한다.
백테스트는 나쁜 규칙을 걸러내는 데는 쓸모가 있지만 좋은 규칙을 보장하지는 않는다. 이 글은 검증 방법에 관한 경험이며 특정 매매 방식을 권하지 않는다.
이 글은 산업과 제도, 도구를 만든 경험을 설명하기 위한 것이며 특정 종목이나 상품의 매수·매도를 권하지 않는다. 제도와 수치는 글을 쓴 시점(2026년 11월) 기준으로 바뀔 수 있고, 투자 판단과 그 결과는 각자의 책임이다.
댓글 없음:
댓글 쓰기