작게 끊으면 넓어지고, 자주 찍으면 좁아진다: 양자화 오차와 교집합의 수학

우리는 뭔가를 잴 때, 측정기가 진짜값을 보여준다고 믿고 싶어한다. 그런데 대부분의 측정기는 진짜값을 그대로 보여주지 않는다. 반올림하거나 버려서 보여준다.

 

주방 저울이 1g 단위라면, 진짜 10.4g도 10g으로 보인다. 게임에서 경험치가 소수점 4자리까지만 보인다면, 진짜 0.12345%도 0.1234%로 보인다. 이 차이가 양자화 오차(quantization error)다.

 

확률 오차가 아니다. 매번 랜덤으로 틀리는 게 아니다. 보여주는 단위 때문에 생기는, 확정적인 오차다.

 

이 글은 "많이 모으면 정확해진다"는 상식이 왜 양자화 오차 앞에서는 통하지 않는지, 그리고 어떻게 재야 가장 정확한지를 수식으로 정리한 글이다. 마지막에는 많이 모으는 게 오히려 도움이 되는 경우, 교집합에 대해서도 다룬다.

 

1. 모델: 진짜값과 관측값

 

진짜 누적값을 `T`, 측정기가 보여주는 최소 단위를 `Δ`라고 하자. 예를 들어 경험치 %를 소수점 4자리까지 보여준다면 `Δ = 0.0001%`다.

 

관측값은 두 가지 방식 중 하나다.

 

어느 방식인지가 중요하다. 실제 게임 경험치 실험에서 반올림으로 가정하고 51개 누적점의 구간을 교집합했더니, 교집합이 빈 집합이 됐다. 최대 하한이 최소 상한보다 커져서 진짜값이 들어갈 곳이 없어진 거다. 버림으로 계산하면 51개 구간이 전부 겹쳐서 진짜값을 포함한다. 이 게임의 % 표시는 반올림이 아니라 버림이다.

 

이 글에서는 아래부터 버림을 기준으로 쓴다. 최악 오차의 크기는 반올림과 같지만, 구간의 모양이 한쪽으로 치우쳐 있다.

 

한 구간을 잴 때는 시작과 끝을 각각 재서 빼야 한다.

한 구간의 오차는 최대 `±Δ`다. 시작과 끝에서 각각 최대 `Δ`만큼 버려지기 때문이다.

여기서부터가 중요하다. 구간이 `m`개로 끊기면, 총합의 오차는 각 구간의 오차를 합친 것이 된다.

 

2. 최악 오차: 100% 구간

 

버림이 최악으로 다 같은 방향으로 틀어졌다고 가정하면, 총 오차는

즉, 구간 개수에 비례해서 커진다. 총합을 `T`라고 하면, 상대오차는

 

핵심은 총합 `T`가 아니라 평균 구간 길이 `T/m`이다. 총합이 커져도, 구간 개수가 더 빨리 늘어나면 오차는 커진다.

 

예시를 들어 보자.

측정 최소 단위가 Δ = 0.0001%라고 하자.

• A: 1% 구간 2개 → 총합 2%, 구간 수 2, 최악 오차 ±0.0002%p, 상대오차 0.0140%
• B: 0.1% 구간 50개 → 총합 5%, 구간 수 50, 최악 오차 ±0.005%p, 상대오차 0.1401%

B는 총합이 2.5배 더 큰데도, 최악 오차는 10배 더 나쁘다. 신호는 2.5배 늘었는데, 버림 횟수는 25배 늘었기 때문이다.

 

 

 

3. 평균 오차: RMS, 왜 확률처럼 될까?

 

최악은 "운이 최악일 때"다. 실제로는 버림 오차가 매번 같은 방향으로 틀어지진 않는다. 각 구간의 시작점에서의 소수점 이하 부분이 사실상 랜덤하게 보이기 때문에, 많은 구간을 합치면 오차가 확률처럼 행동한다.

 

각 버림 오차를 균등분포 `U(0, Δ)`로 보면, 분산은 `Δ²/12`다. 한 구간의 오차는 두 개를 뺀 거라 분산은 `Δ²/6`이다. `m`개 구간을 합치면

이게 바로 중심극한정리다. 구간이 많아지면 양자화 오차의 합이 가우시안으로 수렴한다. 그래서 양자화 실험도, 구간을 잘게 쪼개면 결국 확률 실험처럼 `1/√m` 스케일이 되어버린다.

같은 예시로 계산하면:

총합이 더 큰 B가 RMS 기준으로도 2배 더 나쁘다.

 

4. 섞으면 어떻게 될까? - 끊긴 구간을 추가하는 경우

 

`1% × 2개`에 `0.1% × k개`를 섞는 경우를 보자. 총합 `T = 2% + 0.1%*k`, 구간수 `m = 2 + k`다. 여기서 섞는다는 건 따로 끊긴 구간을 추가한다는 뜻이다.

 

추가한 0.1% 구간 수 k	총합	최악	RMS
0	2.00%	0.01%	0.00%
1	2.10%	0.02%	0.00%
5	2.50%	0.04%	0.00%
10	3.00%	0.06%	0.01%
16	3.60%	0.07%	0.00518% (최대)
30	5.00%	0.09%	0.00%
50	7.00%	0.10%	0.00%

 

최악은 단조 증가, RMS는 k=16에서 최대를 찍고 천천히 내려가도 k=0보다 절대 좋아지지 않는다.

 

 

왜 그럴까? 새 구간 `s`를 추가하면 `m → m+1`, `T → T+s`가 된다.

 

즉, 끊긴 구간을 새로 추가할 때, 새 구간이 기존 평균보다 작으면 최악도 RMS도 둘 다 나빠진다. 새 구간이 평균보다 크면 최악은 유지되고 RMS는 좋아진다.

작은 구간 `s=0.1%`는 신호는 0.1%만 가져오는데, 노이즈 분산은 `+1/6`을 가져온다. 큰 구간 `s=1%`는 신호는 1%를 가져오는데, 노이즈 분산은 똑같이 `+1/6`이다. 작은 구간은 "오차 대비 신호"가 10배 나쁘다. 그래서 끊긴 작은 구간을 섞는다고 무조건 좋아지지 않는다.

 

5. 교집합: 연속 세션 안의 중간 체크는 다르다

 

여기까지 읽으면 "작은 데이터는 버려라, 중간 체크는 보험용으로만 찍어라"로 이해하기 쉽다. 그런데 연속 세션 안의 중간 체크는 완전히 다르다.

 

끊긴 구간은 시작 오차가 새로 생긴다. 그래서 구간 수 `m`이 늘어나고 오차가 쌓인다. 하지만 연속 세션에서는 시작점이 같다. 각 중간 체크점은 모두 같은 상수에 대한 제약이다.

 

예를 들어 두 캐릭터가 같이 경험치를 먹을 때, 두 누적 %의 비율로 추정하려는 Need 비율은 처음부터 끝까지 같은 상수다. 각 체크점마다 버림 구간을 하나씩 얻을 수 있다.

그래서 각 구간의 교집합을 구하면 범위가 좁아진다. 단독으로는 폭이 넓은 작은 점도, 한쪽을 자르는 가위 역할을 한다.

 

실제 실험에서 0.56%까지 누적한 51개 점으로 해보면:

최종점이 최소 쪽을 결정하고, 중간에 있던 한 점이 최대 쪽을 잘라낸 덕분이다. 작은 점 하나하나가 다 쓸모가 있었던 거다.

 

[그림 3: 51개 구간의 교집합]

 

정리하면 이렇게 나눠야 한다.

중간 체크는 보험이 아니라, 정밀도를 높이는 본질적인 데이터다. 연속 세션에서는 최대한 자주, 세세하게 찍는 게 정답이다.

 

6. 확률 실험과 양자화 실험의 차이

 

우리가 일상적으로 하는 실험은 많은 경우 확률 실험이다.

양자화 실험은 다르다.

그래서 양자화 실험에 95% CI를 쓰는 건 편의상 빌려온 거고, 엄밀히는 100% 구간이 맞다. 그리고 누적된 점들을 독립이라고 보고 SE를 계산하면 오차를 과소평가한다. 구간별 Δ끼리 합치는 게 맞는 통계다. 단, 같은 상수를 재는 연속 체크점들은 교집합으로 다뤄야 한다.

 

7. 현실에서 자주 만나는 경우

 

* 주방 저울: 1g 단위 저울로 10g씩 50번 재는 것보다 500g 한 번 재는 게 정확하다. 0.1g 저울이 비싼 이유가 이거다.
* 주유소 / 전기: 펌프 0.01L, 계량기 0.1kWh. 연비 재려면 조금씩 여러 번 넣지 말고 한 번에 많이 넣어야 한다.
* 금융: 주식 호가 1원, 환전 반올림. 소액 여러 번 거래하면 반올림 비용이 쌓인다.
* 센서: 온도 0.1℃, 혈당 1mg/dL, GPS 좌표. 짧게 여러 번 재서 평균내면 양자화 노이즈가 확률처럼 쌓인다.
* 게임 데미지: 데미지가 정수만 뜬다면, 1씩 100번 때리는 것보다 1000씩 2번 때리는 게 정확하다.

전부 같은 구조다. 진짜값은 연속인데, 보여주는 건 이산이다.

 

8. 실전 가이드

 

1. 최대한 길게 한 번에 재라. 구간 개수 `m`을 줄이는 게 핵심이다.
2. 어쩔 수 없이 끊긴다면, 평균보다 긴 구간만 추가하라. 평균보다 작은 자투리 구간은 오히려 정밀도를 떨어뜨린다.
3. 연속 측정 안에서는 중간 체크를 최대한 자주 찍어라. 오차가 늘어나지 않고, 교집합으로 범위가 좁아진다. 사고 시 구간을 살리는 보험이기도 하다.
4. 짧게 여러 번으로 시작해야 한다면, 아예 기다리는 게 낫다. 길게 잴 수 있는 때를 기다리는 게 시간을 버는 일이다. 0.1% × 50개를 모으는 시간으로 1% × 2개를 모으면, 시간은 2.5배 덜 쓰고 오차는 2~10배 더 좋다.

 

마무리

 

우리는 보통 "많이 모으면 정확해진다"고 생각한다. 확률 실험에서는 맞다.

그런데 양자화 오차는 확률이 아니다. 확정된 값을 버려서 보여주는 거라, 많이 모으는 게 아니라 크게 모으는 게 정확해진다. 그리고 같은 상수를 연속으로 잴 때는 자주 찍는 게 정확해진다. 끊긴 작은 구간을 모으는 것과, 연속 세션 안에서 중간 체크를 많이 찍는 것은 정반대의 일이다.

작게 여러 번 재는 습관이 있다면, 한 번쯤은 "내가 재는 단위가 얼마인지, 나는 몇 번 버림하고 있는지, 그리고 이게 끊긴 구간인지 연속 체크인지"를 생각해 보면 좋다. 그게 측정 정밀도를 바꾸는 가장 싼 방법이다.

 

```