작게 여러 번 재면 왜 더 틀릴까? 양자화 오차의 수학

우리는 뭔가를 잴 때, 측정기가 진짜값을 보여준다고 믿고 싶어한다. 그런데 대부분의 측정기는 진짜값을 그대로 보여주지 않는다. 반올림해서 보여준다.

 

주방 저울이 1g 단위라면, 진짜 10.4g도 10g으로 보인다. 게임에서 경험치가 소수점 4자리까지만 보인다면, 진짜 0.12345%도 0.1234%로 보인다. 이 차이가 양자화 오차(quantization error)다.

 

확률 오차가 아니다. 매번 랜덤으로 틀리는 게 아니다. 보여주는 단위 때문에 생기는, 확정적인 오차다.

 

이 글은 "많이 모으면 정확해진다"는 상식이 왜 양자화 오차 앞에서는 통하지 않는지, 그리고 어떻게 재야 가장 정확한지를 수식으로 정리한 글이다.

 

1. 모델: 진짜값과 관측값

 

진짜 누적값을 `T`, 측정기가 보여주는 최소 단위를 `Δ`라고 하자. 예를 들어 경험치 %를 소수점 4자리까지 보여준다면 `Δ = 0.0001% = 1` 단위다.

 

관측값은 이렇게 된다.

 

한 구간을 잴 때는 시작과 끝을 각각 재서 빼야 한다.

한 구간의 오차는 최대 `±Δ`다. 시작 오차 `±Δ/2`, 끝 오차 `±Δ/2`를 합친 거다.

여기서부터가 중요하다. 구간이 `m`개로 끊기면, 총합의 오차는 각 구간의 오차를 합친 것이 된다.

 

2. 최악 오차: 100% 구간

 

반올림이 최악으로 다 같은 방향으로 틀어졌다고 가정하면, 총 오차는

즉, 구간 개수에 비례해서 커진다. 총합을 `T`라고 하면, 상대오차는

 

핵심은 총합 `T`가 아니라 평균 구간 길이 `T/m`이다. 총합이 커져도, 구간 개수가 더 빨리 늘어나면 오차는 커진다.

 

예시를 들어 보자.

측정 최소 단위가 Δ = 0.0001%라고 하자.

• A: 1% 구간 2개 → 총합 2%, 구간 수 2, 최악 오차 ±0.0002%p, 상대오차 0.0140%
• B: 0.1% 구간 50개 → 총합 5%, 구간 수 50, 최악 오차 ±0.005%p, 상대오차 0.1401%

B는 총합이 2.5배 더 큰데도, 최악 오차는 10배 더 나쁘다. 신호는 2.5배 늘었는데, 반올림 횟수는 25배 늘었기 때문이다.

 

 

 

3. 평균 오차: RMS, 왜 확률처럼 될까?

 

최악은 "운이 최악일 때"다. 실제로는 반올림 오차가 매번 같은 방향으로 틀어지진 않는다. 각 구간의 시작점에서의 소수점 이하 부분이 사실상 랜덤하게 보이기 때문에, 많은 구간을 합치면 오차가 확률처럼 행동한다.

 

각 반올림 오차를 균등분포 `U(-Δ/2, +Δ/2)`로 보면, 분산은 `Δ²/12`다. 한 구간의 오차는 두 개를 뺀 거라 분산은 `Δ²/6`이다. `m`개 구간을 합치면

이게 바로 중심극한정리다. 구간이 많아지면 양자화 오차의 합이 가우시안으로 수렴한다. 그래서 양자화 실험도, 구간을 잘게 쪼개면 결국 확률 실험처럼 `1/√m` 스케일이 되어버린다.

같은 예시로 계산하면:

총합이 더 큰 B가 RMS 기준으로도 2배 더 나쁘다.

 

4. 섞으면 어떻게 될까? - 추가 조건

 

`1% × 2개`에 `0.1% × k개`를 섞는 경우를 보자. 총합 `T = 2% + 0.1%*k`, 구간수 `m = 2 + k`다.

 

추가한 0.1% 구간 수 k	총합	최악	RMS
0	2.00%	0.01%	0.00%
1	2.10%	0.02%	0.00%
5	2.50%	0.04%	0.00%
10	3.00%	0.06%	0.01%
16	3.60%	0.07%	0.00518% (최대)
30	5.00%	0.09%	0.00%
50	7.00%	0.10%	0.00%

 

최악은 단조 증가, RMS는 k=16에서 최대를 찍고 천천히 내려가도 k=0보다 절대 좋아지지 않는다.

 

 

왜 그럴까? 새 구간 `s`를 추가하면 `m → m+1`, `T → T+s`가 된다.

 

즉, 새 구간이 기존 평균보다 작으면 최악도 RMS도 둘 다 나빠진다. 새 구간이 평균보다 크면 최악은 유지되고 RMS는 좋아진다.

작은 구간 `s=1000`은 신호는 1000만 가져오는데, 노이즈 분산은 `+1/6`을 가져온다. 큰 구간 `s=10000`은 신호는 10000을 가져오는데, 노이즈 분산은 똑같이 `+1/6`이다. 작은 구간은 "오차 대비 신호"가 10배 나쁘다. 그래서 섞는다고 무조건 좋아지지 않는다.

 

5. 확률 실험과 양자화 실험의 차이

 

우리가 일상적으로 하는 실험은 많은 경우 확률 실험이다.

양자화 실험은 다르다.

그래서 양자화 실험에 95% CI를 쓰는 건 편의상 빌려온 거고, 엄밀히는 100% 구간이 맞다. 그리고 누적된 점들을 독립이라고 보고 SE를 계산하면 오차를 과소평가한다. 구간별 Δ끼리 합치는 게 맞는 통계다.

 

6. 현실에서 자주 만나는 경우

 

* 주방 저울: 1g 단위 저울로 10g씩 50번 재는 것보다 500g 한 번 재는 게 정확하다. 0.1g 저울이 비싼 이유가 이거다.
* 주유소 / 전기: 펌프 0.01L, 계량기 0.1kWh. 연비 재려면 조금씩 여러 번 넣지 말고 한 번에 많이 넣어야 한다.
* 금융: 주식 호가 1원, 환전 반올림. 소액 여러 번 거래하면 반올림 비용이 쌓인다.
* 센서: 온도 0.1℃, 혈당 1mg/dL, GPS 좌표. 짧게 여러 번 재서 평균내면 양자화 노이즈가 확률처럼 쌓인다.
* 게임 데미지: 데미지가 정수만 뜬다면, 1씩 100번 때리는 것보다 1000씩 2번 때리는 게 정확하다.

전부 같은 구조다. 진짜값은 연속인데, 보여주는 건 이산이다.

 

7. 실전 가이드

 

1. 최대한 길게 한 번에 재라. 구간 개수 `m`을 줄이는 게 핵심이다.
2. 어쩔 수 없이 끊긴다면, 평균보다 긴 구간만 추가하라. 평균보다 작은 자투리 구간은 오히려 정밀도를 떨어뜨린다.
3. 연속 측정 안의 중간 체크는 마음껏 하라. 오차가 늘어나지 않고, 사고 시 구간을 살리는 보험이 된다.
4. 짧게 여러 번으로 시작해야 한다면, 아예 기다리는 게 낫다. 길게 잴 수 있는 때를 기다리는 게 시간을 버는 일이다. 0.1% × 50개를 모으는 시간으로 1% × 2개를 모으면, 시간은 2.5배 덜 쓰고 오차는 2~10배 더 좋다.

 

마무리

 

우리는 보통 "많이 모으면 정확해진다"고 생각한다. 확률 실험에서는 맞다.

그런데 양자화 오차는 확률이 아니다. 확정된 값을 반올림해서 보여주는 거라, 많이 모으는 게 아니라 크게 모으는 게 정확해진다.

작게 여러 번 재는 습관이 있다면, 한 번쯤은 "내가 재는 단위가 얼마인지, 나는 몇 번 반올림하고 있는지"를 생각해 보면 좋다. 그게 측정 정밀도를 바꾸는 가장 싼 방법이다.