[sharp]EL-509X 소숫점 여섯째 자리까지 있는 결과 표준편차 구하기
sharp EL-509X 및 EL-506W에서 아래와 같은 숫자들으 표준편차를 구하려고 합니다.
| 1 | 9.999987 |
| 2 | 9.999985 |
| 3 | 9.999988 |
| 4 | 9.999987 |
| 5 | 9.999984 |
| 6 | 9.999985 |
| 7 | 9.999982 |
| 8 | 9.999983 |
| 9 | 9.999982 |
| 10 | 9.999983 |
| sum | 99.99985 |
| aver | 9.999985 |
| stdev |
0.000002 |
excel프로그램에서는 실제로 숫자가 잘 계산이 되는데 공학용 계산기에서는 계산이 잘 안됩니다.
display 문제인가 싶어서 set up - 0 - 3 을 입력하여 NORM3으로 보기도 하고,
소숫점 9자리까지 표시되게 해보기도 하였으나 결과 자체가 자꾸 0.000000000 으로 표시됩니다.
계산과정은 mode - 1(STAT) - 0(SD) 입력후 data1 - M+ - data2 - M+ - ..... - data10+ M+ - ALPHA + 5(sx) 입니다.
소숫점 5자리까지는 잘 계산이 되는데 6자리인 것들로 하니까 자꾸 0이라고 나오네요
설명서를 보니 spec에
internal calulation : mantissas of up to 14 digits
Pending operation : 24 calculations 10 numeric value
(5 numeric value in STAT mode)
라고 되어있는데, STAT기능 활용시 5자리까지만 계산이 되는 것이고 spec의 이유로 소숫점 6번재짜리까지는 계산이 안되는 것이라고 생각하면될까요?
혹시 계산기를 통해서 위의 값들에 대한 표준편차를 구하는 것이 가능할까요?
실제 data들이 저렇게 나오고 있어서 좀 애매하네요 ㅜㅜ
가지고 있는 EL-509W 로 계산해보니 루니루니님과 같은 결과입니다.
평균값은 잘 계산되는데, 분산은 6자리 이하는 무시되는 현상이 있습니다.
원인은 생각하신대로 계산과정 중 일정 자랏수(5) 이하 삭제 때문이 맞는 것 같습니다.
그렇다면, 계산기(EL-509X 및 EL-506W 등) 내적으로는 해결 방법이 없을 것으로 보입니다.
* 비슷한 급의 다이소 공학용 계산기(5천원, CASIO fx-350MS 카피모델)로 해보니,
xσn = 2.059126028*10^(-06)
xσn-1 = 2.170509413*10^(-06)
으로 결과가 정상적으로 나옵니다.