1. 오답이 나온 것은 연산자의 계산 우선순위 문제 때문입니다.

ㄴ TI-nspire 에서의 계산 결과
계산 우선순위의 문제는 괄호를 추가함으로써 해결할 수 있습니다.

2. 하지만 이 경우에는 괄호를 추가할 경우에 Ma Error 가 발생합니다.

아무래도 fx-9860 시리즈는 하이퍼블릭 함수에 복소수 입력을 받지 못하는 것 같구요.
(설명서에도 자세한 내용이 나오지 않습니다)
그렇다면 cosh 함수를 이용하여 본문의 계산을 하는 것은 불가능할 듯 보입니다.