알파고에 사용된 것은 GPU 가 아니라 TPU?
-
- *.249.82.118
- 2017.04.11 - 15:57 2016.05.23 - 14:16 906 5
출처 : https://cloudplatform.googleblog.com/2016/05/Google-supercharges-machine-learning-tasks-with-custom-chip.html
 |
| Tensor Processing Unit board |
 |
| Server racks with TPUs used in the AlphaGo matches with Lee Sedol |
- 이세돌과의 대국에서 승리를 확정했던 3국의 기보가 붙어있네요. (4국이었다면 좀 더 인간적?이었을 것 같기도 하고...)
- 기존에 알려졌던 것과 달리, 알파고 AI(Tensorflow) 구현에 있어 GPU(범용 칩)이 아닌 주문형 반도체인 ASIC 칩을 사용한 것 같습니다. (이건 확실치 않습니다)
- 그림상 하나의 M/B 에 4개의 검정 케이블이 바로 TPU와 M/B 를 연결하기 위한 PCIE extension 케이블인 것으로 보입니다.
- 사진상으로는 개별 머쉰이 총 (6*8)-2 = 46 개입니다.
46*4 = 184 인데... 기존에 176개 GPU가 사용되었다고 알려진 것을 생각하면 얼추 맞는 것 같긴 하네요. - 사용된 CPU 갯수도 (기존에 추정되었던 개별 CPU 단위가 아니라) 코어(혹은 쓰레드) 단위일 가능성이 높아 보입니다.
46*12C=552C, 46*24T=1104T. (듀얼이라면, 2208T인데 1920과 얼추 맞는 것 같습니다. 1920=24*2*40)
참고 링크
- http://www.recode.net/2016/5/20/11719392/google-ai-chip-tpu-questions-answers
댓글 5
-
-
-
-
-
구글 직원(Solutions Engineer for Google Cloud Platform at Google. Co-organizer @codemotion_es)의 트윗
https://twitter.com/nachocoloma/status/733169977432395776
이로서 확실해졌네요. GPU 는 사용되지 않았습니다. 대신 더 뛰어난 TPU 가 사용되었습니다.
(당분간!) 범용 PC 구성(CPU+GPU)으로 알파고 수준에 도달하기는 쉽지 않겠습니다. 하물며 CPU 만 사용하는 상용 바둑 프로그램으로는...
-
-
-
-
추가 트윗
https://twitter.com/nachocoloma/status/849705676079235072
"TPUs are 15x to 30x faster than GPUs, and deliver 30x to 80x better performance per Watt"
-
-
-
-
그런데...
딥러닝(학습) 과정과 학습한 결과물을 실전에 적용하는 과정을 완전 분리할 수 있고,
이 거대한 하드웨어의 대부분이 학습을 위한 것이라고 (가!정!)한다면...알파고의 결과물만을 돌리는 머쉰은 그렇게 클 필요가 없을지도 모르겠습니다.
-
-
-
-
TPU의 전성비
출처 : https://cloudplatform.googleblog.com/2017/04/quantifying-the-performance-of-the-TPU-our-first-machine-learning-chip.html
Quantifying the performance of the TPU, our first machine learning chip
Wednesday, April 5, 2017
By Norm Jouppi, Distinguished Hardware Engineer, Google
(503 에러때문에 못본다면 블로그에서 날짜로 찾아보세요)
-
월 스트리트 저널 기사 - 링크 : http://www.wsj.com/articles/google-isnt-playing-games-with-new-chip-1463597820 를 읽어보니 GPU 가 이닌 ASIC을 사용한 것이 확실해 보이네요.
기사에 따르면 다른 대안(아마도 GPU)보다 전반적으로 10배 빠른 계산이 가능했다는 것 같습니다. (기사에는 MS 도 AI 분야에 FPGA 칩을 사용한다고 합니다. IBM 도 전용 칩을 쓴다고 하구요. 아범이야 뭐 당연한거지만...)