• SEARCH

    통합검색
세모계
    • Dark Mode
    • GNB Always Open
    • GNB Height Maximize
    • Color
    • Brightness
    • SINCE 2015.01.19.
    • 세모계 세모계
    •   SEARCH
    • 세상의 모든 계산기
      • 자유(질문) 게시판
      • 계산기 뉴스/정보
      • 수학, 과학, 공학 이야기
      • 세모계 : 공지 게시판
        • 구글 맞춤검색
      • 세상의 모든 계산기
        • 자유(질문) 게시판
    • TI
    • CASIO
    • HP
    • SHARP
    • 일반(쌀집) 계산기
    • 기타계산기
    • by OrangeDay
  • 세상의 모든 계산기 자유(질문) 게시판
    • 세상의 모든 계산기 자유(질문) 게시판 일반
    • AlphaGo Zero: Learning from scratch (A.K.A 제파고)

    • Profile
      • 세상의모든계산기
        *.165.6.43
      • 2021.08.23 - 22:42 2017.10.19 - 09:00  924  7

    드디어 알파고의 마지막 행보 중 하나인 알파고 논문이 발표 되었습니다. 

    https://deepmind.com/blog/alphago-zero-learning-scratch/

    아직 자세하게 읽어보진 않았지만 알파고 개발사에 대한 총정리 버전이 될 것 같습니다.

    네이쳐 논문 링크 : https://www.nature.com/articles/nature24270.epdf?author_access_token=VJXbVjaSHxFoctQQ4p2k4tRgN0jAjWel9jnR3ZoTv0PVW4gB86EEpGqTRDtpIz-2rmo8-KG06gqVobU5NSCFeHILHcVFUeMsbvwS-lxjqQGg98faovwjxeTUgZAUMnRQ

     

    눈에 띄는 점

    1. Alpago Zero (A.K.A 제파고) 가 등장했습니다.

    인간 기보 학습이나 인간의 어떠한 수동 조작(개입) 없이 오직 self-play training 로만 성장하게 만든 것이 Alphago Zero(A.K.A 제파고)입니다. 이러한 방법으로 단 3일만에 이전 논문의 알파고(=돌파고) 를 압살하는 수준까지 성장할 수 있었으며, 커파고(=마파고=Master) 수준까지는 21일, 커파고 보다 훨 쎈 수준까지는 40일(총 2900만판의 self-play)이 걸렸다고 말하고 있습니다. (40 Block 기준)


    * 논문에 따르면 제파고(완성 버전)가 마파고를 89승 11패로 이겼다고 합니다. (게임당 2시간짜리 시합)

    2. 기존 알파고와의 차이

    기존 알파고들은 가치망(=승률분석), 정책망(=가능성 있는 다음 수 예측)이라는 2가지 신경망을 사용하였는데, 제파고는 이 둘을 통합한 단일 신경망으로 승률분석과 다음 수 예측을 모두 수행한다고 합니다. 그것이 학습이나 가치판단에 더 효율적이었다는 설명입니다. 
    그리고 제파고는 "rollouts" 를 하지 않는다고 합니다. (이건 잘 모르겠습니다)

    * rollout = fast, random games used by other Go programs to predict which player will win from the current board position

    틀린 예측 (알파고에 대한 오해)

    1. TPU 를 보고 놀란 나머지 이전 논문에 적힌 GPU 도 혹시 TPU 인 것은 아닐까 의심했습니다.
      http://www.allcalc.org/18193

      "TPU 를 썼지만 공개할 시점이 아니라서 GPU 숫자로 적당히 에둘러서 표현한 것은 아닐까?" 이런 의심이었는데...
      틀렸네요. 초기버전(판파고)은 GPU로 개발했고, 중간에(돌파고부터) TPU(ver.1) 로 갈아탄게 확인되었습니다. 

       
      1. 돌파고(=Alphago V.18) ELO Rating 이 4500 이라는 스샷이 올라온 적이 있습니다. 
        http://www.allcalc.org/16539


        그런데 이번 발표(그래프)를 통해서 보면 돌파고의 Elo Rating 은 3700~3800 정도로 표시되었습니다.
        당시에도 같거나 더 높은 수준의 (다양한) 상대방이 없어서 (이기는 게임만 하다보니) 레이팅에 인플레이션이 있는 것 같다는 말이 있었습니다만, 제파고(의 성장)를 기준으로 Elo Rating 이 재정립된 것 같습니다. 

        오늘(17.10.19) 기준으로 cgos 에 있는 탑 클래스의 딥젠고 ELO가 4000 내외 수준인데 이것도 더 높은 수준의 상대내지 동급의 상대와 두는 바둑의 횟수가 늘어나면 비슷한 과정을 겪을 것 같고, 인간 최고 수준(커박)의 ELO도 인공지능과의 대국을 추가하여 재평가한다면 다소나마 약간씩 떨어질 가능성이 있어 보입니다.
        ​​​

        * [수정] 논문에 보면 Alphago Fan(3144), Lee(3739), Master(4858), Zero(5185) 로 정확하게 나와 있습니다. 그리고, 그 산출 근거를 다음과 같이 적시하였습니다. "The results of the matches of AlphaGo Fan against Fan Hui and AlphaGo Lee against Lee Sedol were also included to ground the scale to human references, as otherwise the Elo ratings of AlphaGo are unrealistically high due to self-play bias." 알파고끼리의(아마도 여타 AI 포함일 듯) 셀프대국만 반영하면 편향으로 인해 레이팅값이 비현실적으로 높아지는데, 이를 막기 위해 인간(판후이 & 이세돌)과의 대결 결과를 인간 기준 척도의 기준점으로 삼았다고 밝혔습니다. 만약 돌파고 레이팅 ​​​4500이 인간대상으로도 통하였다면 3550인 이세돌과 대국에서 승리할 확률이 99.58% 라는 말인데, 4승1패를 설명하기가 너무 곤혹스러웠던 것 같습니다.
        그럼에도 불구하고 4500을 3739로 깍은 것은 너무 과격?한 것이 아닌가 싶기도 합니다. '인간과의 대결 횟수가 너무 적기 때문'입니다. 그리고 왜 판파고의 레이팅(3144)은 왜 조정하지 않았을까요? 좀 더 자세히 알아볼 필요가 있을 것 같습니다.

     

    결론

    제목(Learning from scratch)에서 알 수 있듯, 이번 논문의 핵심은 "인간의 개입 없이, AI의 자력으로만 바둑이라는 Category를 마스터하였으며, 그것은 인류가 아직 도달하지 못한 미지의 영역이다."는데 있겠습니다. 
    딥마인드(구글)은 이러한 AI의 활동 분야를 바둑이라는 Category 에 한정하지 않고 넓혀 나갈 것이고, 그로 인해 인류가 아직 밟아보지 못한 수많은 길이 새로이 열릴 것입니다.

    0
    0
    이 게시물을..
    • 세상의모든계산기 세상의모든계산기 Lv. 25

      계산기는 거들 뿐
      혹은
      계산기를 거들 뿐

    • TI NSPIRE CX CAS에서 두개의 각도 계산 결과 문의 드립니다.조니

     댓글 7

      • Profile
      • 세상의모든계산기 (*.165.6.43) 2017.10.19 13:22 #comment_21423

        의문점1 : 제파고의 성장은 계속될 것인가? 아니면 어느 점으로 수렴할 것인가? 

        chrome_2017-10-19_12-28-19_1.png

         

        의문점2 : "완성 단계?에 이른 것인지, 성장이 더뎌졌다" 고 판단되어지는 33일 이후에 갑자기 도약하듯? 2차례 성장하였는데 제파고 내부에 어떤 변화가 있었던 것일까? (특정 정석에 대한 선택? 버림? 때문일까?)

        Attached file
        chrome_2017-10-19_12-28-19_1.png 40.0KB / 95
        0
        댓글
      • Profile
      • 세상의모든계산기 (*.165.6.43) 2017.11.23 15:37 #comment_22138

        DeepMind has yet to find out how smart its AlphaGo Zero AI could be
        Posted Nov 2, 2017 by Darrell Etherington (@etherington)

        https://techcrunch.com/2017/11/02/deepmind-has-yet-to-find-out-how-smart-its-alphago-zero-ai-could-be/

        0
        댓글
      • Profile
      • 세상의모든계산기 (*.165.6.43) 2017.10.19 20:50 #comment_21431
        관련 기사
        https://brunch.co.kr/@madlymissyou/18
        0
        댓글
      • 과객 (*.199.238.5) 2017.10.20 08:12 #comment_21444
        딥마인드가 영국 회사인데, 이런 거 보면 영국의 과학 기술도 굉장한...
        스마트폰 AP 로 쓰이는 ARM 도 영국 회사...

        하긴 뉴턴, 스티븐 호킹을 배출한 나라이니...
        0
        댓글 수정 삭제
      • Profile
      • 세상의모든계산기 (*.165.6.43) 2017.10.20 09:04 #comment_21451

        Rollout 과 관련하여 논문에 나온 내용을 뽑아보겠습니다. 

        • Finally, it uses a simpler tree search that relies upon this single neural network to evaluate positions and sample moves, without performing any Monte-Carlo rollouts.
        • In each position st, a Monte-Carlo tree search (MCTS) αθ is executed (see Figure 2) using the latest neural network fθ. Moves are selected according to the search probabilities computed by the MCTS, at ~ πt.
        • Figure 2: Monte-Carlo tree search in AlphaGo Zero.
        • Monte-Carlo tree search (MCTS) may also be viewed as a form of self-play reinforcement learning.
        • MCTS programs have previously achieved strong amateur level in Go, but used substantial domain expertise: a fast rollout policy, based on handcrafted features, that evaluates positions by running simulations until the end of the game; and a tree policy, also based on handcrafted features, that selects moves within the search tree.
        this single neural network to evaluate positions and sample moves,
        without performing any Monte Carlo rollouts.
        0
        댓글
      • Profile
      • 세상의모든계산기 (*.165.6.43) 2017.10.20 09:18 #comment_21454

        MCTS 를 여전히? 사용하여 (완전 랜덤은 아니지만) random 한 게임을 진행하는 것은 맞다.

        마파고까지의 프로그램들은 승률 계산을 위해 rollouts(=빠르게 MCTS를 돌리는 것) 을 사용하였는데, 승률 계산을 다른 영역에 맏기므로 rollout을 할 필요가 없다.

        이런 결론이네요.

         

        Compared to the MCTS in AlphaGo Fan and AlphaGo Lee, the principal differences are that AlphaGo Zero does not use any rollouts; it uses a single neural network instead of separate policy and value networks; leaf nodes are always expanded, rather than using dynamic expansion; each search thread simply waits for the neural network evaluation, rather than performing evaluation and backup asynchronously; and there is no tree policy. A transposition table was also used in the large (40 block, 40 day) instance of AlphaGo Zero.

        0
        댓글
      • Profile
      • 세상의모든계산기 (*.165.6.43) 2017.10.20 17:43 #comment_21475

        ELO Rating 으로 추정해 본 승률

        TI-Nspire CAS Student Software_2017-10-20_17-37-25.png

        TI-Nspire CAS Student Software_2017-10-20_17-43-23.png

        Attached file
        TI-Nspire CAS Student Software_2017-10-20_17-37-25.png 10.9KB / 91 TI-Nspire CAS Student Software_2017-10-20_17-43-23.png 20.7KB / 114
        0
        댓글
    • 댓글 입력
    • 에디터 전환
    댓글 쓰기 에디터 사용하기 닫기
    • 목록 목록
    • TI NSPIRE CX CAS에서 두개의 각도 계산 결과 문의 드립니다.
    • 목록
    7



    전체 일반 376 질문 478 웃김 2 팁 & 정보 16 퀴즈 2 리뷰 11 퍼옴 & 링크 6 공지 1
    기본 (898) 제목 날짜 최근 수정일 조회 수 댓글 수 추천 수 비추천 수
    • "회원 로그인/가입 버튼 어딨나요?"
      2024.09.13 - 18:54 231856
    • [필독] 사이트 운영원칙 & 게시판 이용시 주의사항 (주제 / 제목 / 질문글)
       1
      2015.03.31 - 11:21 235593  1
    • [필독] 계산기 질문글 작성시 주의사항! (부제 : 바람직한 질문글 작성 요령)
       2
      2015.03.01 - 08:58 122481  2
    • 898 질문   TI NSPIRE CX CAS에서 LOG 계산 문의드립니다.
      N
    • 조니 36분 전
    • 안녕하세요. 세모계님 LOG함수의 괄호안의 변수가 플러스 부호이면 일치여부 판별이 되는데 괄호안의 변수가 마이너스 부호이면 일치여부 판별이 되지 않습니다. 그래서 조건식을 마이너스로 줬는데도 일치여부 판별을 못하네요. 특정값을 넣어줘야만 일치로 표현이 됩니다. ㅠㅠ 이거를 TRUE로 표현을 할수 있는 방법이 없을까요? 늘 감사합니다.
    • 897 질문   TI NSPIRE CX CAS에서 각도계산 문의 드립니다.
      U
    • 조니 2025.05.05 - 22:06  45 2
    • 안녕하세요. 세모계님 복소수를 실수와 허수로 나누어서 계산을 하는데 각도만 구하는 경우는 풀이가 되지를 않습니다. 혹시 다른 방법이 있을까해서 문의를 드려봅니다. 감사합니다.
    • 896 질문   Ti cas2에서 쌍곡선함수에 복소수를 넣어서 바로 계산할 수 없나요?
    • 아무개 2025.05.07 - 14:35  31 2
    • 세모계님 안녕하세요, 현재 ti nspire cx2 사용중인데 sinh, cosh함수에 복소수를 넣어서 계산하면 domain error가 뜹니다. Ex) cosh(2+i) ㅡ domain error 각도 표시를 radian으로 바꾸면 되가는 하는데 저는 degree의 값으로 나온 답이 필요해서요.. 혹시 해결방법이 있을까요..? 답변해주시면 감사하겠습니다.
    • 895 질문   TI NSPIRE CX CAS에서 무한대 에러 문의 드립니다.
    • 조니 2025.04.23 - 20:50  114 2
    • 안녕하세요. 무한대 값을 구하는 건데요. 대부분 lim이 일반해로 구해지는데 이거는 희안하게 안 됩니다. 정답이 i로 수렴하는 건데요. 이거 왜 안되는 거지요? 특정 숫자를 넣으면 됩니다만 문자로는 정답이 안 구해지네요. 늘 감사드립니다.
    • 894 질문   컴퓨터에서 Ti로 문서 전송 방법
    • psh 2025.04.23 - 13:23  118 1
    • 안녕하세요. 덕분에 tiral의 존재를 알아서 software는 잘 설치했습니다! 그런데, software 실행 후 사진에서 처럼 cas를 연결한 상태에서, 컴퓨터에서 document를 만들고 난 후 그 문서를 cas에 어떻게 옮기는 걸까요..?! 컴퓨터에서 문서를 copy해봐도, cas쪽에서 paste가 안되더라고요..!
    • 893 질문   아래 software 실행 오류 질문
    • psh 2025.04.23 - 12:45  100 1
    • 아래 질문글에 대한 답변에서 오류코드에 대한 Ti측 해결 manual을 알려주셨는데, 혹시 windows에서 software를 사용하려면 유료 라이선스가 있어야만 사용 가능한걸까요..? 대학생이긴한데, 라이선스는 따로 모르겠어서요 ㅠㅠ
    • 892 질문   Ti cx cas software 오류 질문
    • psh 2025.04.23 - 11:48  134 3
    • 안녕하세요! windows에서 ti 홈피에서 다운받은 software를 실행하면 사진과 같은 오류가 뜨는데, 어떻게 해결 가능할까요..? 그리고 software에서 키보드 자판으로 계산기를 조종 가능한 것일까요? :)
    • 891 일반   쉐보레 크루즈(2016) 타이어 공기압 관련 정보 정리
    • 세상의모든계산기 2017.09.26 - 11:37  5071 8
    • 0. 차량 매뉴얼 10. 차량 관리 (Vehicle Care) - 휠 및 타이어 항목에서 확인 (Page 354~) http://www.chevrolet.co.kr/chevy/car-manual.gm?carCode=V311 1. 적정 공기압 ? (앞/뒤 모두) 34 psi = 234.4 kPa = 2.344 bars : 냉각시 타이어 기준 단위 : psi = PoundsForce/Inches², kPa = kilopascals = 1000 N/m², bar = 100,000 Pa 바퀴 하나라도 200 kPa 이하가 되면 계기판에 경고등 켜지고, 시동시 경고 문구 뜸. https://kixxman.com/tire-pressure-check-up-tip 계절 관계없이 차량 매뉴얼의 적정 공기압(냉각시 OO psi)을 유지할 ...
    • 890 질문   Ti nspire cas cx1
    • 부탁해요 2025.04.16 - 14:19  190 3
    • 이 계산기에 pdf자료를 넣거나 이미지 파일을 넣을 수 있는 방법이 있을까요...?! 파일을 넣는 방법과 Ti에서 파일을 열람하는 방법이 너무 궁금합니다...!! 감사합니다.
    • 889 질문   ti-nspire student software 5.4버전
    • 저저램 2025.04.16 - 20:47  182 3
    • 중고로 ti-nspire cx cas 를 구매하여서 컴퓨터에 연결시키기 위해 5.4버전 소프트웨어를 다운로드 했는데요. 노트북에서 실행이 안되는데 왜 그런건가요..? 또 학생 소프트웨어 30일 trial은 끝난건가요?
    • 888 질문   혹시 계산의 결과값을 매개변수로 나타낼 수 없나요?
    • 공학의길은 험하다 2025.04.16 - 00:07  159 1
    • 계산기는 fx-5800P이고 행렬식을 구하려는데 행렬안에 매개변수x가 들어있습니다. 이런경우 숫자로 된 결과 값 말고 매개변수가 포함되어있는 결과식을 얻을 수는 없나요? det(A-xI)=x^3+4x^2+4 이런식으로요
    • 887 질문   solve 하는데 답이 이상하게 나와요
    • 아잣치기 2025.04.13 - 18:36  158 4
    • x랑 y에 대해서 구할려고 하는데, 도대체 왜 이렇게 답이 구해지는지 모르겠어요. ㅠㅠ 저 점 두개 기호가 뜻하는건 뭔지, n8은 또 뭔지 알려주실 선생님을 찾고있습니다.
    • 886 질문   TI-nspire CAS 2 계산 결과
    • daksk 2025.03.22 - 10:21  234 2
    • TI-nspire CAS 2 계산기에서 계산결과를 알고 싶은데 ctrl+enter나 범위가 inf 일 때 lim 사용해서 바꿔봐도 사진처럼 수식으로만 나오는데 어떡해야 하나요?? 아시는 분들 답변주시면 감사하겠습니다.
    • 885 일반   갤럭시 S20 액정, 세로 줄 발생
    • 세상의모든계산기 2025.03.18 - 09:18  199 1
    • 최초로 줄이 발생한 건 정확하지 않은데, 대략 1년 전쯤인 것 같습니다. 처음에는 중앙근처에 녹색선 하나 생겼고, 대충 두어달 정도 간격으로 하나씩 추가되었습니다. 위 사진상으로는 6개로 보이지만, 녹 녹 녹 녹 녹녹 파 파 파란색은 구분된 2라인이데, 사진이 잘 못 찍힌 것이고, 파란색 왼쪽의 녹색선은 1라인처럼 보이지만 두꺼움(진함) 정도가 다른 라인과 확연히 달라서 2개 라인이 딱 붙은 것으로 보입니다. 총 8개 세로줄이 생겼습니다. * 추가로 정중앙에 dead line 도 하나 있는 것 같습니다. 흰색 배경으로 두면 미세하게 회...
    • 884 질문   Casio [fx-9860 g3] x값을 구하려고 합니다
    • 폭풍배달 2025.03.16 - 02:12  344 1
    • 안녕하세요 9860g3 를 사용하는 중입니다 사진속 x를 구하려고 합니다 solve 기능을 어떻게 사용해야하는지 잘 모르겠습니다 OPTN-f4-f1 까지는 했는데 그 이후로는 어떻게 해야하는지 잘 모르겠습니다 감사합니다
    • 883 일반   [전기공사] 베란다에 노출 콘센트 추가하기
    • 세상의모든계산기 2025.03.10 - 00:49  436 3
    • 상황 1. 베란다에 콘센트가 설치되어 있지 않아, 노출 콘센트를 베란다 벽에 추가하려고 함. 2. 베란다 안쪽의 방 벽에 콘센트가 있음. ㄴ 콘센트 내부에서 베란다 쪽으로 전선이 빠져나갈 구멍을 낼 수 있음. 정석 시공 방법 1. 시공 전 확인 사항 ✅ 전기 차단: 분전반에서 해당 회로의 전원을 차단해야 함. ✅ 배선 가능 여부 확인: 기존 콘센트의 배선이 추가 콘센트에서 추가사용할 전력량을 감당할 수 있는지 확인. ✅ 배선 경로 결정: 벽면을 따라 배선을 할 것인지, 천장이나 바닥 몰딩을 활용할 것인지 검토. 2. 필요 자재 및 공...
    • 882 일반   (다이소) 9V 배터리 분해 = AAAA * 6개 ?
    • 세상의모든계산기 2025.03.03 - 18:44  236 2
    • 집에 있는 예비용 다이소 9V 배터리 전압을 재 봤더니 7.9V 가 나오더군요. 가끔 필요할 때 한번씩 쓴 제품인데, 오래되긴 했습니다. "갈 때가 됐구나..." 싶어서 분해했습니다. 단자 아랫부분에 빈 틈이 있다는 인터넷 게시글도 있었지만, 제가 가진 제품과 다른지 제 것은 빈 틈이 없었습니다. * 시기에 따라 내부 구성품이 다를 수 있습니다. 니퍼로 플라스틱 부분을 살짝 찝어서 부셨습니다. 저대로 잡아당기면 내부 배터리 뭉치가 딸려 나옵니다. 6개의 1.5V 배터리가 직렬 연결되어 9V를 만드는 구조입니다. 극 연결판(니켈?)이 spot...
    • 881 질문   TI NSPIRE CX CAS 지수함수 CAS 문의 드립니다.
    • 조니 2025.03.03 - 20:54  215 3
    • 안녕하세요. 세모계님 CALCULATION MODE를 AUTO로 하면 지수함수 풀이가 되는 것으로 알고 있습니다. 그런데 이게 상수일때는 계산이 되는데 문자일때는 계산이 안되네요. 이게 왜 이런건가요 늘 감사드립니다.
    • 880 질문   TI NSPIRE CX CAS에서 두개의 각도 계산 결과 문의 드립니다.
    • 조니 2025.02.28 - 20:00  213 4
    • 안녕하세요. 세모계님 예제와 같이 두개의 각도를 CAS로 계산시 한번에 계산이 되지 않습니다. 저는 세타가 2가지, 델타가 2가지 결과가 나오니까 한번에 계산을 하면 4가지 경우의 수를 계산하리라 생각을 했습니다. 결국 저렇게 분리해서 어렵게 각도를 계산을 했는데요. 한번에 나오게 하려면 어떤 조건을 입력을 해야 하는 건가요? 늘 감사 드립니다.
    • 879 일반   어디 있는지 모르는 외계문명이 태양이 포함된 고해상도 밤하늘 사진을 찍어 지구에 보낸다면?
    • 세상의모든계산기 2025.02.22 - 20:44  183 1
    • 상황 설정: (제목과는 정 반대로) 어떤 외계 항성계를 밤하늘에서 지구에서 촬영한 광각 천체 사진(2차원)이 있다고 가정하자. 이 사진에는 해당 항성뿐만 아니라 주변의 많은 별들이 포함되어 있으며, 촬영된 항성은 사진 내에서 식별 가능하다. 이 사진을 물리적으로 출력하여 병에 넣어 빛에 육박하는 속도로 우주 공간으로 보냈고, 운 좋게도 이 병이 그 항성계 내에 위치한 외계 문명에 무사히 도달했다고 가정하자. 외계 문명은 사진의 출처나 촬영 위치에 대한 추가적인 정보 없이, 단지 외계 문명으로부터 온 물체라는 사실만을 인...
    1 2 3 4 5 6 7 8 9 10
    • 글쓰기
    • 세상의 모든 계산기 자유(질문) 게시판
    • 세상의모든계산기
    • 사업자등록번호 703-91-02181
    • 세모계 all rights reserved.