알파고 학습 이해하기

알파고 학습 이해하기

• 1.
  (주)엑셈 / 임도형
• 2.
  입출력의 함수를 근사화할 수 있다. 신경망(Neural Network) https://www.slideshare.net/yonghakim900/ss-60252533
• 3.
  입력과 출력을 반복적으로주고, 함수를 근사화 해가는 과정. 상세 방법은 설명하지 않지만, 하여간에 학습됩니다. 신경망의 학습
• 4.
  학습에 사용할 데이터가있어 합니다. 학습된 후에는 처음 본 것도 인식 가능합니다. 데이터
• 5.
  신경망인데, 가운데있는 층이많은 것을 DNN(Deep NN)라고 합 니다. 그리고 DNN이 학습하는 것을 Deep Learning이라고 합니다. 딥러닝 https://www.slideshare.net/papisdotio/introduction-to-multi-gpu-deep-learning-with-digits-2-mike-wang
• 6.
  학습과 사용 https://www.slideshare.net/papisdotio/introduction-to-multi-gpu-deep-learning-with-digits-2-mike-wang
• 7.
  모든 경우의 수탐색가능 9 x 8 x… 2 틱텍토 http://blog.naver.com/PostView.nhn?blogId=best999&logNo=220680107733&parentCategor yNo=&categoryNo=&viewDate=&isShowPopularPosts=false&from=postView
• 8.
  1996년 딥블루 경우의 수는탐색할 만 하다. 체스 https://www.youtube.com/watch?v=SUbqykXVx0A&feature=youtu.be
• 9.
  모든 경우의 수탐색 불가. 361X 360 x … > 우주 원자 수 바둑 https://www.youtube.com/watch?v=SUbqykXVx0A&feature=youtu.be
• 10.
  • 2개의 네트웤+ MCTS Alphago를 요약하면 Policy Network Value Network
• 11.
  현재의 판에 대한다음 수를 학습 프로기사의 기보를 사용. Policy Network https://www.slideshare.net/ckmarkohchang/alphago-in-depth
• 12.
  Policy Network https://www.slideshare.net/ckmarkohchang/alphago-in-depth
• 13.
  • 학습이 된Policy Network을 가지고 스스로 대국을 두게함. • 그 결과를 가지고 네트웤을 업데이트. Policy Network - 강화학습 https://gogameguru.com/i/2016/03/deepmind-mastering-go.pdf
• 14.
  • 바둑 프로그램Pachi를 상대로 85% 승율 Policy Network https://gogameguru.com/i/2016/03/deepmind-mastering-go.pdf
• 15.
  • 검색 폭을줄인다. • 출력된 수만을 고려한다. Policy Network의 역할
• 16.
  Policy Network의 역할 https://www.youtube.com/watch?v=8Z2eLTSCuBk&t=0s
• 17.
  • 모든 가능한수를 다 검색하지 않아도 된다. Policy Network의 역할 https://www.youtube.com/watch?v=8Z2eLTSCuBk&t=0s
• 18.
  • 현재의 판을가지고 유리/불리를 학습 • 최종 결과를 출력으로 학습. 1:승리, 0: 패배 Value Network https://www.slideshare.net/ckmarkohchang/alphago-in-depth
• 19.
  • Policy Network으로스스로 플레이한 기보 데이터를 사용 Value Network vs
• 20.
  • 현재 판을보고 유리/불리를 출력 Value Network
• 21.
  • 검색 깊이를줄인다. Value Network의 역할
• 22.
  Value Network의 역할 https://www.youtube.com/watch?v=8Z2eLTSCuBk&t=0s
• 23.
  • 게임의 끝까지가보지 않아도 된다. Value Network의 역할 https://www.youtube.com/watch?v=8Z2eLTSCuBk&t=0s
• 24.
  • Monte-Carlose TreeSearch • 트리 검색 방법 • 이전 최강 프로그램 Pachi이 사용 MCTS https://en.wikipedia.org/wiki/Monte_Carlo_tree_search
• 25.
  • Alphago의 경우끝까지 가지 않고, 특정 깊이에서 Value Network의 값을 사용. MCTS https://en.wikipedia.org/wiki/Monte_Carlo_tree_search
• 26.
  • Policy Network을사용하여 검색 폭을 줄이고 • MCTS를 사용하여 최선의 가지를 찾고 • Value Network을 사용 하여 검색 깊이를 줄이고 정리하면 https://gogameguru.com/i/2016/03/deepmind-mastering-go.pdf
• 27.
  • Mastering theGame of Go with Deep Neural Networks and Tree Search https://gogameguru.com/i/2016/03/deepmind- mastering-go.pdf • Google DeepMind's AlphaGo: How it works : https://www.tastehit.com/blog/google-deepmind- alphago-how-it-works/ • Alphago in Depth :https://www.slideshare.net/ckmarkohchang/alphago -in-depth Reference