人工知能はどのようにして「名人」を超えたのか？ 最強の将棋ＡＩポナンザの開発者が教える機械学習・深層学習・強化学習の本質

お正月読書第２弾。コンピュータ将棋ソフトで最近長らく日本一だったポナンザの作者による囲碁将棋ＡＩのやさしい解説である。数式もない一般向けの解説なのですぐに読めた。

こういう問題を考えていくと、人間の知能や知性とは何かという問題に行き当たるのが面白いところである。囲碁にしても将棋にしても、強い人には弱い人が持っていない勘がある。しかし、その勘が何かと言われると、強い人本人もそれが何であるかわからない。しかし、コンピュータが強くなってから考えてみると、その勘とはディープラーニングに類似のものではないかとも思えてくる。近年のディープラーニングが得意な領域は画像の判断で、これを用いてコンピュータ囲碁が飛躍的に強くなった。そのことから、やや飛躍を持って考えると、第２章で著者が書いているように、知能の本質は画像なのではないかというふうにさえ思えてくる。さらには、ここでいう「黒魔術」である「ドロップアウト」も時々忘れることの重要性を示唆しているのかもしれない。

しかし、あまりディープラーニングと人間の知能を似たようなものだと考えすぎるのが誤りであることも明らかである。たとえば、コンピュータが人間に勝てるようにするには、人間が学習するよりもはるかに多くの棋譜を学習させないといけないところを見ると、人間よりも学習効率は良くないようである。ひとつの理由として考えられるのは、巻末の鼎談で議論されているようにコンピューターには論理を操る能力がないことがある。それが学習効率を落としている原因にもなっているだろう。

つまり、コンピュータはこれまでに、計算能力と画像判断能力を身につけた。人間に比べてあと足りないのは、上記のように論理を操る能力のようである。そこまでいくと、本当に知性のようなものが出来るのかもしれない。

サマリー

第１章 将棋の機械学習―プログラマからの卒業

• 将棋プログラムは、大きく言って探索部と評価部からなる。
• 評価部に機械学習が使われるようになって、将棋プログラムは急速に強くなり、プロ棋士を追い越すに至った。

第２章 黒魔術とディープラーニング―科学からの卒業

• 機械学習の手法のうち、最近は「深層学習（ディープラーニング）」でブレイクスルーがあった。
• ポナンザが使っている機械学習は、ディープラーニングではなく、ロジスティック回帰という手法である。
• ディープラーニングの元となる技術のニューラルネットワークは 70 年ほど前からあったが、10 年前まではたいした成果はなかった。
• 2006 年頃から、ディープラーニングで成果が上がり始めた。それが成功するための黒魔術のひとつは、 「ドロップアウト」という技法である。これは、適度にニューロンを取り去って過学習を防ぐための技術である。
• ディープラーニングは画像の処理が得意である。著者の考えでは、知能の本質は画像にある。

第３章 囲碁と強化学習―天才からの卒業

• ポナンザは2015年から教師なしの強化学習を導入して強くなった。さらには、新戦法を指すようになった。
• 2016年、アルファ碁が登場し、瞬く間に人間のレベルを超えた。
• コンピュータ囲碁では、長らく盤面評価が課題だったが、10年くらい前に「モンテカルロ法」が登場して、局面評価ができるようになった。ただし、完全にランダムに打ってゆくわけではなくて、プロの手を機械学習して打つ手を決める。
• アルファ碁では、碁盤を絵としてディープラーニングで機械学習させることにより、プロ棋士の打ち手の予想率を高めた。
• アルファ碁では、さらにディープラーニングと強化学習を組み合わせて、「打ち手予測器」を改善するとともに「勝敗予測器」を作った。すなわち盤面評価が可能になった。
• アルファ碁は、こうして「モンテカルロ法」と「打ち手予測器」と「盤面評価器」を組み合わせることで、人間を凌駕した。

第４章 倫理観と人工知能―人間からの卒業

• 知能とは、目的があるときにそこまでの道筋を探す能力。知性とは、目的を設計できる能力。
• 今の人工知能では、知能は人間を超えようとしているが、知性はない。
• 将棋においては、人間は「中間の目的」を設定しながら戦ってゆくが、今のプログラムではそれができない。
• 著者の考えでは、複数のディープラーニングを組み合わせると、知性が出来てくるのではないか。
• コンピュータに知性を持たせようとするなら、同時に倫理観も学習させなければならない。