シリーズ第8回目では、一度オフになっていた人工知能を復活させ、今日のディープラーニングを可能にしたジェフリー・ヒントンについて学びます。シリーズの過去の内容をまだチェックしていないなら、最初に読むことをおすすめします。
<퍼센트론즈>1969年、シンボリック人工知能の代表であるマービン・ミンスキー*は、ローゼンブラット**の「パーセプトロン」***に対する批評を発表しました。それ以来、人工ニューラルネットワークと人工知能研究は初めての長くて厳しい冬を過ごしました。**** ジェフリー・エベレス・ティントン（ジェフリー・エベレス・ティントン、1947年〜）は、消滅した人工知能研究の炎を復活させ、ディープラーニングを今日の形にした主人公です。
学者の家族の愛を歌ったタコ
子供の頃のジェフリー・ヒントン ソース
ジェフリー・ヒントンは現在カナダにいますが、元々はイギリスのウィンブルドンで生まれました。彼は有名な学者の家系の出身で、通称「母の息子」と呼ばれていました。彼の祖先は、国民総生産（GNP）の利用を開拓したコリン・クラーク、ブール代数を生み出したシンボリック・ロジックの創始者ジョージ・ブール、医者で作家のジェームズ・ヒントン、エベレストの起源であるジョージ・エベリストなどの偉人です。*****
ヒントンが脳に興味を持ったのは、高校時代の友人から、ラットの脳の研究は面白いと聞いたときでした。その後、キングスカレッジで生理学と物理学を専攻し、哲学と心理学の修士号を取得しました。その後、脳の働き原理を本格的に研究するために、認知科学の創始者であるエディンバラ大学のヒギンズ教授を訪ね、人工ニューラルネットワークの博士号を取得しました。******
その後、当時ニューラルネットワークの研究が活発ではなかった英国を離れ、より自由な環境で研究活動を続けるために米国に向かいました。
本格的なニューラルネットワーク研究の始まり
デヴィッド・ランメルハートとジョン・ホップフィールド ソース
アメリカ留学中、ヒントンはジョン・ホップフィールドやデビッド・ランメルハートなどの巨匠と出会いました。ランメルハートは認知科学の達人であり、ホップフィールドはホップフィールド・ネットワークスでニューラル・ネットワーク研究の新たな地平を開いた人物です。これらの巨匠たちとの出会いは、ヒントンのニューラルネットワークに関する研究に弾みをつけました。
ボルツマンマシンのグラフィック表現、 ソース
1984年、ヒントンはホップフィールドの弟子であるテリー・セイノフスキーと共にボルツマンマシンを提案しました。ニューラルネットワークのアルゴリズムを組み合わせて既存のホップフィールドネットワークを改良し、大規模な並列処理を行う強力なコンピューティングデバイスです。ボルツマンマシンは、確率的に循環し、内部構造に基づいて学習し、さまざまな問題の組み合わせを解決できるニューラルネットワークネットワークです。*******
エラーバックプロパゲーションアルゴリズムの概念図、 ソース
1986年、彼はRummelhartのバックプロパゲーションアルゴリズム（バックプロパゲーションアルゴリズム）の論文に参加しました。この論文は、ニューラルネットワークと人工知能研究の長い冬を終わらせた記念碑的な論文です。バックプロパゲーションの知識と多層パーセプトロンは、XOR 問題が解けない既存のパーセプトロン問題の解法です。********
ニューラルネットワークの復活とディープラーニングの台頭
スロープ損失の概念図、 ソース
1990年代の人工ニューラルネットワーク研究は、傾斜の喪失などの制約から困難な時期を経なければならなかった。**** 研究への支援や投資が断たれ、多くの研究者が去る人工知能の第二冬がやってきた。しかし、ヒントンはあきらめず、ニューラルネットワークの研究を続けています。
教師なし学習法とRBMに基づいて構築されたDBN（制限付きボルツマン・マンチン）DBN（制限付きボルツマン・マンチン） ソース
困難な時期を乗り越えて研究を続けたヒントンは、2006年に「ディープ・ビリーフネットのための高速学習アルゴリズム」という論文を発表しました。この論文は、Deep BeliefNetwork (DBN) と呼ばれる新しいアルゴリズムによって既存のニューラルネットワークの限界を克服し、本格的なディープラーニングの時代を切り開きました。DBN は、制限のあるボルツマンマシンの複数層という形で、事前学習による勾配の喪失という問題を解決するとともに、学習中に意図的にデータを省略する方法を用いることで、新しいデータをうまく処理できないという問題も解決しています。*********
ディープラーニングの全盛期を開く
ILSVRCの過去の受賞者の正確さは、 ソース
1989年にヒントンの指導を受けたヤン・レチュンとジョシュア・ベンジオは、CNN（コンボリューション・ニューラル・ネットワーク）を修了しました。既存のボルツマンマシンとバックプロパゲーションアルゴリズムを組み合わせて実装されたディープニューラルネットワーク (ディープニューラルネットワーク) は、ディープラーニングの全盛期を切り開きました。これを応用したAlexNetは、2012年にILSVRC（ImageNet大規模視覚認識チャレンジ）で圧倒的に優勝し、ディープアーキテクチャ（ディープアーキテクチャ）をベースにしたディープラーニングアルゴリズムが主流になりました。*********
一方、冷戦時代はまだ軍事力拡大の激しい時期でした。しかし、ヒントンは自分の研究が軍事目的で使用されることを望んでいませんでした。その結果、カナダのトロント大学に移り、現在もGoogle Scholarとして積極的に研究活動を行っています。
仕上げ中
ジェフリー・ヒントン、 ソース
ヒントンが脳の仕組みに興味を持ったのは、高校の友達との会話がきっかけだったと言われています。ある友人がヒントンに「脳はホログラムのように働く」と言いました。ホログラムが無数のレーザー光を反射して形をつくるように、脳も記憶を一箇所にまとめずに巨大なニューラルネットワークに記憶を広げます。**********
しばらくの間、大量のルールをプログラミングしてコンピュータに推論させるという記号主義が人工知能研究の主流になりました。しかし、ご存知のように、AIは自ら知識を学習させるべきだとヒントンが信じていたのは正しかったことが最終的に明らかになりました。長く厳しいAIの冬を乗り切って、ニューラル・ネットワークとディープ・ラーニングが見事に花開くのを可能にしたのは、ヒントンの役割でした。
急速に変化する人工知能の分野で未来を予測することは非常に困難です。しかし、AIはすでにさまざまな分野で人間を追い越しており、今後も人間を上回り続けることは明らかです。ヒントンとその後継者たちが将来、どこまで、いつ、人工知能を進歩させるのか、興味深いところです。
参考文献
[1] https://en.wikipedia.org/wiki/Geoffrey_Hinton
[2] http://wiki.hash.kr/index.php/제프리_힌튼
[3] みんなの無知を乗り越えたディープラーニングの父、ジェフリー・ヒントン http://www.techm.kr/news/articleView.html?idxno=4406
[4] [韓国初の独占インタビュー] 21世紀の人工知能のゴッドファーザー、カナダ・トロント大学教授ジェフリー・ヒントン https://www.joongang.co.kr/article/20382230#home
[5] 機械学習の限界について、今度はGLOM (GLOM) に注目してください！...ジェフリー・ヒントンの新たな挑戦 http://www.aitimes.com/news/articleView.html?idxno=138348
[6] AIのパイオニア、ジェフ・ヒントン：「ディープラーニングなら何でもできる」 https://www-technologyreview-com.cdn.ampproject.org/c/s/www.technologyreview.com/2020/11/03/1011616/ai-godfather-geoffrey-hinton-deep-learning-will-do-everything/amp/
[7] トロントで形になりつつある機械の新しい見方 https://www.nytimes.com/2017/11/28/technology/artificial-intelligence-research-toronto.html
[8] [ビデオ] 人工知能のゴッドファーザーに会いましょう https://www.bnnbloomberg.ca/video/meet-the-godfather-of-ai~1404487
[9]「古い考えを捨てないでください。もう一度取り出して」 https://contents.premium.naver.com/themiilk/business/contents/210528214914254NM
一緒に見るのに良いコンテンツ
[AIストーリー] 人工知能のキーフィギュア (1) アラン・チューリング【AIストーリー】人工知能の決定的人物（2）ディープラーニングの創始者ウォルター・フィッツ[AIストーリー] 人工知能の決定的人物 (3) 人工知能の創始者ジョン・マッカーシー[AIストーリー] 人工知能のキーフィギュア (4) 人工知能におけるディープラーニングのパイオニア、ローゼンブラット[AIストーリー] 人工知能の決定的人物 (5) サイモンとニューウェルの素晴らしい組み合わせ[AIストーリー] 人工知能のキーフィギュア（6）人間は思考機械である、マービン・ミンスキー[AIストーリー] 人工知能の決定的人物 (7) シンギュラリティがやってくる、レイ・カーツワイル
