AIの中心にある暗い秘密

昨年、奇妙な自動運転車がニュージャージー州モンマス郡の静かな道路に公開されました。チップメーカーエヌビディアの研究者らが開発したこの実験車両は、他の自動運転車と見た目は変わらなかったが、グーグルやテスラ、ゼネラルモーターズが実証したものとは異なり、人工知能の威力の高まりを示していた。車はエンジニアやプログラマーの指示に一切従わなかった。代わりに、人間が運転するのを見て自動的に運転を学習するアルゴリズムに完全に依存していました。

この道を車で走らせることは素晴らしい偉業でした。しかし、車がどのように決定を下すかが完全には明らかではないため、少し不安でもあります。車両のセンサーからの情報は、人工ニューロンの巨大なネットワークに直接入力され、データが処理され、ハンドル、ブレーキ、その他のシステムの操作に必要なコマンドが送信されます。その結果は、人間のドライバーから期待される応答と一致しているようです。しかし、ある日、木に衝突したり、青信号で止まったりするなど、予期せぬことが起きたらどうなるでしょうか? 現状では、その理由を解明するのは難しいかもしれません。このシステムは非常に複雑であるため、システムを設計したエンジニアでさえ、単一のアクションの理由を特定するのに苦労する可能性があります。そして、それを尋ねることはできません。なぜそのようなことをしたのかを常に説明できるようなシステムを設計する明白な方法はありません。

この車両の謎めいた精神は、人工知能に関する差し迫った問題を示唆しています。ディープラーニングとして知られる自動車の基盤となる AI テクノロジーは、近年、問題解決に非常に強力であることが証明されており、画像キャプション、音声認識、言語翻訳などのタスクに広く導入されています。現在、同じ技術で致死性の病気を診断したり、数百万ドル規模の取引の意思決定をしたり、その他無数のことが業界全体を変革できるようになるのではないかと期待されています。

しかし、ディープラーニングのような技術を作成者にとってより理解しやすく、ユーザーに対して説明責任を負う方法を見つけない限り、これは起こらない、あるいは起こるべきではありません。そうしないと、いつ障害が発生するかを予測することが難しくなり、障害が発生するのは避けられません。それが、Nvidia の自動車がまだ実験段階にある理由の 1 つです。

すでに、誰が仮釈放するか、誰が融資を承認されるか、誰が仕事に雇用されるかを決定するために数学的モデルが使用されています。これらの数学モデルにアクセスできれば、その推論を理解できるでしょう。しかし、銀行、軍、雇用主などが現在、自動化された意思決定をまったく不可解なものにする可能性がある、より複雑な機械学習アプローチに注目を集めている。これらのアプローチの中で最も一般的なディープラーニングは、コンピューターをプログラムする根本的に異なる方法です。「これはすでに関連性のある問題であり、将来的にはさらに関連性が高まるでしょう」と、機械学習の応用に取り組むマサチューセッツ工科大学のトミ・ジャーコラ教授は言う。「それが投資上の決定であれ、医療上の決定であれ、あるいは軍事的な決定であれ、『ブラックボックス』の方法だけに依存したくないのです。」

AI システムがどのように結論に達したかについて質問できることは、基本的な法的権利であるという議論がすでにあります。欧州連合は2018年夏から、自動化システムが下す決定について企業がユーザーに説明できるよう義務付ける可能性がある。これは、深層学習を使用して広告を配信したり曲を推奨したりするアプリや Web サイトなど、表面的には比較的単純に見えるシステムであっても、不可能である可能性があります。それらのサービスを実行するコンピューターは自らをプログラムしており、私たちには理解できない方法でそれを実行しています。これらのアプリを構築するエンジニアでさえ、その動作を完全に説明することはできません。

これは気が遠くなるような疑問を引き起こします。テクノロジーが進歩するにつれて、私たちはすぐに、AI を使用するには大胆な信念が必要となるあるしきい値を超えるかもしれません。確かに、私たち人間も自分の思考プロセスを常に正確に説明できるわけではありませんが、直感的に人を信頼し評価する方法を見つけます。人間とは異なる方法で考え、決定する機械でもそれは可能でしょうか? 私たちは、作成者が理解できない方法で動作するマシンをこれまでに構築したことがありません。予測不可能で不可解な可能性があるインテリジェントなマシンとどの程度うまくコミュニケーションし、仲良くやっていくことができるでしょうか? これらの質問は、私を Google から Apple、そしてその間のさまざまな場所に至るまで、AI アルゴリズム研究の最先端への旅に連れて行きました。その中には、現代の偉大な哲学者の一人との出会いも含まれていました。

2015 年、ニューヨークのマウントサイナイ病院の研究グループは、病院の膨大な患者記録データベースにディープラーニングを適用することを思いつきました。このデータセットには、検査結果や医師の診察などから抽出された、患者に関する何百もの変数が含まれています。研究者らがディープ・ペイシェントと名付けたその結果のプログラムは、約70万人の個人からのデータを使用して訓練され、新しい記録でテストしたところ、病気を予測するのに信じられないほど優れていることが証明された。専門家の指示なしに、ディープ・ペイシェントは、人々が肝臓がんを含むさまざまな病気にかかり始める時期を示していると思われる病院データに隠されたパターンを発見した。マウント・サイナイチームを率いるジョエル・ダドリー氏は、患者の記録から病気を予測するのに「非常に優れた」方法はたくさんあると語る。しかし、「これはずっと良かった」と彼は付け加えた。

「これらのモデルを構築することはできますが、それがどのように機能するかはわかりません。」

同時に、ディープ・ペイシェントは少し不可解です。統合失調症などの精神疾患の発症を驚くほどうまく予測しているようです。しかし、統合失調症は医師にとって予測が難しいことで知られているため、ダドリー氏はどうしてそんなことが可能なのか疑問に思った。彼はまだ知りません。新しいツールでは、これをどのように行うのかについては何の手がかりもありません。もしディープ・ペイシェントのようなものが実際に医師を助けるのであれば、理想的にはその予測の理論的根拠を医師に提供し、それが正確であることを医師に安心させ、例えば処方されている薬の変更を正当化することができるだろう。「こうしたモデルを構築することはできますが、それがどのように機能するかはわかりません」とダドリー氏は残念そうに言う。

人工知能は常にそうであったわけではありません。 AI がどの程度理解可能であるべきか、または説明可能であるべきかについては、当初から 2 つの考え方がありました。多くの人は、ルールとロジックに従って推論するマシンを構築し、コードを調べようとする人には内部の仕組みを透過的にすることが最も合理的であると考えていました。機械が生物学からインスピレーションを得て、観察と経験によって学習すれば、知性がより容易に出現するだろうと感じた人もいた。これは、コンピュータプログラミングを根本から変えることを意味しました。プログラマーが問題を解決するためのコマンドを記述する代わりに、プログラムはサンプルデータと目的の出力に基づいて独自のアルゴリズムを生成します。後に今日の最も強力な AI システムに進化する機械学習技術は、後者の道をたどりました。つまり、機械は本質的にそれ自体をプログラムします。

当初、このアプローチは実際の用途が限られており、1960 年代と 70 年代には主にこの分野の周縁部に限定されたままでした。その後、多くの産業のコンピュータ化と大規模なデータセットの出現により、再び関心が高まりました。これは、より強力な機械学習技術、特に人工ニューラルネットワークとして知られるものの新しいバージョンの開発にインスピレーションを与えました。 1990 年代までに、ニューラルネットワークによって手書き文字が自動的にデジタル化されるようになりました。

しかし、いくつかの巧妙な調整と改良を経て、非常に大規模な、または「深い」ニューラルネットワークが自動認識の劇的な改善を実証したのは、この 10 年間の初めになってからでした。ディープラーニングは、今日の AI の爆発的普及の原因となっています。これにより、人間とほぼ同じように話し言葉を認識する能力など、コンピューターに並外れた能力が与えられましたが、この能力は手動で機械にコードを書き込むにはあまりにも複雑すぎます。ディープラーニングはコンピュータービジョンを変革し、機械翻訳を劇的に改善しました。現在、医療、金融、製造など、あらゆる分野の重要な意思決定の指針として使用されています。

機械学習テクノロジーの仕組みは、コンピューター科学者にとっても、手動でコーディングされたシステムよりも本質的に不透明です。これは、将来の AI 技術がすべて同様に認識不可能になるということではありません。しかし、その性質上、ディープラーニングは特に暗いブラックボックスです。

ディープニューラルネットワークの内部を調べるだけで、それがどのように機能するかを確認することはできません。ネットワークの推論は、数十、場合によっては数百の複雑に相互接続された層に配置された、何千ものシミュレートされたニューロンの動作に埋め込まれています。最初の層のニューロンはそれぞれ、画像内のピクセルの強度などの入力を受け取り、新しい信号を出力する前に計算を実行します。これらの出力は、全体的な出力が生成されるまで、複雑な網の目で次の層のニューロンに供給されます。さらに、ネットワークが目的の出力を生成することを学習できるように、個々のニューロンの計算を微調整するバックプロパゲーションとして知られるプロセスがあります。

深いネットワーク内の多くの層により、さまざまな抽象レベルで物事を認識できるようになります。たとえば、犬を認識するように設計されたシステムでは、下位層は輪郭や色などの単純なものを認識します。上位層は毛皮や目のようなより複雑なものを認識します。最上位のレイヤーはすべてを犬として識別します。大まかに言えば、同じアプローチは、機械に自己学習させる他の入力にも適用できます。これには、音声で単語を構成する音、テキストで文章を作成する文字と単語、運転に必要なステアリングホイールの動きなどがあります。

「知性の性質の一部として、その一部だけが合理的な説明にさらされるのかもしれません。その一部は単なる本能的なものです。」

このようなシステムで何が起こっているのかを捉え、より詳細に説明しようとするために、独創的な戦略が使用されてきました。 2015 年、Google の研究者はディープラーニングベースの画像認識アルゴリズムを修正し、写真内のオブジェクトを特定する代わりに、オブジェクトを生成または変更できるようにしました。アルゴリズムを効果的に逆に実行することで、プログラムが鳥や建物などを認識するために使用する特徴を発見できる可能性があります。 Deep Dreamとして知られるプロジェクトによって制作されたその結果の画像には、雲や植物から現れたグロテスクでエイリアンのような動物や、森や山脈の向こう側に咲く幻覚の塔が映っていた。画像は、深層学習が完全に不可解である必要はないことを証明しました。彼らは、アルゴリズムが鳥のくちばしや羽などのよく知られた視覚的特徴をターゲットにしていることを明らかにしました。しかし、これらの画像はまた、深層学習が人間の知覚とはどのように異なるのか、つまり無視すべきとわかっているアーティファクトから何かを作り出す可能性があることを示唆しています。 Googleの研究者らは、そのアルゴリズムがダンベルの画像を生成する際、ダンベルを保持する人間の腕も生成したと指摘した。機械は腕が物体の一部であると結論付けました。

神経科学と認知科学から借用したアイデアを使用して、さらなる進歩が見られました。ワイオミング大学のジェフ・クルーン助教授が率いるチームは、錯視に相当するAIを利用してディープニューラルネットワークをテストした。 2015年、クルーン氏のグループは、特定の画像がシステムが検索する低レベルのパターンを悪用するため、特定の画像がそのようなネットワークをだましてそこに存在しないものを認識させる方法を示した。クルーン氏の協力者の一人であるジェイソン・ヨシンスキー氏も、脳に突き刺されたプローブのように機能するツールを開発した。彼のツールはネットワークの中央にある任意のニューロンをターゲットにし、それを最も活性化する画像を検索します。表示される画像は抽象的で (フラミンゴやスクールバスの印象派を想像してください)、機械の知覚能力の神秘的な性質を強調しています。

しかし、AI の考え方を垣間見るだけでは不十分であり、簡単な解決策はありません。より高度なパターン認識と複雑な意思決定にとって重要なのは、ディープニューラルネットワーク内の計算の相互作用ですが、それらの計算は数学関数と変数の泥沼です。「非常に小さなニューラルネットワークがあれば、それを理解できるかもしれません」と Jaakkola 氏は言います。「しかし、それが非常に大きくなり、各レイヤーに数千のユニット、場合によっては数百のレイヤーが含まれるようになると、まったく理解できなくなります。」

Jaakkola の隣のオフィスには、機械学習を医学に応用しようと決意している MIT 教授の Regina Barzilay がいます。彼女は数年前、43 歳で乳がんと診断されました。この診断自体が衝撃的でしたが、最先端の統計手法や機械学習手法が腫瘍学の研究や治療の指針として使用されていないことにも落胆しました。患者の治療。彼女は、AI には医療に革命をもたらす大きな可能性があるが、その可能性を認識するには、単なる医療記録を超えることが必要であると述べています。彼女は、現在十分に活用されていないと彼女が言う生データ、つまり「画像データ、病理学データ、これらすべての情報」をさらに活用することを構想している。

予測不可能で不可解な機械とどれだけうまくやっていけるでしょうか?

昨年がん治療を終えた後、バージライさんと学生たちはマサチューセッツ総合病院の医師と協力して、研究者が研究したいと考えている特定の臨床的特徴を持つ患者を特定するために病理レポートをマイニングできるシステムの開発を始めた。しかし、Barzilay 氏は、システムがその理由を説明する必要があることを理解していました。そこで彼女は、Jaakkola と学生の協力を得て、システムが発見したパターンを表すテキストの断片を抽出して強調表示するというステップを追加しました。 Barzilay 氏とその学生たちは、マンモグラム画像から乳がんの初期兆候を発見できる深層学習アルゴリズムも開発中であり、このシステムにその推論を説明する能力を与えることも目指しています。「マシンと人間が協力するループが本当に必要です」と Barzilay 氏は言います。

米軍は、機械学習を利用して車両や航空機を操縦し、標的を特定し、膨大な情報データの山をアナリストが精査できるようにするプロジェクトに数十億ドルをつぎ込んでいる。ここでは、他のどこよりも、医学よりもさらに、アルゴリズムの謎が入り込む余地はほとんどなく、国防総省は説明可能性が主要な障害であると特定しています。

国防高等研究計画局のプログラムマネージャーであるデイビッド・ガニング氏は、その名にふさわしい「説明可能な人工知能」プログラムを監督している。銀髪の退役軍人であり、最終的に Siri の開発につながる DARPA プロジェクトを以前監督していたガニング氏は、自動化が軍の無数の分野に浸透しつつあると語る。インテリジェンスアナリストは、膨大な監視データのパターンを特定する方法として機械学習をテストしています。多くの自律型地上車両や航空機が開発され、テストされています。しかし、兵士たちはおそらく、自分たちに説明のないロボット戦車に快適に感じることはないだろうし、分析官は何らかの理由付けなしに情報に基づいて行動することに消極的になるだろう。「これらの機械学習システムの性質上、多くの誤報が生成されることが多いため、情報アナリストが推奨が行われた理由を理解するには特別な支援が必要です」とガニング氏は言う。

今年3月、DARPAはガニング氏のプログラムに基づく資金提供のために学界と産業界から13のプロジェクトを選んだ。そのうちのいくつかは、ワシントン大学教授のカルロス・ゲストリン氏が主導した研究を基に構築される可能性がある。彼と彼の同僚は、機械学習システムが出力の理論的根拠を提供する方法を開発しました。基本的に、この方法では、コンピューターがデータセットからいくつかの例を自動的に見つけて、短い説明で提供します。たとえば、電子メールメッセージをテロリストからのものとして分類するように設計されたシステムでは、訓練や意思決定に何百万ものメッセージが使用される可能性があります。しかし、ワシントンのチームのアプローチを使えば、メッセージに含まれる特定のキーワードを強調表示できる可能性がある。ゲストリン氏のグループは、画像の最も重要な部分を強調表示することで画像認識システムが推論を示唆する方法も考案した。

このアプローチや、Barzilay のような同様のアプローチの 1 つの欠点は、提供される説明が常に単純化されるため、途中で重要な情報が失われる可能性があることです。「私たちは、AI がユーザーと会話し、説明できるという夢のすべてを達成していません」とゲストリン氏は言います。「真に解釈可能なAIを実現するには、まだ長い道のりです。」

これが問題になるのは、がんの診断や軍事作戦のような一か八かの状況である必要はありません。 AI テクノロジーが私たちの日常生活に一般的で役立つ部分になるためには、AI の推論を知ることも重要になります。 Apple で Siri チームを率いる Tom Gruber 氏は、Siri をより賢く、より有能な仮想アシスタントにしようとしているチームにとって、説明可能性が重要な考慮事項であると述べています。グルーバー氏は Siri の将来の具体的な計画については語ろうとしませんでしたが、Siri からおすすめのレストランを受け取ったら、その理由を知りたくなるのは容易に想像できます。 AppleのAI研究ディレクターでカーネギーメロン大学准教授のルスラン・サラクディノフ氏は、説明可能性が人間とインテリジェントマシンの間の進化する関係の中核であると考えている。「それは信頼をもたらすでしょう」と彼は言います。

人間の行動の多くの側面を詳細に説明することが不可能であるのと同様に、おそらく AI が行うことすべてを説明することは不可能でしょう。ワイオミング大学のクルーン氏は、「たとえ誰かが（自分の行動について）合理的に聞こえる説明を与えてくれたとしても、それはおそらく不完全であり、同じことがAIにも当てはまる可能性が非常に高い」と語る。「知性の性質の一部であり、その一部だけが合理的な説明にさらされるのかもしれません。その一部は単なる本能的、潜在意識的、または不可解なものです。」

そうであれば、どこかの段階でAIの判断を信じるか、AIを使わずに済ませるしかないかもしれません。同様に、その判断には社会的知性を組み込む必要があるだろう。社会が期待される行動の契約に基づいて構築されているのと同じように、私たちは社会規範を尊重し、それに適合するように AI システムを設計する必要があります。私たちがロボット戦車やその他の殺人機械を作成する場合、その意思決定が私たちの倫理的判断と一致していることが重要です。

これらの形而上学的概念を調査するために、私はタフツ大学に行き、意識と心を研究する有名な哲学者で認知科学者であるダニエル・デネットに会いました。意識に関する百科事典的な論文であるデネットの最新の著書『細菌からバッハ・アンド・バックまで』の一章は、知性そのものの進化の自然な一部分は、創造者がやり方を知らないタスクを実行できるシステムの創造であることを示唆している。「問題は、これを賢明に行うためにはどのような対応をしなければならないか、そして私たちが彼らと私たち自身にどのような基準を要求するかということです。」彼は大学ののどかなキャンパスにある雑然としたオフィスで私に語った。

彼はまた、説明可能性の追求について警告の言葉を述べています。「これらのものを使用し、それらに依存するのであれば、ぜひ、それらがどのように、そしてなぜ答えを与えてくれるのかを可能な限りしっかりと把握しようと思います」と彼は言います。しかし、完璧な答えは存在しない可能性があるため、たとえ機械がどれほど賢く見えたとしても、私たちは AI の説明に対してお互いと同じように注意する必要があります。「それが何をしているのかを説明するのが私たちよりうまくできないなら、それを信用しないでください。」と彼は言います。

この記事は、2017 年 5 月/6 月号の一部です。

「これらの生物が私たちよりも賢くなるのではないかということで、突然考え方を切り替えました。」

学生のカンニングに関する物語だけでは、すべてが語られるわけではありません。生成 AI が実際に学習を改善できると考える教師たちを紹介します。

ヒントン氏は水曜日に EmTech Digital で講演します。

ChatGPT は汎用人工知能に関する憶測を引き起こしました。しかし、AI の次の本当の段階は、特定のドメインとコンテキストで行われることになります。

特別オファー、トップ記事、今後のイベントなどをご覧ください。

メールを送信していただきありがとうございます。

何か問題があったようです。

設定を保存できません。このページを更新して、もう一度更新してみてください。このメッセージが引き続き表示される場合は、受信を希望するニュースレターのリストを添えて、[email protected] までご連絡ください。

ブログ