ニューラル ネットワークのユニークな視覚化: 機械デコーダーと人間の感覚認識

まとめ： 新しい研究では、ディープ ニューラル ネットワークの神秘的な世界を詳しく調査し、これらのモデルは人間の感覚システムと同様の物体を認識できるものの、その認識戦略は人間の知覚とは異なることが判明しました。 ネットワークが特定の入力と同様の刺激を生成するように要求されると、多くの場合、認識できない、または歪んだ画像や音声が生成されます。

これは、ニューラルネットワークが人間の知覚パターンとはまったく異なる独自の「定数」を培っていることを示唆しています。 この研究は、人間の感覚を模倣するモデルを評価するための洞察を提供します。

重要な事実:

1. ディープ ニューラル ネットワークは、特定の入力に類似した刺激を生成するときに、ターゲットとはまったく似ていない画像や音声を生成することがよくあります。
2. モデルは、人間の知覚システムとは異なる独自の定数を開発し、人間とは異なる刺激を認識させるようです。
3. 競争力のあるトレーニングを使用すると、元の入力と同一ではない場合でも、モデルによって生成された刺激を人間がより認識しやすくすることができます。

ソース： マサチューセッツ工科大学

人間の感覚システムは、たとえ物体が逆さまであったり、聞いたことのない音で話された言葉であっても、見たものや聞いた言葉を認識するのに非常に優れています。

ディープ ニューラル ネットワークとして知られるコンピューター モデルも同じことを行うようにトレーニングでき、毛皮の色に関係なく犬の画像を正確に識別したり、話者の声の調子に関係なく単語を識別したりできます。 しかし、MITの神経科学者らによる新しい研究では、これらのモデルはターゲットとは異なる画像や単語に対しても同じように反応することが多いことが判明した。

これらのニューラル ネットワークを使用して、クマの写真などの特定の自然入力と同じように反応する画像や単語を生成すると、そのほとんどが人間の観察者には認識できない画像や音声を生成しました。 これは、これらのモデルが独自の「不変条件」を構築していることを示唆しています。これは、モデルが非常に異なる特徴を持つ刺激に対して同じように反応することを意味します。

マサチューセッツ工科大学の脳および認知科学の准教授であり、マクガバン脳研究所およびマサチューセッツ工科大学脳センターのメンバーであるジョシュ・マクダーモット氏は、この研究結果は、これらのモデルが人間の感覚知覚の組織をどの程度模倣しているかを研究者が評価するための新しい方法を提供すると述べています。 。 心と機械。

「この論文は、これらのモデルを使用して異常な信号を抽出し、最終的にモデル内の表現の診断につながることができることを示しています」と、この研究の筆頭著者であるマクダーモット氏は述べています。 「このテストは、モデルを評価するフィールドとして使用する一連のテストの一部となるはずです。」

ジェネル・フェザー博士’22は、現在フラットアイアン研究所計算神経科学センターの研究員であり、オープンアクセス論文の主著者である。 通常の神経科学。 マサチューセッツ工科大学の大学院生であるギョーム・ルクレール氏と、マサチューセッツ工科大学コンピューティングのための設計システムのケイデンス教授であるアレクサンドル・マドリー氏もこの論文の著者です。

異なる認識

近年、研究者らは、何百万もの入力（音声または画像）を分析し、人間と同じ精度で対象の単語やオブジェクトを分類できる共通の特徴を学習できるディープ ニューラル ネットワークを訓練しました。 これらのモデルは現在、生物学的感覚システムの主要なモデルと考えられています。

人間の感覚システムがこの種の分類を行うとき、物体に当たる光の量や見る角度など、物体の基本的なアイデンティティに関連しない特徴を無視することを学習すると考えられています。 これは不変性として知られており、オブジェクトがそれほど重要ではない特徴に違いがある場合でも、同じものとして認識されることを意味します。

「古典的に、感覚システムについての私たちの考え方は、同じものの異なる例が持つ可能性のあるすべての変動源に対する不変条件を構築するというものでした」とフェザー氏は言います。 「たとえそれらがまったく異なる感覚信号として現れたとしても、生物はそれらが同じものであると認識する必要があります。」

研究者らは、分類タスクを実行するように訓練されたディープ ニューラル ネットワークが同様の不変条件を進化させることができるのではないかと考えました。 この質問に答えるために、研究者らはこれらのモデルを使用して、研究者がモデルに与えた刺激例と同じ種類の反応をモデル内で生成する刺激を生成しました。

彼らはこれらの刺激を「典型的な測定」と呼び、システムと区別できない刺激をその定数の診断に使用できるという古典的な知覚研究のアイデアを復活させています。 類推の概念はもともと、異なる波長の光で構成されているにもかかわらず、同じに見える色を説明するために人間の知覚の研究で開発されました。

驚いたことに、研究者らは、この方法で生成された画像と音声のほとんどが、モデルによって元々提供された例と似ていないことを発見しました。 ほとんどの画像はランダムに見えるピクセルの寄せ集めであり、音は理解できないノイズのようなものでした。 研究者が人間の観察者に画像を見せたとき、ほとんどの場合、人間はモデルによって合成された画像を元の対象例と同じカテゴリに分類しませんでした。

「それらは実際には人間にはまったく認識できません。それらは見た目も音も自然ではありません。また、物体や単語を分類するために誰でも使用できるような解釈可能な特徴も持っていません」とフェザー氏は言う。

この結果は、モデルが何らかの形で人間の認知システムに見られるものとは異なる独自の定数を進化させたことを示唆しています。 これにより、モデルは、人間とは大きく異なる刺激ペアを同じものとして認識します。

法定定数

研究者らは、多くの異なる視覚および聴覚パラダイムにわたって同じ効果を発見しました。 ただし、これらのモデルはそれぞれ独自の定数を開発しているようです。 あるモデルのゲージが別のモデルに提示された場合、2 番目のモデルのゲージは人間の観察者ほど認識できませんでした。

「ここから得られる主な点は、これらのモデルにはいわゆる特性不変条件があるようだということです」とマクダーモット氏は言う。 「彼らは、特定のモデルに特有の刺激場のこれらの特定の次元に対して不変であることを学習しました。そのため、他のモデルは同じ不変条件を持ちません。」

研究者らはまた、敵対的トレーニングと呼ばれるアプローチを使用して、モデルのメトリクスを刺激して人間が認識しやすくできることも発見しました。 このアプローチは元々、物体認識モデルのもう 1 つの制限、つまり、画像にほとんど知覚できないほどの小さな変更を加えると、モデルが画像を誤認識する可能性があるという問題に対処するために開発されました。

研究者らは、これらのわずかに変更された画像の一部をトレーニング データに含める競争トレーニングにより、元の刺激ほど認識できないものの、人間にとってより認識しやすい指標を持つモデルが生成されることを発見しました。 研究者らは、この改善は、敵対的な攻撃に抵抗するモデルの能力に対するトレーニングの影響とは独立しているようだと述べている。

「この種のトレーニングには大きな効果がありますが、なぜそのような効果があるのか​​はよくわかっていません」とフェザー氏は言う。 「これは今後の研究分野です。」

計算モデルによって生成される指標の分析は、計算モデルが人間の知覚システムの基本的な構成をどれだけ忠実に模倣しているかを評価するのに役立つツールになる可能性がある、と研究者らは述べている。

「これは、特定のモデルに対して実行できる動作テストであり、定数がモデルと人間の観察者の間で共有されているかどうかを確認することができます」とフェザー氏は言います。 「特定のモデル内で定数がどの程度具体的であるかを評価するためにも使用できます。これは、将来モデルを改善する潜在的な方法を明らかにするのに役立つ可能性があります。」

資金調達: 米国科学財団、国立衛生研究所、エネルギー省計算科学大学院フェローシップ、およびマクガバン研究所フレンズ・フェローシップがこの研究に資金を提供した。

人工知能と認知研究について ニュース

著者： サラ・マクドネル
ソース： マサチューセッツ工科大学
コミュニケーション： サラ・マクドネル – マサチューセッツ工科大学
写真： 画像提供：Neuroscience News

元の検索: オープンアクセス。
」典型的な測定ツールは、生物学的ニューラル ネットワークと人工ニューラル ネットワーク間のさまざまな不変量を明らかにします「ジョシュ・マクダーモットら著。 通常の神経科学

まとめ

典型的な測定ツールは、生物学的ニューラル ネットワークと人工ニューラル ネットワーク間のさまざまな不変量を明らかにします

感覚システムのディープ ニューラル ネットワーク モデルは、脳内のような不変性を持つ表現変換を学習するために提案されることがよくあります。 これらの不変条件を明らかにするために、モデル フェーズ内の活性化が自然刺激の活性化と一致する刺激である「モデル メトリクス」を作成しました。

視覚と聴覚の最新の教師ありおよび教師なしニューラル ネットワーク モデル用の機器は、モデルの後期段階から生成された場合、人間にはまったく認識できないことがよくあり、モデルと人間の不変条件の違いが示唆されています。 対象を絞ったモデルの変更により、モデル測定ツールに対する人間の認識は向上しましたが、人間とモデルの全体的な不一致は解消されませんでした。

モデル メトリクスの人間の認識可能性は、他のモデルによる認識可能性によって十分に予測されます。これは、モデルには、タスクで必要な不変式に加えて、別個の不変式が含まれていることを示唆しています。

メタマーの認識性は、従来の脳ベースの基準と弱い敵対的な基準の両方から切り離されており、既存の感覚モデルの明確な故障モードを明らかにし、モデル評価の補完的な基準を提供します。