ChatGPTに代表されるTransformerベースの言語モデルは、その優れた言語生成能力で世界中を驚かせています。一体どのような仕組みでこれほど自然な文章を生み出すことができるのでしょうか。その謎を解く鍵は、意外にも私たち人間の脳の中にあるのかもしれません。
前回は、そのTransformerの応用について解説してきました。
本記事では、Transformerと脳の記憶のメカニズムの関係について、最新の研究成果をもとに探ってみたいと思います。人工知能と脳科学、一見異なる分野に思えるこの2つの領域が、実は密接に関係していることがおわかりいただけるはずです。
記憶を司る海馬とニューラルネットワーク
私たちの記憶は、脳のどの部分が担っているのでしょうか。その中心的な役割を果たしているのが、「海馬」と呼ばれる部位です。海馬は側頭葉の内側に位置する、えび（海老）のような形をした構造体で、新しい記憶の形成や保持に重要な働きをしていると考えられています。
海馬には「場所細胞」や「グリッド細胞」と呼ばれる特殊なニューロンが存在します。場所細胞は、動物が特定の場所にいるときに活発に発火するニューロンで、動物の現在位置を脳内に表現していると考えられています。一方、グリッド細胞は、動物が移動するときに一定の間隔で発火するニューロンで、空間内の自己位置を把握するための「認知地図」を形成していると考えられています。
これらの細胞は、動物が環境内を探索するときに、場所や方向、移動距離などの情報を統合して、空間記憶を形成するために重要な役割を果たしています。つまり、海馬は私たちの空間記憶を司る中枢といえるでしょう。
海馬の働きを支えているのが、ニューロン同士の複雑なネットワークです。ニューロンは樹状突起と呼ばれる枝のような構造で他のニューロンと接続し、シナプスを介して情報をやり取りしています。このニューロンのネットワークは、人工知能の分野で使われる「ニューラルネットワーク」のモデルともなっています。
ホップフィールドネットワークとTransformer
ニューラルネットワークの一種に、「ホップフィールドネットワーク」というモデルがあります。ホップフィールドネットワークでは、ネットワーク内のすべてのニューロンが互いに接続されており、それぞれのニューロン間で情報のやり取りが行われます。
このネットワークは、「連想記憶」を再現するモデルとして研究されてきました。連想記憶とは、ある記憶の一部を手がかりとして与えられると、それに関連する記憶を次々と思い出せる脳の働きのことです。例えば、学生時代の友人の名前を聞くと、その友人の顔や一緒に過ごした思い出が次々と頭に浮かんでくる、といった具合です。
興味深いことに、近年の研究でホップフィールドネットワークとTransformerの間に数学的な等価性があることが明らかになりました。2020年、オーストリアのヨハネ・ケプラー大学の研究チームは、ホップフィールドネットワークに少し修正を加えたモデルがTransformerと同等の性能を発揮することを発見したのです。
Transformerは、自然言語処理の分野で大きな成功を収めているニューラルネットワークのアーキテクチャです。Transformerの特徴は、「自己注意機構」と呼ばれる仕組みにあります。自己注意機構によって、モデルは入力された単語列全体を俯瞰し、単語同士の関係性を把握することができます。この性質がホップフィールドネットワークのニューロン間の相互作用と類似していると考えられます。
つまり、Transformerは連想記憶のような脳の働きを再現できる可能性を秘めているのです。
Transformerによる脳のシミュレーション
さらに驚くべきことに、Transformerを使って脳の記憶に関わるニューロンの活動を再現できることが最近の研究で示されました。
2022年、イギリスのオックスフォード大学の研究チームは、海馬の場所細胞やグリッド細胞の発火パターンをTransformerでシミュレートすることに成功しました。場所細胞やグリッド細胞は、先述の通り動物の空間記憶に重要な役割を果たしているニューロンです。
研究チームは、ラットが迷路内を探索しているときの脳活動データを使って、Transformerをトレーニングしました。すると、Transformerは場所細胞やグリッド細胞と酷似した発火パターンを示したのです。つまり、Transformerが脳の空間記憶のメカニズムを再現できることが示唆されたのです。
この結果は、Transformerが単に言語モデルとしてだけでなく、脳のシミュレーションツールとしても有望であることを示しています。Transformerを使えば、脳の複雑な情報処理の仕組みを解明する手がかりが得られるかもしれません。
まとめ
本記事では、TransformerとTransformerベースの言語モデルであるChatGPTが、実は脳の記憶のメカニズムと密接に関係していることを見てきました。
特に、Transformerが連想記憶を再現するホップフィールドネットワークと数学的に等価であること、さらには海馬の場所細胞やグリッド細胞の活動をシミュレートできることは、人工知能と脳科学の関係の深さを物語っています。
ChatGPTに代表されるTransformerベースのAIが人間のように自然な言語を操ることができるのは、おそらくTransformerが脳の情報処理の仕組みを部分的に再現しているからではないでしょうか。Transformerは、人間の認知機能を理解するための強力なツールとなる可能性を秘めているのです。
もちろん、人間の脳の複雑さはTransformerをはるかに超えています。しかし、TransformerとChatGPTの成功は、人工知能と脳科学がお互いに学び合い、発展していくための新しい扉を開いたといえるでしょう。
人工知能の発展が脳の理解を深め、脳の理解が人工知能の設計に生かされる。そんな人工知能と脳科学の協働によって、私たちは人間の知性の本質に迫ることができるのかもしれません。
次回は、人工知能（AI）における記号接地問題ついて解説していきます。
