AIの仕組み 🤖🔎 LLM（大規模言語モデル）が実際にどう動くのか、技術的な知識ゼロで徹底解説

よく知人・友人からLLMに関して聞かれてて、海外のかなりわかりやすい記事があったため、自分なりに意訳してみました。
LLMの仕組みをざっくり知りたい方は読んでいただけると、概要は把握できるかと思います。
約５０００文字（１０分〜１５分で読める文量）です。

引用元：https://every.to/p/how-ai-works
著者：Nir Zicherman(充電機器・音声機器で有名なAnchorの共同創業者)

AIを身近に感じる昨今

最近、私の周りではAIの話で持ちきりです。きっと皆さんもそうでしょう。AIがもたらす影響、倫理的な問題、メリット・デメリットなど、議論は尽きません。しかし、技術に詳しくない友人たちとの会話では、AIの「仕組み」についての話題はほとんど出てきません。なぜなら、一見すると、その概念はとても難解に思えるからです。LLMがどう動いているのか、理解するのは不可能だと感じるかもしれません。

でも、そんなことはありません。誰でも理解できるのです。なぜなら、昨今のAIブームの根底にある原理は、実はとてもシンプルだからです。

技術的な専門用語や数式を一切使わずに、LLMの仕組みをわかりやすく説明します。ぜひ最後までお付き合いください。

夕食のメニューを例に考えてみよう

想像してみてください。あなたは今晩の夕食を作っていますが、もう一品、副菜を考える必要があります。メイン料理はすでに決まっていて、量的にはほぼ十分。でも、もう一品、何か欲しいところです。

しかし、これがなかなか難しい。副菜は、メイン料理との相性を考えなければいけません。メインがしっかりした味付けなら、副菜もそれに合わせるべきです。すでにサラダがあるなら、同じようなものは避けたい。炭水化物が多いなら、焼き野菜などを添えると良いかもしれません。

そんな時、あなたにぴったりの副菜を提案してくれるアプリがあったら便利だと思いませんか？しかも、ランダムではなく、すでに作る予定の料理を入力すると、それに最適な副菜を教えてくれるのです。このアプリは、4人分の夕食でも、40人分のパーティーでも、どんな料理や味の組み合わせにも対応してくれる優れものです。

このアプリを実現するには、2つのステップが必要です。

まず、一つ目は、アプリに「食事」という概念を理解させることです。コンピューターは、人間のように味覚を持っているわけではありません。人間にとっては直感的に理解できる「食事」を、コンピュータが理解できる「データ」に変換する必要があるのです。

そして、二つ目は、アプリに「ある料理の組み合わせから、別の料理を生み出す方法」を学習させることです。これは、単に過去のデータを記憶するだけではありません。このアプリは、あらゆる料理の組み合わせに対応する必要があります。つまり、アプリは、これまでに見たことのない組み合わせでも、適切な副菜を提案できなければならないのです。単にプログラムするのではなく、いわばアプリ自身に「学習」させることが必要なのです。

ステップ1：食事をデータとして捉える

では、最初のステップから始めましょう。まずは、コンピューターに「食事」をデータとして捉える方法を教えなければいけません。これは、食事の味や相性などを直接教え込む方法では行いません。それは、旧来の機械学習の手法であり、限界があり、エラーも起こりやすいです。その代わりに、過去に人々がどのような料理を組み合わせて食事をしたか、大量のデータを学習させるのです。

ここで、シーザーサラダとカプレーゼサラダという、2種類のサラダを例に考えてみましょう。私たち人間は、この2つのサラダが似ていることを知っています。どちらもイタリア料理で、サラダであり、野菜とチーズが使われています。しかし、コンピューターは、このような事前知識を持っていません。コンピューターがこの2つのサラダの類似性を学習するには、これらの情報を直接与える必要はないのです。

大量の食事データを分析すると、シーザーサラダは他のイタリア料理と一緒に食べられることが多いことがわかります。また、シーザーサラダがある食卓には、他のサラダはあまり登場しない傾向があることもわかります。興味深いことに、これはカプレーゼサラダにも当てはまります。カプレーゼサラダも、他のサラダと一緒に食べられることは少なく、イタリア料理と一緒に出てくることが多いのです。

この2つのサラダは、他の料理との組み合わせパターンが似ているため、「似た料理」として分類することができます。つまり、「その料理がどんな料理と一緒に食べられているか」によって、その料理の特徴が見えてくるのです。

ここで重要なのは、シーザーサラダとカプレーゼサラダが一緒に登場する食事を探したわけではないということです。この2つが「似ている」と判断するために、それらが一緒に食べられているデータは必要ありません。人々がこの2つのサラダを、似たような料理と一緒に食べている、つまり、どちらを選んでも大きく外さない、と判断していることがわかれば、それらは「似ている」と分類できるのです。

これを別の視点から見てみましょう。例えば、すべての料理を、次のようなグラフで表したいとします。

まず、データに含まれるすべての料理を、ランダムに配置します。

ここでは、説明のために4つの料理だけを表示していますが、実際には、あらゆる料理を想定してください。

次に、データを分析し、他の料理と一緒によく登場する料理同士を、グラフ上で近づけていきます。例えば、様々な種類の寿司は、同じ味噌汁と一緒に食べられることが多いので、寿司同士を近づけます。ピザとスパゲッティは、どちらもガーリックブレッドと一緒に食べられることが多いので、これらも近づけます。

これを何度も何度も繰り返すと、ある「魔法」のような現象が起こります。とても似ている料理は、グラフ上で非常に近い位置に集まります。ある程度似ている料理（例えば、タコスとブリトー）は、比較的近くに配置されます。そして、ほとんど、あるいは全く似ていない料理（例えば、ハンバーガーと寿司）は、遠く離れた位置に配置されるのです。

さて、実際には、2次元のグラフでは不十分です。あらゆる料理や、全く異なる食事を十分に区別するためには、さらに多くの軸（数百、数千）を持つグラフが必要になります。これを視覚化することは不可能ですが、基本的な考え方は同じです。すべての料理をグラフ上に配置し、似た料理と一緒によく登場するもの同士を近づけていくのです。

この多次元のグラフを、ここでは「食事空間」と呼ぶことにします。あらゆる料理は「食事空間」上に存在し、似た料理は近くに、異なる料理は遠くに配置されます。

ここで、この仕組みの面白さを確認しておきましょう。私たちは、料理の味や材料などの情報を一切使わずに、似た料理が近くに、異なる料理が遠くに配置されるような、非常に精度の高い「食事モデル」を作り上げることができました。

さらに、大量のデータで学習させたことで、もう一つ、面白いことができるようになります。それは、「料理の足し算・引き算」です。

料理の足し算・引き算？「ニール、あなた頭がおかしいんじゃないの？」

いいえ、おかしくありません。信じられないかもしれませんが、「食事空間」における料理の配置は、実はランダムではないのです。似た料理が近くに配置されているだけでなく、料理同士の関係性にも、論理的な意味があるのです。パンを含む料理は、ある特定の面に集まっています。塩辛い料理は、ある特定の直線上に並んでいます。メープル風味のものは、何らかの数学的な繋がりを持っています。

そして、これを利用すると、実際に次のようなことができるのです。例えば、ブリトーの位置からトルティーヤの位置を引くと、ブリトーボウルの近くに到達します。チキンヌードルスープの位置から麺の位置を引き、ライスの位置を足すと、チキンライススープの近くに到達します。

トルティーヤを指す矢印をブリトーから引くとブリトー・ボウルになる

料理の足し算・引き算ができるなんて！🤯

重要なのは、「食事空間」における料理の配置は、もはやランダムではないということです。実際には、隠れた数学的なパターンが存在し、すべての料理が他の料理との相対的な関係において、論理的に配置されているのです。

ステップ2：パターンを見つける

さて、「食事空間」を作成し、すべての料理を、他の料理との関係において意味のある位置に配置することができました。では、次に何をすれば良いのでしょうか？

もう一度、モデルを学習させましょう。ただし、今度は、これまで見てきたすべての「食事全体」をデータとして与え、パターンを見つけさせます。具体的には、「食事A、B、Cが含まれている場合、Dとして最も可能性が高い料理は何か？」という質問に答えられるように学習させるのです。

そのために必要なのは、学習させるすべての食事について、「食事空間」上でどのような位置関係になっているかを確認することです。例えば、多くの食事が、グラフ上の次の4つの領域にまたがる料理を含んでいるとします。

このパターンを認識する過程で、どの料理が使われたかはもはや重要ではなく、単に「食事空間」上の位置関係だけを抽象化して考えることができます。つまり、ある食事がすでにこれら3つの領域の料理を含んでいる場合、4番目の料理として最適なのは、残りの1つの領域にある料理だと結論付けることができるのです。

この3つの地域の食品を含む食事は、この地域の食品も含む可能性が高い。

「その料理がどんな料理と一緒に食べられているか」によって、その料理の特徴が見えてくるという話を思い出してください。そして、このモデルは、特定の料理に含まれる材料や味ではなく、料理の種類や料理同士の関係性を学習するように訓練されているため、どんな状況、どんな味の組み合わせでも、その食事に追加するのに最適な料理を見つけ出すことができます。つまり、いくつかの料理の領域が与えられれば、次にくる料理として最も可能性が高い領域を見つけるだけで良いのです。

これで、当初の目標を達成することができました。私たちは、ある料理の組み合わせに対して、最適な副菜を確実に提案してくれるアプリを作りたかったのです。そして、実際にそれを実現したのです。

料理の代わりに言葉を使うと…

では、これまでの話が、LLMとどう関係するのでしょうか？

「食事」という概念を「文章」に、「料理」という概念を「単語」に置き換えてみてください。このシンプルな置き換えだけで、先ほどの「食事アプリ」と同じ考え方、同じアプローチで、私たちがよく知る、文章生成AIツールを理解することができるのです。

ステップ1：単語が似たような文脈でどれだけ頻繁に使われるかに基づいて、単語同士の関係性を学習するモデルを作成します。「その単語がどんな単語と一緒に使われているか」によって、その単語の特徴が見えてきます。人間が書いた大量のデータ（ここで言う「大量」とは、実質的にインターネット全体を意味します）を学習させ、単語の位置を適切に調整させます。

この場合、出力結果は「食事空間」ではなく、「ベクトル空間」と呼ばれます。しかし、原理は同じです。システムは、個々の単語の意味を理解しているわけではありません（先ほどの例で、個々の料理の味を理解していなかったのと同じです）。システムは、その単語が「ベクトル空間」上で、他のすべての単語とどのような関係にあるかだけを理解しているのです。
※ベクトル空間とは、超簡単に言うとさっきの上下左右（X軸、Y軸）のグラフの空間のことです。

ステップ2：パターンを見つける。ある文章に単語A、B、Cが含まれている場合、次に来る可能性が最も高い単語は何か？ある文章に単語XとYが含まれている場合、「ベクトル空間」上のどの領域に、次に来る単語を探しに行けば良いのか？

LLMの場合、内部で行っているのは、本質的に「次の単語予測」です（先ほどの例で「次の料理予測」を行っていたのと同じです）。例えば、「Tell me you love me.」という文章をLLMに入力したとします。LLMは、学習したすべてのパターンから、「この単語の並びの次に、最も出現する可能性が高い単語は何か？」という問いに答えようとします。言い換えれば、「この文章に含まれる単語の『ベクトル空間』上の位置関係を考えると、これまで見てきた他の文章のパターンから、次の単語はどのあたりにあると予測できるか？」ということです。

LLMが見つける答えは「I」です。そして、「I」という単語を見つけると、それを元の文章の末尾に追加し、「Tell me you love me. I」という文章全体を、再度、自分自身に入力します。では、「Tell me you love me. I」の次に、最も出現する可能性が高い単語は？もちろん、「love」ですね！「love」を追加し、「Tell me you love me. I love」という文章全体を、再度、自分自身に入力します。では、次にくるのは？…

もうお分かりですね。

まとめ

もちろん、実際には、もう少し複雑な数式や、高度な計算処理が必要です。しかし、基本的な原理は、先ほどの「食事プランニング」の例と全く同じです。

このことを考えると、私たちが今まさに体験している、このAIという現象が、いかに興味深いものかが見えてきます。この技術がもたらす変革の大きさを考えると、その仕組みは、実はそれほど複雑ではないのです。いくつかのシンプルな数学的概念、大量の学習データ、そして、ほんの少しの「塩と胡椒」があれば、あなたも、本質的には「考える機械」を作ることができるのです。