ChatGPT の威力を解読する

6 日前 13

2022 年 11 月末にローンチされたばかりですが、ChatGPT の登場は、特に人工知能研究の分野だけでなく、テクノロジー業界全体に大きな衝撃を与えています。実在の人物のように首尾一貫した徹底的な方法で回答を提示する機能を備えた ChatGPT は、世界中のユーザーを驚かせ、この新しい AI テクノロジーに対する見方を完全に変えました。

多くの投資家は、ChatGPT の台頭を、インターネットや iPhone と同様の技術革命の先駆けと見ています。これは、業界全体の不況にもかかわらず、OpenAI が依然として最大 290 億ドルの評価額で投資資本を引き付けている理由を説明しています。さらに、ジェネレーティブ AI のスタートアップにも資本が注がれています。

実はAIもチャットボットも昔から話題になっている技術ですが、ChatGPTが登場して初めて、人々はこれらの技術が世界に与える可能性と大きな影響力に気づきました。

Transformer ディープラーニングアーキテクチャ

このアーキテクチャは、Google の BERT や OpenAI の GPT (Generative Pre-trained Transformer の略) モデルファミリーなどの有名な自然言語処理モデルを構築するための基盤であり、GPT-2 や GPT-3 などの有名な名前が付けられています。 GPT-3 は、今日の有名な ChatGPT チャットボットを作成するための基盤です。

一般にはあまり知られていないため、Transformer ディープラーニングアーキテクチャの登場によって、ChatGPT のようなチャットボットを作成するための自然言語処理モデルが転換点になったことを知っている人はほとんどいません。

事前トレーニング済みモデル

さらに、Transformer アーキテクチャのもう 1 つの利点は、事前にトレーニングされたモデルを使用できることです。これは、ELMo が登場するまでは見られなかった機能です。このアイデアは、事前にラベル付けされた画像の巨大なデータベースである ImageNet に似ているため、これらのタスクのために画像認識モデルをゼロからトレーニングする必要はありません。

一方、言語データブロックは、画像認識データよりも複雑で処理が困難です。したがって、言語処理モデルは、単語と句の間の関係を識別するためにより多くのデータを必要とします。したがって、事前にトレーニングされたモデルがなければ、データを処理し、そのデータを認識できるようにモデルをトレーニングするためのリソースを持っているのはテクノロジーの巨人だけですが、小規模なスタートアップの場合、これは不可能であるか、非常にゆっくりと進んでいます。

GPT-3 のようなモデルは 45 TB のデータでトレーニングされ、最大 1,750 億の異なるパラメーターを含みます。これは、Google の BERT、Facebook の RoBERTa、Microsoft の Turing NLG などの以前の有名なモデルよりもはるかに優れています。 GPT-3 のデータブロックは、100 億ワードの 800 万以上のドキュメントで構成されています。これは、ChatGPT が多くの人々と驚きをもってコミュニケーションし、チャットする能力の基盤です。

ChatGPT は、実際の人間のようにコミュニケーションできるチャットボット以上のものであり、人工知能の可能性と将来の多くの経済産業を変える能力への新しい扉を実際に開きます。