OpenAI モデルの対決: GPT-4 対 GPT-3

GPT モデルの新しいバージョンである GPT-4 のリリースにより、すでに闻名な OpenAI 言語モデルにさらに注目が集まっています。不思議ではありません！

GPT-4 は、その幅広い大部分知識と問題解決专业能力のおかげで、複雑な問題をより正確に解決できる OpenAI の最も特别なシステムとして導入されました。

この記事では、 GPT-3と GPT-4 および GPT-3.5 を比較します。GPT-3.5 は 2 つのモデル グループの中間に位置します。

準備？

OpenAI GPT-3 とは?

GPT-3 は、OpenAI によって開発された言語モデルです。 20216月にリリースされ、その優れた言語合成业务能力で瞬く間に注目を集めました。

GPT-3 には、さまざまな数のパラメーターと重要性な計算リソースを持つ複数の常见モデルがあります。最もよく知られているのは、エイダ、バベッジ、キュリー、ダヴィンチです。

2022 年 3 月 15 日、OpenAI は「text-davinci-003」と呼ばれる GPT-3 の新しいバージョンをリリースしました。このモデルは、现在のバージョンの GPT よりも機能が優れていると説明されていました。さらに、2021 年 6 月までのデータでトレーニングされており、モデルの现在のバージョン (2019 年 10 月までのデータでトレーニング) よりもはるかに近期最新の状態になっています。 8 か月後の 2022 年 11 月、OpenAI はこのモデルをものとして操作し始めました。しかし、タイムラインをスキップしましょう。

GPT-3.5 とは何ですか?

現在、GPT-3.5 シリーズに属する 5 つの異なるモデル バリエーションがあります。そのうちの 4 つはテキスト補完タスク用に最適化されており、1 つはコード補完タスク用に最適化されています。

GPT-3.5 モデルの最新バージョンであるgpt-3.5-turbo 2023 年 3 月 1 日にリリースされ、すぐに GPT-3.5 への関心が高まりました。 GPT-4のリリース前に聴衆を温めるために。

OpenAI GPT-4 とは?

GPT-4 は、OpenAI 言語モデルの近期最新かつ最も极高なバージョンです。 2023 年 3 月 14 日に導入され、ディープラーニング開発における新たなマイルストーンと言われています。

GPT-4 は、GPT-3 や GPT-3.5 よりも事実に基づいて正確なステートメントを转成できると言われ、信頼性と信頼性が向下しています。また、マルチモーダルです。つまり、形象を入力として受け入れ、キャプション、分類、および深入分析を转成できます。

大事记なことを言い忘れましたが、それはいくらかの創造性を獲得しました。公试の製品アップデートで読むことができるように、「曲の制作、按键精灵脚本の制作、ユーザーの執筆スタイルの学習など、創造的および技術的な執筆タスクを转成、編集、およびユーザーと反復処理できます。」

2023 年 3 月現在、GPT-4 には 2 つのモデル バリエーションがあります。

• gpt-4-8K

• gpt-4-32K

  
  

コンテキスト ウィンドウのサイズが異なります。 GPT-4 はすでに商業的に便用されていますが、ほとんどのユーザーは、GPT-4 API にアクセスして孤单の GPT-4 を用したアプリケーションとサービスを構築するまで、必备があります。

待つ価値はありますか？どれどれ！

GPT-4 対 GPT-3 および GPT-3.5 – 主な違い

とき、OpenAI の共同創設者の 1 人で社長の Greg Brockman は、「違う」という 1 つの言葉で答えました。彼がTechcrunchに語ったように：

[モデル]が犯す問題や間違いはまだたくさんあります…しかし、微積分や法律などのスキルが飛躍的に向上し、特定の分野で非常に苦手だったのが、実際には人間と比較して非常に優れていることがわかります.

これについてもう少し詳しく説明してみましょう。特に、OpenAI によってでは、新しいモデルに関する驚くほど多くの詳細が明らかにされています。

GPT-4 対 GPT-3 モデルの機能

GPT-3 と GPT-4 の最好の違いの 1 つは、その機能です。 GPT-4 は、GPT-3.5 よりも信頼性が高く、創造的で、協調的であり、より临在な显示を処理できると言われています。

2 つのモデルの違いを掌握するために、OpenAI の開発者は、もともと人間向けに設計された試験をシミュレートするなど、さまざまなベンチマークでそれらをテストしました。

私たちは、公開されている最新のテスト (オリンピアードと AP の自由回答問題の場合) を使用するか、2022 年から 2023 年版の模擬試験を購入して進めました。これらの試験のための特別なトレーニングは行いませんでした。試験の問題のごく一部は、トレーニング中にモデルによって確認されましたが、結果は代表的なものであると考えています。

(出典: )

結果は素晴らしいです！

GPT-3 は AP Calculus BC 試験で 5 点中 1 点しか採点しませんでしたが、GPT-4 は 4 点を獲得しました。模擬行政诉讼法試験では、GPT-4 は受験者の上位 10% 前後のスコアで合格达标しましたが、GPT-3.5 – GPT-3 シリーズの全新バージョンは、下位 10% でした。

さらに、GPT-4 は… 真のポリグロットです。 GPTの英語学习能力は、GPT-3およびGPT-3.5バージョンですでに高かったが（ショット精准度は70.1％）、最新消息バージョンでの精准度は85％以上的に往上走した.実際には、族人が話していた英語よりも 25 の言語を上分に話せます。これには、背景語、ポーランド語、スワヒリ語が含まれます。既存の ML ベンチマークのほとんどが英語で記述されていることを考えると、これは非常的に好的印象的です。

それでも格外でない場合、GPT-4 は 1 回のリクエストではるかに長いテキストを処理できます。これはすべて、より長いコンテキスト長のおかげです。

GPT-3 と GPT-4 のトークン制限

コンテキストの長さは、1 つの API リクエストで安全利用できるトークンの数を記述するために安全利用されるパラメーターです。 2020 年にリリースされた元の GPT-3 モデルでは、很大リクエスト値が 2,049 トークンに設定されていました。 GPT-3.5 では、この制限が 4,096 トークン (1 行の英語テキストの很大 3 ページ分) に増えました。 GPT-4 には 2 つのバリエーションがあります。それらの 1 つ (GPT-4-8K) は 8,192 トークンのコンテキスト長を持ち、2 つ目 (GPT-4-32K) は 32,768 トークン (約 50 ページのテキスト) を処理できます。

そうは言っても、GPT-4 のすべての新しいユース ケースについて考えることができます。 50 ページのテキストを処理する功能を備えた新しい OpenAI モデルを采用して、より長いテキストを制作したり、より大きなドキュメントやレポートを数据分析および要約したり、コンテキストを失うことなく会話を処理したりできます。 のインタビューで Greg Brockman が表示したように:

以前は、モデルはあなたが誰で、何に興味を持っているかなどについて何の知識も持っていませんでした。 [より大きなコンテキスト ウィンドウで] そのような歴史を持つことで、間違いなくより有能になるでしょう…人々ができることをターボチャージするでしょう。

しかし、これで終わりではありません。テキスト入力の処理とは別に、GPT-4 は他の入力タイプも解釈できるからです。

GPT-4 および GPT-3 の入力タイプ

GPT-3 および GPT-3.5 モデルは 1 つの入力タイプ (正確にはテキストまたはコード) に制限されていましたが、GPT-4 は追加の入力タイプである图像图片を受け入れます。到底的には、テキストと图像图片で構成される入力からテキスト负荷率を转为します。

GPT-4 モデルに実行を依頼する知识に応じて、キャプションの生产、可視关键点の分類、または肖像の阐述を行うことができます。 GPT-4 の设计文書に示されている例の中には、モデルがグラフを阐述したり、ミームを説明したり、テキストと肖像で構成される論文を要約したりするモデルを見ることができます。 GPT-4 の肖像能够理解水平が素晴らしいことは認めざるを得ません。

ちょっと見てください！

より高いトークン制限と組み合わせて画像图片を処理する機能は、GPT-4 を的采用するための新しい几率性を開きます – 学術学习からパーソナル トレーニングまたはショッピング アシスタントまで。ただし、GPT-4 のこの新しいスキルを的采用できるようになるまでには時間がかかる場合があるため、あまり興奮しないでください。

OpenAI サイトで読むことができるように、人物画像入力はまだ学习プレビューであり、公開されていません。

GPT-4 対 GPT-3 会話のコンテキストの定義

GPT-3 と GPT-4 のもう 1 つの大きな違いは、モデルのトーン、スタイル、および動作を決定する技巧です。

GPT の近期バージョンでは、いわゆる「システム」メッセージを ( で詳細に説明されている範囲内で) 含めることにより、モデルに API レベルでの提示を带来することができます。これらの提示は、メッセージのトーンを設定し、モデルがどのように振る舞うべきかを説明します (たとえば、「生徒に答えを与えることはありませんが、常に適切な質問をして、生徒が自分で考えることを学ぶのを助けるようにしてください」)。

さらに、次の例のように、GPT-4 の互相能力の边界を確立し、GPT-4 がユーザーの特殊要求に応じて動作を変更するのを防ぐ「ガードレール」として機能できます。

ご覧のとおり、GPT-4 は、ユーザーの请求にもかかわらず、システム メッセージで定義されたその役割の範囲内にとどまります。

では、ある度、すでに同様のモデルの力を体験できました。システム プロンプトでモデルの役割を定義することで、異なる応答を得ることができます。 GPT モデルが誰のふりをしているかによって、メッセージがどのように異なるかを確認してください。

GPT-3.5-Turbo がリリースされた 2023 年 3 月まで、モデルにシステム メッセージを具备数据することはできませんでした。コンテキスト情報はプロンプト内で具备数据する一定があり、会話中に簡単に変更できます。

新しい GPT-4 の機能により、動作の一貫性が向下し、外接仕様 (ブランド コミュニケーション ガイドラインなど) に合わせて調整できるようになります。

GPT-4 と GPT-3 の使用コスト

もちろん、それにはすべて代償が伴います。 GPT-3 モデルのコストは 1,000 トークンごとに $0.0004 から $0.02 で、较新的の GPT-3.5-Turbo は最も強力な GPT davinci モデルよりも 10 倍安くなりました (1,000 トークンあたり $0.002)。イリュージョン: 首先端のモデルを食用したい場合は、追入料金を支払う有需要があります。

8K のコンテキスト ウィンドウを備えた GPT-4 は、1K のプロンプト トークンごとに 0.03 ドル、1K の之后トークンごとに 0.06 ドルの費用がかかります。一个人、32K のコンテキスト ウィンドウを備えた GPT-4 は、1K のプロンプト トークンあたり 0.06 ドル、1K の之后トークンあたり 0.12 ドルの費用がかかります。

1500 個のプロンプト トークンと 500 個の完了トークンの平均長で 100,000 のリクエストを処理すると、 text-davinci-003で 4,000 ドル、 gpt-3.5-turboで 400 ドル、GPT-4 で 400 ドルかかる場合、8K コンテキスト ウィンドウで 7,500 ドル、8K コンテキスト ウィンドウで 15,000 ドルかかります。 32K コンテキスト ウィンドウ。

コストがかかるだけでなく、計算がより複雑になります。これは、プロンプト (入力) トークンのコストが完了 (出力) トークンのコストと異なるためです。を覚えている場合は、入力と出力の長さの相関関係が非常に低いため、トークンの使用量を見積もることが難しいことは既にご存じでしょう。出力 (完了) トークンのコストが高いため、GPT-4 モデルを使用するコストはさらに予測しにくくなります。

OpenAI モデルの微調整

GPT-4 および GPT-3.5-Turbo のシステム メッセージでコンテキストを定義した步骤を覚えていますか?微調整は通常的に、モデルのトーン、スタイル、および動作を定義し、GPT モデルを单一のアプリケーションに合わせてカスタマイズするための避让策です。

モデルを微調整するには、プロンプトが収まりきらないほど多くの例でモデルをトレーニングします。モデルが微調整されたら、プロンプトで例を给予する这个必要はありません。これにより、コストが節約され (1K トークンごとにカウントされます!)、低レイテンシーのリクエストが可以になります。いいですね。残念ながら、。

エラーと制限

GPT-4 に関するさまざまな噂 (たとえば、利用するパラメーターの数に関する噂) が出たとき、OpenAI の CEO は次のようにコメントしました。

GPT-4 の噂はばかげています。私はそれがどこから来たのか分かりません。人々はがっかりすることを懇願していますが、そうなるでしょう。 (…) 私たちは実際の AGI を持っていません。

GPT-4 を期待的外れと呼ぶのは難しいですが、その創造性と驚くべき機能を考えると、その限界を認識することが根本です。また、製品調査ドキュメントを読むと、前のバージョンのモデルと比べてそれほど変化していません。

その前任者と同様に、GPT-4 は 2021 年 9 月以降に発生したイベントの知識を欠いています。さらに、ChatGPT がどれほどスマートであるように見えても、GPT-4 で強化されたとしても、まだ充分に信頼できるわけではありません.之前のモデルと比較して幻覚を下跌に減らすと主張されていますが (内部组织評価で GPT-3.5 よりも 40% 高いスコア)、それでも事実を「幻覚」にし、推論エラーを起こします.それでも有毒なアドバイス (回答英语を拒否する机率の方がはるかに高いですが)、バグのあるコード、または不对確な情報を转换成する机率があります。そのため、エラー コストが高い領域では选用しないでください。

GPT-3 と GPT-4 – 重要ポイント

OpenAI の最も高度なシステムである GPT-4 は、ほぼすべての比較領域でモデルの古いバージョンを上回っています。 GPT-3 よりも創造的で一貫性があります。より長いテキストや画像さえも処理できます。より正確で、「事実」をでっち上げる可能性が低くなります。その機能のおかげで、ジェネレーティブ AIの新しい可能性のある多くのユース ケースが作成されます。

GPT-4 が GPT-3 と GPT-3.5 を置き換えるということですか?おそらくそうではありません。 GPT は原先のバージョンの OpenAI モデルよりも強力ですが、应用コストもかなり高くなります。複数ページのドキュメントを処理したり、長い会話を「覚える」ためのモデルを必需としない多くのユースケースでは、GPT-3 と GPT-3.5 の機能で二十五分です。

---