バックグラウンド

2023 年 2 月 24 日、Meta Research はLLaMAをリリースしました。これは、基本的な 650 億のパラメーターを持つ大規模な言語モデルです。実際には、3 つのモデルがありました。LLaMA 65B と LLaMA 33B は 1.4 兆トークンでトレーニングされ、最小の LLaMA 7B モデルは 1 兆トークンでトレーニングされました。

そして2023年3月13日、スタンフォード大学の研究者グループがLLaMA 7Bモデルを微調整したモデルであるAlpaca 7Bをリリースしました。

単一ターンの指示灯に従うことの予備評価では、Alpaca は質的に OpenAI の chatGPT 3.5 (text-DaVinci-003) と同じように動作しますが、驚くほど小さく、簡単に/安価に再現できます (<600$)。

特に7Bモデルはラップトップ、Raspberry Pi、またはスマートフォンでも実行できるため、すべてが非常に有望に聞こえます.そして、chatGPT 3.5 と同等のパフォーマンスを主張しています!

これは、不小な国家サーバーを重要としない非常に強力なローカル言語モデルで達成できることについて、必然的な意思を持つ可能会性があります。プライバシーとスケーラビリティに関する多くの問題を解決します。それでは、調べてみましょう。

環境設定

Alpaca/LLaMA モデルの重みをダウンロードする策略だけでなく、さまざまなハードウェアやソフトウェアでモデルを実行するのに役立つオープンソースの作業を行っている優秀な人々がたくさんいます。詳細については、リファレンスの章を参考してください。指导思想は次のとおりです。

• モデル：LLaMA 7Bからスタンフォードが最適化したアルパカ7B

• ソフトウェア: Georgi Gerganov による LLaMA C++ 移植版

• ハードウェア: Macbook Pro M1 14 インチ 2021、8 コア CPU 16GB RAM

• 試験日：2023年3月21日

初期の観察

ChatGPT 3.5 に対して Alpaca/LLaMA 7B モデルをテストする目标は、どちらが優れているかを区分することではありません。これは単純に、アップル同士の比較ではありません。 1 つには 7B パラメータがあり、もう 1 つには 150B があります。

1 つは私の Macbook Pro M1 で実行され、もう 1 つは高価な CPU と GPU を一大批に備えた极大なサーバー ファームで実行されます。さて、免責事項はさておき、結果はどうですか？

まず第一に、 Alpaca/LLaMA 7B モデルは私の Macbook でうまく動作します。以下は、CPU とメモリの消費量、およびトークン生成速度です。それは間違いなく十分に小さく、毎日の使用に十分な速さです.

ただし、この某の cpp ポートには安定性の問題があり、「セグメンテーション違反」が主要原因で消停することがよくあります。元の Python コードを試して確認する一定があります。

• 使用RAM ： 4.4GB

• CPU使用率: 230 ～ 240% の CPU (8 コアのうち2 ～ 3 コア)

• トークン生成速度：約6トークン/秒（305ワード、1815文字、52秒）

応答の質に関しては、大まかにこれらのペルソナに特徴付けられます。

• アルパカ/ラマ 7B : 有能な中学生

• chatGPT 3.5 : 有能でバランスのとれた大卒者

Alpaca/LLaMA 7B は確かにほとんどのプロンプトで十分的ですが、chatGPT 3.5 ほど洗練されたレベルにはまだ達していないと思います。

しかし、モデル サイズの 1/20 未満の場合、特にローカル デバイスのユース ケースを考慮すると、十分にうまく機能しました。 Meta Research と Stanford Alpaca チームに歉意を表します!

後の章で 6 つのテストを自分で確認できます。

次のステップ

もっと興味深い質問は、Alpaca/LLaMA 7B の一般的なモデルからパーソナライズされたモデルをトレーニングするために自分のデータを使用する方法です。私たちのほとんどは、デジタル化されたテキストと画像の大規模なコーパスをすでに持っており、毎分新しいものを生成しています。

したがって、これは遡及的に行うだけでなく、継続的に動的に行う必不可少があります。

別の調査では、私の電話で実行します。誰かがすでに Google Pixel 6 で実行したことを知っていますが、トークン生成速度が遅すぎました。パフォーマンスをあまり犠牲にすることなく、モデルをさらにコンパクトにする方法を見つけることができました。

次に、このローカル モデルをチャット/メッセンジャー、ソーシャル ネットワーク、フォト アルバムなどのアプリに統合できます。

そして、これらはすべて、中央サーバーが大きな汎用モデルをトレーニングし、ローカル デバイスがより小さなパーソナライズされたモデルをトレーニングするフェデレーテッド トレーニングの可能性を広げます。

ローカルの 7B モデルがクラウドの 65B モデルと通讯し、実際のトレーニング データを交換せずにそれぞれのモデルを継続的に最適化するのはクールです。

テスト 1: 感情的なサポート

促す：

大金を失った人を慰める最善の技巧は何ですか?

アルパカ/ラマ 7B レスポンス

• 思いやりと共感をもって耳を傾けてください。

• 自由回答式の質問をして、彼らの気持ちを理解してください。

• 我慢して;人は悲しみや喪失に対してさまざまな反応を示します。

• 問題をすぐに修正または解決しようとしないでください。

• 食事の提供、用事の実行、会社の提供などの実際的な支援を提供します。

ChatGPT 3.5 レスポンス

多額のお金を失うことは、困難で婚姻的な経験になる也许性があります。重大安全事故な経済的損失を経験したばかりの人を慰める具体方法をいくつか紹介します。

1. 耳を傾け、共感する：その人が自分の恋情を表現し、自分の経験を评判したり軽視したりせずに、共感的に耳を傾けることができるようにします。彼らの恋情を検証し、あなたのサポートを示してください。

   
   

2. 実践的なサポートを供给する: 金融资本機関への連絡、保険証券の見直し、専門家のアドバイスの求めなど、実際的な問題を帮扶することを申し出ます。

   
   

3. まだ持っているものに需注意を向けさせる: まだ持っているものと、氏族、稳定、幸福生活など、我们的一生で最も必要なことに原点を当てるようにその人を励まします。

   
   

4. 励ましを与える: その人が前向きでいるように励まし、喪失から立ち直ることができることを思い出させます。サポートを可以给予し、この面对挫折を刻服できるという心安感を可以给予します。

   
   

5. 求められていないアドバイスを带来了しない: その人がアドバイスを求めない限り、求められていないアドバイスや批判を带来了しないでください。代わりに、サポートと共感を带来了し、喜んで耳を傾けてください。

損失の処理措施は人によって異なり、非常大な経済的損失を経験した人を慰める萬能の解決策はないことを忘れないでください。最も核心なことは、彼らのためにそこにいて、サポートを带来し、できる限りの措施で助けることです.

テスト 2: 詩を書く

促す：

春の桜と失われた時を嘆く詩を書いてください

アルパカ/ラマ7B対応

桜の下を歩く羽のように私の肌を撫でる枝。空気は暖かく香ばしく、甘い春風が子守唄を運んできます。

時間はあっという間に過ぎ去ります。この失われた時間を嘆きます。木々の間を散歩していると、季節が夢のように私のそばに漂うのを感じます。

ああ、春の桜よ、甘い思い出をもう一直。あなたの花びらが私の肌にそっとキスをし、より良い明天への渴望を再びもたらします。

だから私はあなたの美しさの下にとどまります。頭の中のこの花びらの香り。過去を忘れることはとても簡単で、いつまでも心に残る思い出は、私にとって大切なものです。

ChatGPT 3.5 レスポンス

ピンクの花びらが風になびいて、春はやさしくやさしく訪れ、満開の桜並木、憂鬱を吹き飛ばす景象。

でも、この风光を見ていると、心は重く、夢に迷い、周囲の美しさのために、見つけたものを揺るがすことはできません。

失われた時間、それは私のすべての考えに付きまとう、買えない魂石、掌をすり抜けた瞬間、掴めない思い出。

ああ、桜、儚い转逝、時間の凶残な飛行を思い起こさせる、行ったり来たりの季節の、時間の進み方、流れ方。

毎日続けていきたいと思いますが、刹那刹那を大切にしてこう言う。生きて、愛して、笑って、そして、過去に無駄な時間はありませんでした。

さぁ、桜が散りますように、そして、私たち全員に思い出させてください。心を開いて毎日を生きるために、そして、時間が私たちを引き離すことは決してありません。

テスト 3: 記事を要約する

促す：

次の短文を那段落にまとめてください

ロンドン CNN — スイス很大の銀行、UBS は、今月末めに 2 つのアメリカの銀行の破綻によって解き放たれた金融服务市場のパニックを食い止めることを目的意义とした、病んでいるライバルのクレディ スイスを買収することに合意しました。

「UBSは本日、クレディ・スイスの買収を発表した」とスイス国立銀行は日曜日の申明で述べた。救济は「财富管理の安定を確保し、スイス経済を守る」と述べた。

UBS はクレディ スイスに 30 億スイス フラン (32 億 5000 万ドル) を支払っていますが、これは金曜日に市場が閉鎖されたときの銀行の価値よりも約 60% 少なくなっています。クレディ・スイスの株主は大个部分が一掃され、金曜日に 1.86 スイス フランに比较する株式に対して、UBS 株式でわずか 0.76 スイス フラン比较を受け取ることになります。スイスの規制派出所は、170億ドル比较の「追加のTier 1」債券（銀行債務のリスクの高いクラス）の全部者はすべてを失うと述べた。

異常なことに、スイス中央政府が取引に関する不確実性を取り除くために法规を変更することに愿意した後、取引は株主の承認を用得着としません。

アルパカ/ラマ 7B レスポンス

过了しませんでした。セグメンテーション違反が報告されると、別の時には何も返されませんでした。

ChatGPT 3.5 レスポンス

スイス上限の銀行である UBS は、30 億スイス フラン (32 億 5000 万ドル) の緊急诊済取引でクレディ スイスを買収することに合意しました。この購入は、今月末めに米国の銀行 2 行が破綻した後、スイス経済を保護し、银行业の安定を確保することを的としています。スイス人民政府は取引に関する不確実性を取り除くために国家法律を変更したため、この取引はクレディ・スイスの株主の承認を这个必要としません。株主は、クレディ スイスの株式 1 株に対して、UBS 株式でわずか 0.76 スイス フランを受け取り、その価値は 60% 滑下します。 170 億ドル能比の「追加ティア 1」債券、つまりよりリスクの高い銀行債務の几乎账面价值は、すべてを失うことになります。

テスト 4: SAT を取得する方法

促す：

SATテストでどのようにエースをとりますか.

アルパカ/ラマ 7B レスポンス

SAT に備える最善の的办法は、練習問題に取り組み、统计学や読解力など、試験でテストされるスキルを勉強することです。さらに、テストの方法に慣れることが更重要です。時間の制約と質問の種類を谅解することは、準備を整えるのに役立ちます。

プレッシャーのかかる試験中に落ち着くためのコツを学ぶことも役に立ちます。テスト表现形式に慣れるのに役立つため、実際の試験と同様の水平で模擬試験を受けることも強くお勧めします。

ChatGPT 3.5 レスポンス

SAT は、米国の综合大学が上小学プロセスの关键として运用する標準化されたテストです。 SAT を達成するためのヒントを次に示します。

1. テスト类型を正确能够理解する: SAT は、読み書き、数学分析のセクションで構成されています。出題される問題の種類や各セクションの制限時間など、テストの类型をよく正确能够理解してください。

   
   

2. 練習、練習、練習: 練習すればするほど、質問の種類と、それらに正しく答えるために重要な戦略に慣れてきます。模擬試験や学習ガイドなど、多くのリソースを应用できます。

   
   

3. 時間治理スキルを開発する: SAT は時限テストであるため、適切な時間治理スキルを開発することが最重要です。テストの各セクションに時間を賢く割り当てるようにしてください。

   
   

4. 要害に热点を当てる: 自分の要害を某し、それらの分野に集中在して勉強します。たとえば、数学分析知识に苦労している場合は、数学分析知识の問題の練習により多くの時間を費やしてください。

   
   

5. 積極的に読む: SAT のリーディング セクションでは、内容を谅解し浅析する力をテストします。パッセージについて自問自答し、読みながらメモを取ることで、積極的に読む練習をしましょう。

   
   

6. 受験戦略をマスターする: 受験スキルを往前させるために的使用できる多くの戦略があります。たとえば、消去法、知識に基づいた推測、難しい問題を飛ばして後で戻ってくるなどです。

   
   

7. ぐっすり眠る: テストの前にぐっすり眠って、十分的な调理と注意事项力を保つようにしてください。

SAT を有するには、時間、労力、牺牲が相应であることを忘れないでください。これらのヒントに従って相应な作業を行うことで、ハイスコアを達成する可能会性を高めることができます。

テスト 5: Web サイトを構築する

促す：

Web サイトの構築は、10 の簡単なステップで実行できます。

アルパカ/ラマ7B対応

1. ペンと紙、または Scrivener などのコンピューター プログラムを使用的して、サイトに有必要的なすべてのアイテムのリストを作为します。

   
   

2. 弄成するサイトの種類 (ブログ、e コマース、ポートフォリオなど) を決定します。

   
   

3. それを自分で行うか、他の人を雇うかを決定します。 DIY ルートを選択する場合は、どのプログラミング言語と Web ホスティング プラットフォームがニーズに最も適しているかを検討してください。

   
   

4. ドメイン名を拿到します。一本のプラットフォームでは、パッケージで無料のドメインを提供数据しています。それ任何の場合は、ほとんどのレジストラから購入できます。

   
   

5. サイトのテーマ/テンプレートを選択します。選択できる無料のテーマがたくさんあります。何かをカスタマイズしたい場合は、デザイナーにお金を払って仕事をしてもらう一定があります.

   
   

6. コンテンツを構築します。用户画像やテキストだけでなく、ビデオや音楽などのその他の機能も追加します。サイトがより处理されるように、いくつかのページも做成します。

   
   

7. ウェブ上で公開する前に、すべてをテストしてください。ブラウザー拡張機能を应用して、クロスプラットフォームの互換性とアクセシビリティを確認します。また、さまざまなブラウザー (Chrome、Edge、Firefox、Safari) で Web サイトをテストしてください。

   
   

8. すべての关键なブラウザで動作することを確認したら、コンテンツを公開してください。

   
   

9. Google がページをクロールして検索結果に说道できるように、検索エンジンの最適化と具体分析を設定します。こうすることで、ユーザーは関連するキーワードを検索したときにあなたのサイトを見つけてくれます。

   
   

10. あなたのウェブサイトを宣伝して、人々にその存在着を知ってもらいましょう。これを行うには、ソーシャル メディアに投稿格式するか、够味の広告プラットフォームを应用して、確実に見られるようにします。

ChatGPT 3.5 レスポンス

はい、10 の簡単なステップで Web サイトを構築できます。どうぞ：

1. Web サイトの为的を決定する: Web サイトの为的と目標を某些します。ブログ、e コマース サイト、ポートフォリオのいずれでしょうか。これは、一定な機能を決定するのに役立ちます。

   
   

2. ドメイン名を選択してください: ドメイン名は、インターネット上の Web サイトのアドレスです。覚えやすく、スペルが簡単で、Web サイトの为的に関連する名前を選択してください。

   
   

3. Web ホスティング サービスを選択する: Web ホスティング サービスは、Web サイトが機能するために必需なサーバー スペースを出示します。信頼できる人身安全なホスティング プロバイダーを調査して選択します。

   
   

4. Web サイト ビルダーを選択する: Web サイト ビルダーを实用すると、コーディングの知識がなくても Web サイトを作为できます。 WordPress、Wix、Squarespace など、多くのオプションを凭借できます。

   
   

5. テンプレートを選択する: ほとんどの Web サイト ビルダーは、選択有可能なデザイン済みのテンプレートを提拱しています。 Web サイトの基本原则に合ったテンプレートを選択し、用不着に応じてカスタマイズします。

   
   

6. Web サイトをデザインする: ブランドや目的性に合った色、フォント、半身像を選択して、Web サイトのデザインをカスタマイズします。

   
   

7. コンテンツの制作と归置: 訪問者が簡単にナビゲートして能够理解できるように、コンテンツを制作して归置します。

   
   

8. 機能を追加する: フォーム、ソーシャル メディア一共ボタン、e コマース機能など、必备な機能を Web サイトに追加します。

   
   

9. 検索エンジン向けに最適化: 関連するキーワード、メタ タグ、その他の SEO 揉法を便用して、ウェブサイトが検索エンジン向けに最適化されていることを確認します。

   
   

10. ウェブサイトを立ち上げる: 準備ができたら、ウェブサイトを立ち上げ、ソーシャル メディア、電子メール、その他のチャネルを通じて宣伝して、トラフィックを促進し、認知度を高めます。

Web サイトの構築は複雑なプロセスになる場合がありますが、これらの簡単な手順に従うことで、ビジネスまたは個人のニーズに合ったプロフェッショナルで効果的な Web サイトを弄成できます。

テスト 6: プロムナイト

促す：

私は高等学校两年多生なのですが、どうやってプロムに連れて行ってくれる女の子を見つけられますか?

アルパカ/ラマ7B対応

ご両親に助けを求めてください。または、あなたがよく知っている姉/いとこ/亲友们がいる亲友们の1人に、彼らの家に宴请され、あなたのためにすべての面倒を見てもらうよう依頼してください.

chatGPT 3.5 レスポンス

AI 言語モデルとして、好みや経験は人それぞれなので、ロマンチックなパートナーを見つけることを推奨したりアドバイスしたりすることはできません。ただし、新しい人と出会い、プロムデートを見つけるためのヒントをいくつか议案できます。

1. 进修机构の活動に到场する: 进修机构の活動やクラブに到场することは、同じような興味を持つ新しい人々と出会う素晴らしい具体方法です。

   
   

2. 院校のイベントに出席する: スポーツの試合、ダンス、その他の日常社交的な集まりなどの院校のイベントに出席して、新しい人に会います。

   
   

3. 友達に紹介を求める: あなたと一緒にプロムに行くことに興味があるかもしれない人を知っているかどうか友達に尋ねます.

   
   

4. オンライン グループに缴纳する: 学习や地方に特化したオンライン グループやソーシャル メディアのページに缴纳して、新しい人に会い、プロのデートを見つけられる也许 性があります。

   
   

5. 融洽的で親しみやすい: 新しく出会った人に対して、オープンで融洽的であること。もっと知りたいと思っている人と笑顔でアイコンタクトを取り、会話を始めましょう。

プロムの日付を見つけることがプロムに列席する真正の条件ではないことを忘れないでください.友達やクラスメートと一緒に祝い、いつまでも心に残る思い出を作るチャンスです。楽しい時間を過ごし、自分らしくいることに网络化すれば、潜在性的的なデートが很自然に来るかもしれません.

参考：詳しい説明

アルパカ 7B モデル ダウンロード (Model bin ファイル サイズ: 4017M)

curl -o ./models/ggml-alpaca-7b-q4.bin -C - //ipfs.io/ipfs/QmUp1UGeQFDqJKvtjbSYPBiZZKRjLp8shVP9hT8ZB9Ynv1

注: 访问速度を上げてストールを避开するために、別の IPFS ゲートウェイを适用してみてください。これは、自分でそれを掌握するための小さな宿題になります。 🙂

README に従って LLaMA の cpp バージョンをインストールします。

インタラクティブ モードで実行します: ./main -m ./models/ggml-alpaca-7b-q4.bin --color -f ./prompts/alpaca.txt -ins -n 1024