4 月 19 日、Meta は最新の大規模言語モデル LLaMA3 をリリースしました。具体的には、8B モデルと 70B モデルが含まれており、コンテキストの長さは 8K をサポートしています。これは史上最も強力なオープンソースの大規模言語モデルであり、オープンソースコミュニティの「重要な進展」とされています。LLaMA3 は、多くの評価タスクで非常に優れたパフォーマンスを発揮しています。8B モデルは、Gemma 7B と Mistral 7B Instruct を上回る多くの指標で優れており、70B モデルは、クローズドソースの Claude 3 Sonnet と Gemini Pro 1.5 を上回っています。詳細な評価レポートは次のリンクを参照してください：
https://github.com/meta-llama/llama3/blob/main/eval_details.md
LLaMA 3 は、比較的標準的なデコーダー Transformer アーキテクチャを採用しているため、さまざまな情報から推測すると、パフォーマンスの向上は主にデータの品質の向上によるものです。まず、15T の事前トレーニングデータを使用しており、Llama 2 と比較して 7 倍の向上があり、コードの使用量も大幅に増加しており、モデルの推論能力を強化しています。また、Llama 2 で使用されていた 32K のトークナイザーに比べて、128K の語彙量のトークナイザーを使用しており、トークン化の粒度が改善されています。さらに、8B モデルと 70B モデルでは、グループ化されたクエリアテンション（GQA）が採用されており、Llama 3 の推論効率が向上しています。
オープンソースコミュニティはこれに強い関心を持っており、たった 5 日間で Hugging Face 上に 1000 以上のバリエーションが登場し、その数はまだ増加し続けています。
AI 業界の連続する大きな出来事に直面して、私たちは称賛と不安の中で、何ができるのでしょうか？私たちは参加するわけではありませんが、AI の波紋を少しでも感じたいと思っています。AI が人間を取って代わるのではなく、AI を理解する人が理解しない人を取って代わるという言葉があります。
そこで、私は LLaMA3 の体験サイトを発見しました：https://www.meta.ai/。しかし、ブラウザに入力して 10 分待っても、あきらめました..... ネットワークの問題が私の進歩を阻んでしまいました。再び百度を開き、ローカルに LLaMA3 をインストールしてみようと思いましたが、60G のモデルサイズ、高価な GPU の計算能力、さまざまなエラーメッセージを見て、再び諦めました。続けるか、諦めるか、それが問題です。。。。。
そして、私は京東雲でこの製品を見つけました.....
何？20 分で自分の LLaMA3 アプリを構築する！
そこで、私は携帯のタイマーを開き、AI の波に乗る旅を始めました。
第一歩、京東智算サービスコンソールにアクセスします：
https://gcs-console.jdcloud.com/instance/list
第二歩、GPU インスタンスを購入するために作成ボタンをクリックします。必ず「構成による」料金方式を選択し、使用時間に応じて請求されるようにしてください。1 時間あたり 1.89 ドルで、2 ドルをチャージすれば 2 時間遊べるので、本当に良心的です。[今すぐ購入] をクリックして注文します。
第三歩、インスタンスリストページでインスタンスのステータスが「実行中」になるのを待ち、Jupyter にアクセスして AI の開発環境に入ります。
第四歩、Jupyter のページで、ターミナルに入るために次のコマンドを実行します：
cp -r /gcs-pub/llama-factory/ /data/
第五歩：左側のディレクトリツリーで、
llama-factory/src/web_demo.py ファイルを見つけてダブルクリックして開き、server_port を 28888 に変更し、Ctrl+S で変更を保存します。
第六歩：再び先ほどのターミナルを開き、次のコマンドを順番に実行します：
cd /data/llama-factory conda create -n liandan python=3.10 -yconda activate liandanpip install -e .[metrics]CUDA_VISIBLE_DEVICES=0 python src/web_demo.py --model_name_or_path /gcs-pub/Meta-Llama-3-8B-Instruct --template llama3
このプラットフォームの特徴は、非常に高速であり、他のプラットフォームよりも速いです。数分後、私は勝利の兆しを見ました...
第七歩：コンソールのインスタンスリストページ（
https://gcs-console.jdcloud.com/instance/list）で、そのインスタンスの最後の列で、操作 - アプリケーション - カスタムアプリケーションをクリックすると、LLaMA3 のプロトタイプが表示されます。
このプラットフォームでは、コードを書かずに直接文生成アプリを起動することもできると聞いたので、次回試してみようと思います。今は LLaMA3 をいじるのが待ちきれません、完璧！