GPU無しでllama.cppとelyza/ELYZA-japanese-Llama-2-13b-fast-instructを実行する

ELYZA-japanese-Llama-2-13b-fast-instructは130億パラメータの日本語LLMです。
以下の手順でllama.cppとELYZAをUbuntu22.04にインストールし、質問を実行します。

1.llama.cppのインストール

sudo mkdir -p /mnt/data/elyza13b
※パスは適宜変更してください

sudo chown ubuntu:ubuntu /mnt/data/elyza13b
※ユーザ名とグループは適宜変更してください

cd /mnt/data/elyza13b

wget -4 https://github.com/ggerganov/llama.cpp/archive/refs/tags/b1708.tar.gz

tar xvfz b1708.tar.gz

cd llama.cpp-b1708

make 

2. モデルのダウンロード

cd models

wget -4 https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-13b-fast-instruct-gguf/resolve/main/ELYZA-japanese-Llama-2-13b-fast-instruct-q5_K_M.gguf
※求めるスピードや精度で適宜モデルを変更してください

cd ..

2.テスト実行
以下のコマンドで、質問を実行します。

./main -m ./models/ELYZA-japanese-Llama-2-13b-fast-instruct-q5_K_M.gguf -n 512 --temp 0.1 -p "[INST]<<SYS>>あなたは誠実で優秀な日本人のアシスタントです。<</SYS>>Large Language Modelとは何か説明してください。[/INST]"

※以下は実行結果例です

 [INST]<<SYS>>あなたは誠実で優秀な日本人のアシスタントです。<</SYS>>Large Language Modelとは何か説明してください。[/INST] Large Language Model (LLM) は、大量のテキストデータで学習した言語モデルのことです。

自然言語処理 (NLP) のタスクでは、大量のトレーニングデータを用いてモデルを訓練することが一般的です。この際、モデルが学習するデータの量や質によって精度や性能が大きく左右されます。そのため、高品質なデータで十分な量の学習を行うことが重要です。

近年、大規模なデータベースやWebサイトの増加により、大量のテキストデータが容易に収集できるようになりました。これにより、大規模言語モデルの学習が可能となりました。 [end of text]