Ubuntu24.04にllama.cppをインストールしてLlama-3-ELYZA-JP-8B-q4_k_m.ggufモデルで対話を行う

Llama.cppをインストールして、Llama-3-ELYZA-JP-8B-q4_k_m.ggufモデルでい対話するには以下のコマンドを実行します。

wget https://github.com/ggerganov/llama.cpp/releases/download/b3328/llama-b3328-bin-ubuntu-x64.zip

unzip ./llama-b3328-bin-ubuntu-x64.zip

cd ./build/bin

wget https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-GGUF/resolve/main/Llama-3-ELYZA-JP-8B-q4_k_m.gguf?download=true -O Llama-3-ELYZA-JP-8B-q4_k_m.gguf

./llama-cli -m Llama-3-ELYZA-JP-8B-q4_k_m.gguf -p "あなたは優秀なアシスタントです" -cnv

この後は対話文を入力します。対話を終了するときはCtrl+Cを押します。