GMKtec K12 で AIを動かす
メモリ32GBサーバでllama.cppを走らせる
結論
・gpt-oss-20b-mxfp4.gguf
・起動に1分
・実用モデルでも 18 tok/s、ライトモデルだと 50 tok/sも出る（速い！）
・賢い！
インストールllama.cpp
最高だ。
次は上位モデルを試そう。
メモリ32GBに載る最良AIモデルを探る
gpt-oss-20b-mxfp4.gguf
初回のモデル読込に7分（右上に時間）
（質問）対数を取ると掛け算が足し算になるという仕組みについて詳しく教えて。
9:23:00に質問を投げた
9:24:12（約1分後）に回答の出力を開始。
9:25:42（約2分後）に回答終了。
生成は18.7tok/s
最高だ。これは実用になる。htmlで出力させてみよう。
AIとの会話をhtml出力させる → llama.cppだけじゃ無理ラッパースクリプト必要
これが一番トークンを消費する。Claudeでやらせるとすぐリミットにかかるのがこの作業。これをローカルでやりたいがために10万円払ってこのサーバを買ったのだ。
完成したhtmlの精度と、生成速度が気になるところ。
ラッパースクリプト
#!/bin/bash
set -euo pipefail
# ===== 設定 =====
MODEL="/run/media/fedora/USB128SIL/models/gpt-oss-20b-mxfp4.gguf"
LLAMA_CLI="$HOME/Desktop/llama.cpp/build/bin/llama-cli"
LOGDIR="$HOME/Desktop"
CONTEXT_SIZE=8192
# ===== ログファイル名(実行時の日時) =====
LOGFILE="${LOGDIR}/$(date +%Y%m%d_%H%M%S)_llama_session.txt"
echo "=== llama.cpp 起動 ==="
echo "モデル : ${MODEL}"
echo "ログ出力 : ${LOGFILE}"
echo "======================"
# script コマンドで擬似端末(pty)を割り当てて実行することで、
# llama-cli が TTY 前提で出す出力(stdout/stderr両方、統計情報含む)を
# 丸ごとログファイルに記録する。
script -q "${LOGFILE}" -c "\"${LLAMA_CLI}\" -m \"${MODEL}\" -cnv -ngl 0 -c ${CONTEXT_SIZE} -t $(nproc)"
（質問）いまの回答の内容を、わかりやすく見栄えの良いhtmlに出力したい。llama.cppがあるのと同じ 場所に、myKINRIlogarithm01.html というファイルで出力して。
質問を投げてから43秒で回答を開始。
すべての回答完了まで3分33秒。
生成速度は17.3 tok/s
最高すぎる。これで賢くて、実用的で、無限に質問できるローカルAIが完成した。めっちゃ使いまくるぞ。
