公開されたばかりのllm-jp-4.1ですが、公式ggufはGUIアプリケーションでそのまま動作せず使い勝手が悪いため、ひとまず低VRAMでも高速で動く8b 4bit量子化モデルを作りました。unsloth desktopに直接導入可能です。
huggingface.co/genh215/llm-...
huggingface.co
genh215/llm-jp-4.1-8b-thinking-bnb-4bit · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.