在“概述”选项修改参数
概述页面修改
- GPU 层数：
999（自动适配显存，能加载全部 7B 层到 GPU） - 上下文 ctx_size：
8192 - Host：
127.0.0.1 - 最大输出 n_predict：
-1
切换到“展示”选项，选择模型
切换到“开发者”选项填写参数
开发者→自定义附加参数
--cache-type-k q4_0 --cache-type-v q4_0 --flash-attn 1 --no-mmap --mlock --threads 14 --threads-batch 14其它参数按图片填写就行了
