一、准备工作(硬件/软件)
- 系统:Windows 10/11
- 模型:GalTransl-v4-4B-2601.gguf(专用翻译模型)
- 工具:
llama.cpp(带 Vulkan 加速) - 浏览器:Chrome / Edge / Firefox(装沉浸式翻译插件)
二、第1步:下载 llama.cpp(Windows Vulkan 版)
你需要预编译好的 Vulkan 版本(不用自己编译):
1.1 下载地址
官方发布页:
https://github.com/ggerganov/llama.cpp/releases
下载:
llama-b8840-bin-win-vulkan-x64.zip
(或最新版带 vulkan 的 win-x64 包)
1.2 解压
- 新建文件夹:
H:\AI\llama - 把 zip 解压到这里 → 得到:
H:\AI\llama\
├── llama-server.exe
├── ggml-vulkan.dll
├── ggml-cpu.dll
└── ...(一堆 dll/exe)
三、第2步:下载翻译模型(galtransl-v4-4b.gguf)
3.1 下载地址(Hugging Face)
https://huggingface.co/SakuraLLM/GalTransl-v4-4B-2601/blob/main/Galtransl-v4-4B-2601.gguf
3.2 放置模型
把下载好的:
Galtransl-v4-4B-2601.gguf
放到:
H:\AI\llama\galtransl-v4-4b.gguf
(重命名方便后面命令调用)
四、第3步:一键启动本地翻译服务(关键)
4.1 创建启动脚本(双击即用)
在 H:\AI\llama 里新建文本文档,输入:
@echo off
title 本地翻译服务 - GalTransl-v4-4b (RX580 Vulkan)
cd /d "H:\AI\llama"
llama-server.exe ^
-m galtransl-v4-4b.gguf ^
-ngl 35 ^
-c 2048 ^
--host 127.0.0.1 ^
--port 8080
pause
4.2 保存为 启动服务.bat
- 另存为 → 编码:ANSI
- 文件名:
启动服务.bat
4.3 双击运行
出现:
main: server is listening on http://127.0.0.1:8080
服务启动成功!(你的窗口已经成功,这步你已经过了)
五、第4步:安装「沉浸式翻译」插件
5.1 Chrome/Edge 安装
打开:
https://chrome.google.com/webstore/detail/immersive-translate/bpoadfkcbjbfhfodiogcnhhhpibjhbnh
或在扩展商店搜:沉浸式翻译
5.2 Firefox 安装
https://addons.mozilla.org/zh-CN/firefox/addon/immersive-translate/
六、第5步:配置沉浸式翻译(对接本地 API)
6.1 进入设置
- 点插件图标 → 点击 设置(⚙️)
- 左侧:翻译服务
6.2 添加「OpenAI 兼容」服务
- 拉到最下面 → 更多翻译服务
- 添加自定义翻译服务
- 选择:OpenAI 兼容接口(OpenAI-compatible)
6.3 填写信息(照抄)
- 服务名称:本地GalTransl
- 接口地址:
http://127.0.0.1:8080/v1/chat/completions - API Key:任意填(如
123456) - 模型名称:
galtransl-v4-4b - 温度(Temperature):0.1
- 上下文上限:2048
6.4 关键:翻译提示词(System Prompt)
在 自定义提示词 / 系统提示 填入:
你是一个专业的中英互译助手,严格将用户的文本翻译成目标语言,只输出译文,不要任何解释、额外内容、注释。
6.5 保存 & 测试
- 点右上角 测试服务
- 出现 ✅ 服务可用 → 保存
6.6 设为默认
- 回到「翻译服务」主页
- 把 默认翻译服务 设为:本地GalTransl
七、第6步:使用(打开英文网页测试)
- 保持
启动服务.bat窗口开着(黑窗口不能关) - 网页瞬间双语沉浸式翻译