❄️
Allenwdk's blog
首页
博客
发布
归档
动态
关于
文章大纲
本地部署大模型踩坑记录
引言
我选择的方案
环境配置 - Windows
编译llama.cpp
模型选择
Qwen3.6-27B
Qwen3.6-35B-A3B (不推荐使用常规量化GGUF)
启动参数
模型路径
端口及地址
基础参数
模型名称
上下文长度
KV缓存量化
batch size
MOE架构模型显存优化相关参数
快速注意力
preserve\_thinking
其他参数
有关MTP
写在最后
共 22 个章节
已同步
← 返回博客列表
本地部署大模型踩坑记录
2026-05-26
•
👤 Allenwdk
•
技术
•
预计阅读时间20分钟
#LLM
#AI
#llama.cpp
© 2026 Allenwdk
•
CC BY-NC-SA 4.0
署名-非商业性使用-相同方式共享
本文链接:
https://allenwdk.github.io/OxygenBlog/blogs/Allenwdk-本地部署大模型踩坑记录
评论区
← 返回列表
感谢阅读!