本文内容仅供参考，可能有不够严谨的地方，因为Up也是半个小白。
建议有一定硬件软件基础再尝试此次本地部署。
本次部署671B模型时，我所用的硬件配置如下：
服务器：联想HR650X
CPU：Intel Xeon Gold 6222V
内存：海力士 DDR4 ECC REG 2400 16G 2RX4 共6条96G
第一代傲腾持久内存（DCPMM）：NMA1XBD128GQS 共6条768G
硬盘（系统盘）：杂牌NVME固态1T
NVME转PCIE转接板
HR650X的用户手册如下：
另外，以下信息可能会在配置服务器过程中有帮助：
关于硬件选购的一些注意事项：
1）6222V处理器只支持单路，所以买一块就够了。
2）购买傲腾持久内存时，除了原UP主视频里提到的NMA1XXD128GPS、NMA1XXD128GQS外，我这里实测NMA1XBD128GQS也能用。但标签上有Engineer Samples Only字样的型号应该是用不了的。
3）系统盘实测128G以上就够用了，转接板X1/X4都可以，X4更快，我是直接插在主板上的X8接口上的。
4）我没有装显卡，因此是用机箱正面的VGA接口输出的视频。如果不使用远程连接的方式来操作的话，需要准备一条VGA视频线。我一开始用的VGA转HDMI转接器，但不知为何显示器一直没有信号，在更换有VGA接口的显示器后顺利显示画面。
服务器硬件配置过程中的一些注意事项：
1）通电后，服务器需要初始化一段时间，该过程中只有一个风扇会低速运转，前面板右侧电源灯会快速闪烁，此时按电源键不会有反应。（我还以为主板或者CPU是坏的，差点就联系退货了）初始化完成后，绿色电源灯闪烁频率会降低到每秒1次左右，此时按下电源键即可启动。
2）6个风扇非常吵，且调速很麻烦，据说只能通过cli调速，我直接取了5个，只留下正对CPU的一个，实测够用。
3）插内存时，我先按照官网表格的要求插了6条D4和4条傲腾，但有几条识别错误，进系统后也只有64G内存可用。
在插满6条D4和6条傲腾后，能够正常识别全部96G内存和768G傲腾。
在配置傲腾持久内存（DCPMM）中的一些注意事项：
0）先看@神奇的安度因 大佬的视频教程：
https://www.bilibili.com/video/BV1SPwdevEKP/?share_source=copy_web&vd_source=1eec452da5ca281c59986dc8e00a8506
1）到手的DCPMM可能分别处于不同的模式下，如果直接使用：
Ipmctl create -goal PersistentMemoryType=AppDirect
命令，可能出错，比如已经有Namespace存在导致的Error 124报错。
我的解决方法是进入BIOS-Advanced里找到傲腾（Optane）的设置里面的NameSpace选项，手动删除所有的NameSpace,再进系统即可正常执行命令。
2）输入ipmctl create -namespace --force后遇到报错，提示-namespace是无效的：
在大佬的帮助下输入:
Get-PmemUnusedRegion丨New-PmemDisk
后，即可在磁盘管理里正常初始化磁盘并进行格式化
格式化完成后，再执行：
Format-Volume -FileSystem NTFS -isDax:$true -DriveLetter D
即可完成磁盘的创建。（最后的D换成你格式化时选择的盘符，如果是D盘就不用换）
3）使用过程中不小心断电，重启后傲腾内存的盘变成了只读模式：如果遇到这种情况，解决办法是进BIOS里删除NameSpace，然后按之前的步骤重新创建磁盘。
*模型使用过程中的一些注意事项
1）在SystemPrompt里加入强制要求进行思考后再回答，否则模型可能不会触发思考过程。
2）调低温度可以有效降低模型的幻觉，在回答严谨的问题时，建议温度不要超过0.5。
3）注意观察lm界面右下角的RAM占用，占用达到模型文件大小1/4左右时即可开始对话，但一开始速度会很慢。随着对话内容的增多，内存占用会逐步提高到模型文件的全部大小，当模型完全加载进内存后，对话速度能稳定在1.1tokens/s左右。经测试，不管是671BQ4还是Q8还是哪怕只用32B版本，在本配置下的推理速度都是总体接近的，估计瓶颈还是在傲腾内存的速度上。
|Archiver|手机版|小黑屋|AW射箭论坛/ArcheryWang
( 京ICP备2024088681号-1|
京ICP备2024088681号-1 )
发表于 2025-2-26 15:08:32
发表于 2025-3-18 16:44:37
![欧金中 - 百度AI搜索 - 办公学习一站解决 - [chat.baidu.com].png](data/attachment/forum/202503/18/164420q2htthlanx6d6xhm.png "欧金中 - 百度AI搜索 - 办公学习一站解决 - [chat.baidu.com].png")
