Unsloth Dynamic 2.0 GGUF
转自:Unsloth我们的动态量化分析有了重大升级!我们非常高兴地推出 Dynamic v2.0 量化方法,这是对之前量化方法的重大升级。新方法的性能超越了领先的量化方法,并为 5 次 MMLU 和 KL 散度树立了新的标杆。这意味着您现在可以运行并微调量化的LLM,同时尽可能保持准确性!您可以在任何推理引擎(例如llama.cpp、Ollama、Op ...
使用傲腾持久内存部署deepseek671B模型时的一些注意事项
作者:Some-shine 转自:B站本文内容仅供参考,可能有不够严谨的地方,因为Up也是半个小白。建议有一定硬件软件基础再尝试此次本地部署。本次部署671B模型时,我所用的硬件配置如下:服务器:联想HR650XCPU:Intel Xeon Gold 6222V内存:海力士 DDR4 ECC REG 2400 16G 2RX4 共6条96G第一代傲腾持久内存(DCPMM):NMA1XBD12 ...