收藏本版

闲聊 今日: 0|主题: 2|排名: 12 

  • Unsloth Dynamic 2.0 GGUF
    转自:Unsloth我们的动态量化分析有了重大升级!我们非常高兴地推出 Dynamic v2.0 量化方法,这是对之前量化方法的重大升级。新方法的性能超越了领先的量化方法,并为 5 次 MMLU 和 KL 散度树立了新的标杆。这意味着您现在可以运行并微调量化的LLM,同时尽可能保持准确性!您可以在任何推理引擎(例如llama.cpp、Ollama、Op ...
    03481 凌云志久 发表于 2025-5-7 闲聊
  • 使用傲腾持久内存部署deepseek671B模型时的一些注意事项
    作者:Some-shine 转自:B站本文内容仅供参考,可能有不够严谨的地方,因为Up也是半个小白。建议有一定硬件软件基础再尝试此次本地部署。本次部署671B模型时,我所用的硬件配置如下:服务器:联想HR650XCPU:Intel Xeon Gold 6222V内存:海力士 DDR4 ECC REG 2400 16G 2RX4 共6条96G第一代傲腾持久内存(DCPMM):NMA1XBD12 ...
    05791 admin 发表于 2025-2-26 闲聊
  • 快速发帖

    还可输入 100 个字符
    您需要登录后才可以发帖 登录 | 立即注册

    本版积分规则

    网站使用中出现问题请联系 邮箱:admin@archery.wang QQ:3030918630 QQ群:1014030249

    最新回复

    加入QQ群

    相关侵权、举报、投诉及建议等,请发 E-mail:admin@archery.wang

    Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|京ICP备2024088681号-1|京ICP备2024088681号-1

    在本版发帖
    加入QQ群,获取邀请码
    QQ客服返回顶部