DeepSeek-671b-Q4部署

Foreword DeepSeek火了这么久，总算轮到我来部署一下了，部署小模型的挺多的，但是接近满血的大模型的好像很少，遇到的问题也难得有人说。 DeepSeek 设备需求 浪潮 NF5468M6 GPU服务器 CPU：2x6330（2G，28C/56T，42MB，Turbo，205W，3200），2x2400￥ 内存：32x64G DDR4 3200 RDIMM ECC，32x500￥ 硬盘：5x1.6TB SSD NVMe U.2 2.5寸 混合型，5x900￥ 阵列卡：Intel/英特尔 VROC KEY VROCPREMM0D U.2 NVME 阵列 RAID 0/1/5/10激活卡 高级版，1300￥ 网卡1：迈络思 MCX556A 100G 双口网卡，1500￥ 网卡2：X710双..