请教,从魔搭社区下载的模型不能运行怎么办?
ollama吧
全部回复
仅看楼主
level 3
电脑配置:16G内存+4060 8G显卡。
之前都是从ollama官网下载模型:deepseek r1 8b,qianwen3.5 9b。
昨天从魔搭社区下载了两个模型:www.modelscope.cn/tecaprovn/deepseek-v4-flash-gguf:latest(q4量化,大约106G,从网上查到v4 flash完整参数260b、激活参数13b)、www.modelscope.cn/unsloth/Qwen3.6-35B-A3B-GGUF:latest。
下载方法是从网上学的:ollama pull www.modelscope.cn/tecaprovn/deepseek-v4-flash-gguf、ollama pull www.modelscope.cn/unsloth/Qwen3.6-35B-A3B-GGUF。
两个模型运行时都报错了:
ollama run www.modelscope.cn/tecaprovn/deepseek-v4-flash-gguf:latest
Error: 500 Internal Server Error: model requires more system memory (106.4 GiB) than is available (24.7 GiB)
——在网上查过13B参数模型8到16G显存可以使用
ollama run www.modelscope.cn/unsloth/Qwen3.6-35B-A3B-GGUF:latest
Error: 500 Internal Server Error: unable to load model: E:\Ollama\models\blobs\sha256-ac0e2c1189e055faa36eff361580e79c5bd6f8e76bffb4ce547f167d53e31a61
——搜了一下,这个路径能找到这个文件
请问各位大佬,这是什么原因?应该怎么处理?
2026年05月10日 00点05分 1
level 1
没有完全转换
2026年05月21日 01点05分 2
level 1
模型太大了吧,35bq4 24g你这个106g就算能用也卡到离谱吧,显存核心层都放不下
2026年07月31日 06点07分 3
谢谢,确实没法儿用
2026年08月04日 04点08分
level 1
你这个电脑配置:16G内存+4060 8G显卡。建议还是玩个小模型,deepseek-r1:1.5b就可以了,大模型不流畅,
我的配置是16G内存+3060 12G显卡用的就是deepseek-r1:1.5b,通过增加知识库,可以流畅运行。
可以把内存增加到32G,显卡上双卡,可能有戏。
2026年08月04日 00点08分 4
谢谢,打算等内存降价了就再加16G。笔记本能外接显卡吗?
2026年08月04日 04点08分
我也是这么打算的,我想直接上32G+32G内存、这样能多坚持两年,等后期需要生逐步增加硬件。笔记本似乎不能外接显卡吧,我不知道,现在也就是熟悉技术,人工智能本地主要还是散热和电费
2026年08月04日 10点08分
1