折腾两天了，12500+B580
+3
2G D4，本来装了魔搭社区的Ollama英特尔优化版，按介绍来下载了qwen 8b不得行，
运行起来就报"level=ERROR source=sched.go:489 msg="error loading llama server" error="llama runner process has terminated: exit status 1""
后面感觉是不是缺什么环境，卸载以后去安装了原版的ollama最新版，装好以后下载了Deepseek R1 14b 用是可以用但是全在cpu跑，我想12G显存应该够它用了，查占用cpu100%，用了设置参数 OLLAMA_VULKAN=1 也没用
又跑去下了一个ollama-ipex-llm-2.3.0，还按照github的Arc B系方法安装了 IPEX-LLM，结果还是报：level=ERROR source=sched.go:489 msg="error loading llama server" error="llama runner process has terminated: exit status 1"
连续折腾有十个小时了啊，我先全删了，有没有大佬能解救一下啊

应该是 cuda 版本问题，我之前也试过这样，都在 cpu 跑

扔掉，换成英伟达显卡吧。

显存很重要哇 越高越好 推理的时候往往显存先爆 性能占用率其实很低的 模型有很多版本1b 4b 8b(对应8g但是会爆显存啊) 还有30b(30g以上显存才能用) 你问ai了解一下

楼主我跟你讲讲我 我3060ti 8g 跑qwen8b会爆显存 换成4b就看快的多 但是跟web比慢差不多一半多跟老头一样 你买之前先问问用过的人再考虑买多好的显卡 如果钱多直接5090

楼主我跟你讲讲我 我3060ti 8g 跑qwen8b会爆显存 换成4b就看快的多 但是跟web比慢差不多一半多跟老头一样 你买之前先问问用过的人再考虑买多好的显卡 如果钱多直接5090

用LM studio吧，runtime选vulkan。modelscope的ollama英特尔优化版已经好久没更新了，性能不如用vulkan的llama.cpp和LM studio。只是玩玩可以选intel的AI playground，文本生成、文生图、图片编辑都可以，但是可选的模型太少，可玩性低。