请问你们构建这个ollama有什么特别的选项吗?
为什么推理只有前四个核在跑?改成八线程也不行
而且八线程理论上不应该更快吗?
因为k1的AI core是前四核心,加速后的ollama只有前四核心才能调用AI算力加速推理,跑在8核上没有经过加速,速度会比用前四核推理慢
1 个赞
所以你们这个ollama是你们自己单独编译出来的吗?因为我设置8线程也不生效
是的,这个ollama可执行文件是修改后编出来,里面做了修改可以对接到底层的算子库进行大模型加速,如果想跑不加速版本的,可以直接用ollama官方的方法下载非加速版本的ollama。