请问你们构建这个ollama有什么特别的选项吗？
为什么推理只有前四个核在跑？改成八线程也不行
而且八线程理论上不应该更快吗？
因为k1的AI core是前四核心，加速后的ollama只有前四核心才能调用AI算力加速推理，跑在8核上没有经过加速，速度会比用前四核推理慢
1 Like
所以你们这个ollama是你们自己单独编译出来的吗？因为我设置8线程也不生效
是的，这个ollama可执行文件是修改后编出来，里面做了修改可以对接到底层的算子库进行大模型加速，如果想跑不加速版本的，可以直接用ollama官方的方法下载非加速版本的ollama。