麒麟OS怎么安装Ollama大模型_麒麟OS本地运行AI大模型教程【实战】

麒麟OS怎么安装Ollama大模型_麒麟OS本地运行AI大模型教程【实战】

系统教程

麒麟OS上运行AI大模型需根据架构选择安装方式:x86_64直接执行官方安装脚本;ARM64需编译源码或使用Docker;统一建议配置独立模型存储路径并拉取国产模型如qwen3:4b。

如果您在麒麟操作系统(Kylin OS)上希望本地运行AI大模型,但发现缺少Ollama运行环境,则可能是由于系统未预装Ollama或其依赖组件未就绪。以下是针对麒麟OS(V10SP3及后续版本,含ARM64/飞腾平台)安装Ollama并启用大模型的完整操作流程:

一、确认系统架构与基础依赖

麒麟OS存在x86_64与ARM64(如飞腾D2000、腾锐D3000)双架构版本,Ollama官方Linux二进制仅原生支持x86_64;ARM64需通过源码编译或使用适配镜像。本步骤用于识别当前环境并安装必要工具链。

1、打开终端,执行命令查看CPU架构:uname -m

2、若输出为aarch64,则需进入ARM64适配流程;若为x86_64,可直接进行标准安装。

3、安装基础依赖包(适用于麒麟V10SP3及以上):sudo apt update && sudo apt install -y curl wget gnupg ca-certificates

二、方法一:x86_64架构下直接安装Ollama官方二进制

该方法适用于搭载Intel/AMD处理器的麒麟桌面或服务器版,无需编译,下载即用,兼容性稳定。

1、执行一键下载并安装Ollama:curl -fsSL https://ollama.com/install.sh | sh

2、将ollama加入系统PATH(若未自动配置):echo 'export PATH=$PATH:/usr/bin' | sudo tee -a /etc/profile.d/ollama.sh && sudo chmod +x /etc/profile.d/ollama.sh

3、重启终端或执行source /etc/profile.d/ollama.sh使环境变量生效。

4、验证安装:ollama --version,成功将显示类似ollama version is 0.5.7的输出。

三、方法二:ARM64架构(飞腾/鲲鹏)源码编译安装

Ollama官方未发布ARM64预编译包,但其Go语言源码可在麒麟OS ARM64环境下编译运行,需确保Go环境已就绪。

1、安装Go 1.22+(麒麟OS默认源中可能版本过低):wget https://go.dev/dl/go1.22.4.linux-arm64.tar.gz && sudo rm -rf /usr/local/go && sudo tar -C /usr/local -xzf go1.22.4.linux-arm64.tar.gz

2、配置Go环境变量:echo 'export PATH=$PATH:/usr/local/go/bin' | sudo tee -a /etc/profile.d/golang.sh && source /etc/profile.d/golang.sh

3、克隆Ollama源码并编译:git clone https://github.com/ollama/ollama.git && cd ollama && make clean && make bin/ollama

4、安装至系统路径:sudo cp bin/ollama /usr/local/bin/

5、启动服务并验证:sudo systemctl enable ollama && sudo systemctl start ollama && ollama list

四、方法三:使用Docker容器方式部署(全架构通用)

当系统权限受限或需隔离运行时,可通过Docker运行Ollama官方镜像。该方案绕过架构限制,因Docker Desktop for Linux在麒麟OS中需手动启用cgroup v2与systemd集成。

1、启用cgroup v2并重启系统:sudo grubby --update-kernel=ALL --args="systemd.unified_cgroup_hierarchy=1"

2、安装Docker CE(麒麟OS适配版):sudo apt install -y docker-ce docker-ce-cli containerd.io

3、拉取并运行Ollama容器(映射11434端口):sudo docker run -d -v /home/kylin/ollama:/root/.ollama -p 11434:11434 --name ollama --restart always --gpus all ollama/ollama

4、验证容器内服务是否就绪:curl http://localhost:11434,返回{"status":"Ollama is running"}即成功。

五、配置模型存储路径与国产模型拉取

麒麟OS默认用户主目录位于/home/kylin,为避免系统盘空间占用过高,建议将Ollama模型库重定向至大容量分区(如/data/ollama)。

1、创建模型存储目录:sudo mkdir -p /data/ollama && sudo chown -R kylin:kylin /data/ollama

2、设置环境变量指向新路径:echo 'export OLLAMA_MODELS=/data/ollama' | tee -a ~/.bashrc && source ~/.bashrc

3、拉取国产适配模型(以Qwen3为例):ollama pull qwen3:4b

4、运行模型测试响应:ollama run qwen3:4b "你好,你是谁?"

本文地址:https://www.sztg.com.cn/article/602749.html

如非特殊说明,本站内容均来自于网友自主分享,如有任何问题均请联系我们进行处理!

猜您喜欢