环境介绍 本文基于以下环境编写： * Ubuntu 24.04 * PPU SDK v2.0.0 * CUDA 兼容 SDK 12.9 编译过程 首先将 llama.cpp 代码仓库克隆到你喜欢的目录，例如我这里是 ~/work/llama.cpp/src。 git clone https://github.com/ggml-org/llama.cpp.git -b v0.4.0 --depth 1 ~/work/llama.cpp/src 保存 patch 文件 ~/work/llama.…
核心思路就是利用环境变量让 Java 应用加载 pixi 中安装的 onnxruntime 的 so。 前置操作请参阅 使用 pixi 配置阿里 PPU 环境 我这里项目使用的是 Gradle，在项目根目录的 build.gradle.kts 中添加如下内容： subprojects { val pixiEnvs = File(rootDir, "torrenkt-tslm-model/.pixi/envs") if (!pixiEnvs.exists()) { logger.error("please run 'pixi install' in ./torrenkt-tslm-model"…
前言 pixi 基于 uv 开发，拥有与 uv 一样的速度，还支持一系列额外的功能，例如： * 完全替代 conda，兼容 conda 的所有生态，可以在虚拟环境中安装 ffmpeg、cuda-toolkit 等系统依赖，当然也可以安装 python； * 多语言环境，不仅可以管理 python，还能管理 Java、Node.js 等； * 任务系统，类似 npm run，可以将繁琐的命令通过 task 一键启动。 所以十分推荐使用 pixi 一站式代替 conda、poetry、uv、venv 等所有工具。 食用方法 首先安装 pixi 请参照官方教程：https:…
参考文档：https://forums.developer.nvidia.com/t/notice-cuda-linux-repository-key-rotation/212772 NVIDIA 更新了密钥，官方文档的旧版本存档中所写的方法不再适用，新方法如下： 如果要运行神经网络项目，则还需要安装 cudnn。 sudo apt-get install cudnn9-cuda-11 此处不能安装 cudnn9-cuda-11-4，因为其限定特定的 cudnn 版本，由于 cuda 不限定 cudnn 的次要版本，根据主要版本选择即可。 更新缓存并安装： sudo apt-get update sudo apt-get…
参考文档：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html 安装驱动 系统环境是 fnOS v0.8.34（Debian 12），按照如下命令安装驱动即可： sudo apt install nvidia-tesla-470-driver 安装完驱动要重启，重启完使用命令 nvidia-smi 即可查看显卡状态： madray@nas:~$ sudo nvidia-smi Sun Jan 19 20:35:47 2025 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 470.…
PyTorch 兼容性 最开始是跑 PyTorch 的时候遇到警告： Found GPU0 NVIDIA GeForce GT 710 which is of cuda capability 3.5. PyTorch no longer supports this GPU because it is too old. The minimum cuda capability supported by this library is 3.7.</code></pre> 经过网上冲浪发现这个 issue：pytorch/pytorch#…