在阿里 PPU 环境中编译使用 llama.cpp

环境介绍 本文基于以下环境编写: * Ubuntu 24.04 * PPU SDK v2.0.0 * CUDA 兼容 SDK 12.9 编译过程 首先将 llama.cpp 代码仓库克隆到你喜欢的目录,例如我这里是 ~/work/llama.cpp/src。 git clone https://github.com/ggml-org/llama.cpp.git -b v0.4.0 --depth 1 ~/work/llama.cpp/src 保存 patch 文件 ~/work/llama.…

记一次 Linux 下网卡启动异常排查

这篇博客可能写的比较乱,机器连不上网,我整个操作是通过 IPKVM 完成的,无法复制日志,委屈一下读者了。 前情提要 我这是一台《NAS》,之前一直都是只装一张显卡,刚刚我尝试装第二张显卡,开机之后发现 NAS 连不上网,于是开始排查之路。 排查历程 首先我观察机器连接的交换机,发现交换机对应网口灯都不亮,用各种操作排除了交换机、网线的问题之后,我用 ip addr 一看发现网卡 enp6s0 是 down 的,用 lspci 能找到网卡,说明不是第二张显卡抢走了 PCIe 通道导致网卡无法启动。 然后我尝试用 ip link set enp6s0 up 手动 up 网卡,发现是可以启动的,虽然拿到的是本地链路 IPv6,但至少说明网卡硬件是没问题的。 经 AI…

将 docker 数据完全移动到其他目录

除了将 docker 的 data-root 移动到其他目录外,即修改 /etc/docker/daemon.json: { "data-root": "/vol1/@docker/data" } 还要修改 containerd 的目录,即修改 /etc/containerd/config.toml: ... root = "/vol1/@docker/containerd" ... 修改完成后停止 docker 和 containerd 两个服务,并将原始目录移动到新的位置,重启服务即可。…

记一次网络访问异常 ERR_CONNECTION_RESET 排查

最近访问 chatgpt.com 的时候,不间断的报 ERR_CONNECTION_RESET,ChatGPT 桌面应用也报 net::ERR_CONNECTION_RESET,这个问题很恼火,非常影响日常生活(迫真),于是开始了排查。 首先以前出现过,我用 EasyTier 的时候把 IP 网段设置为 172.16.0.0/16,然后学校某个内网服务也在这个网段上导致访问异常的情况,于是我首先开始排查 chatgpt.com 的 DNS,看它解析到什么 IP 上,结果如下: Server: 192.168.6.1 Address: 192.168.6.1#53…

OpenCode 在无头环境中报错 Error: Unexpected error

通过对 opencode 启动命令行添加参数 --log-level DEBUG,得到以下日志: error: Executable not found in $PATH: "xdg-open" path: "xdg-open", errno: -2, syscall: "spawn xdg-open", spawnargs: [ "http://localhost:14096" ], code: "ENOENT" at spawn (node:child_process:667:35) at spawn (node:…

fnOS 虚拟机使用 Windows 时加载驱动

首先前往 Fedora 下载最新的 virtio-win.iso,然后在创建虚拟机时,将此 iso 添加为驱动镜像。 硬盘:VirtIO-Block 在安装系统选择安装位置时发现硬盘没有加载出来,此时点击“加载驱动程序”,然后从加载的驱动镜像中选择“viriostor/w11/amd64”文件夹,会出现”Red Hat VirtIO SCSI controller“这个驱动,点击安装,然后就能显示出来硬盘了。 网卡:VirtIO 进入系统后发现没有网卡,还是点击安装驱动程序,从加载的驱动镜像中选择“NetKVM/w11/amd64”文件夹,点击安装,然后就能显示出来网卡了。…

在阿里 PPU 环境中使用 onnxruntime-gpu 的 Java 库

核心思路就是利用环境变量让 Java 应用加载 pixi 中安装的 onnxruntime 的 so。 前置操作请参阅 使用 pixi 配置阿里 PPU 环境 我这里项目使用的是 Gradle,在项目根目录的 build.gradle.kts 中添加如下内容: subprojects { val pixiEnvs = File(rootDir, "torrenkt-tslm-model/.pixi/envs") if (!pixiEnvs.exists()) { logger.error("please run 'pixi install' in ./torrenkt-tslm-model"…

校园全域联网:终极之究极突破客户端数量方案

这个方案无需软路由,但是需要至少有一台设备始终校园网在线,核心思路还是让其他设备的流量通过一台已登录校园网的设备出网。 当未登录校园网的设备可以访问局域网 IP 时,此方案可用。 首先你需要在已登录校园网的设备上运行任意代理软件的服务端,例如开启了允许局域网、监听了 sock5 端口的 mihomo,即 mihomo 的配置中包含如下内容: bind-address: 0.0.0.0 socks-port: 7891 allow-lan: true authentication: - user:password 注意!请务必确保设置复杂的用户名和密码,并妥善保管!!!! 若你的校园网环境会对 sock5 流量限速,可考虑伪装流量,例如伪装为 HTTP/3 请求。 接下来,在其他需要使用校园网的设备上,使用以下配置启动 mihomo 即可(注意补全相应字段): proxies: - name:…