跳到主要内容

显卡在家里,AI 随身用

大模型和 AI 绘图跑在家里或公司的显卡电脑上,出门就用不了?给它一个 HTTPS 公网地址,手机和笔记本随时远程使用,对话结果逐字返回,模型仍在自己的电脑上运行。

适合谁
在本地显卡电脑或服务器上部署大模型、AI 绘图或 Jupyter 的个人与团队。
推荐协议
HTTPS

它是怎么连起来的

客户端装在能访问服务的电脑上,主动连接网云穿,由网云穿提供公网入口。

  1. 内网服务显卡电脑Open WebUI 3000 · ComfyUI 8188
  2. 网云穿网云穿 HTTPS 入口测试域名或自己的域名
  3. 外网访问手机 / 笔记本https://ai.example.com
示意图 · 地址与端口仅作说明,请按实际环境填写。

四步完成接入

  1. 1

    在显卡电脑上启动服务,先在本机浏览器确认页面、对话或出图都正常。

  2. 2

    优先发布带登录的网页界面,例如 Open WebUI;没有登录功能的接口(如 Ollama 的 API)不要直接公开。

  3. 3

    创建 HTTPS 隧道,填写服务的本地端口;如果页面提示 Host 或来源不被允许,在服务配置里加入公网域名。

  4. 4

    从外网完成一次完整的对话或出图,确认结果是逐步返回的,再设置来源 IP 白名单。

配置完成后,这样验证

在手机流量下完成一次长回复或出图,确认流式输出正常、中途没有断开;再确认白名单以外的网络无法访问。

公网入口不替代服务自身的登录。没有身份验证的模型接口一旦公开,任何人都能消耗你的算力,请务必加上登录或白名单。内网服务默认需要在 60 秒内开始返回响应,生成时间长的请求请开启流式输出。

常见问题

回复是一个字一个字出来的吗?

是的。HTTP / HTTPS 隧道支持流式响应和 WebSocket,对话会按模型生成的速度逐步显示。

生成较慢时出现 504 怎么办?

内网服务默认需要在 60 秒内开始返回响应。请在网页界面或接口调用中开启流式输出,让结果边生成边返回。

手机上可以用吗?

可以。用手机浏览器打开公网地址即可;支持自定义服务器地址的 App,也可以填写这个 HTTPS 地址。

现在开始配置

下载客户端,按上面的步骤创建第一条隧道。