首页 热点资讯正文

本地化部署类ChatGPT服务,利用贝锐花生壳实现无需公网IP远程访问

hezhisheng026 热点资讯 2023-10-26 12:15:01 84 0

随着ChatGPT热度的蔓延,大语言模型 (LLM) 也变成了关注焦点,和AI绘图工具Stable Diffuison Web UI类似,目前在大语言模型方面,同样推出了Text generation web UI这样的工具,可为LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等类ChatGPT大型语言模型提供能够快速私有化部署、使用的网页界面,打造私有的类ChatGPT服务。

Text generation web UI不只是带来了快速部署的优势,github主页上直接提供了一键部署安装包,同时由于是web UI的访问形式,也可实现多人共享使用。那么,问题也就来了,同一局域网环境下可以直接访问,但是一旦脱离了这个局域网,如何才能使用呢?

答案之一是搭配内网穿透工具,在没有公网IP、不设置路由的情况下,快速实现远程访问自建的类ChatGPT服务。以下流程采用了贝锐花生壳内网穿透,来实现Text generation web UI本地部署后的远程访问。

对于许多早期互联网用户而言,花生壳并不陌生。从 2006 年开始,花生壳就已经为站长们提供动态域名解析DDNS服务,并经过不断的发展,逐渐成为了全球用户数量超过千万的动态域名解析服务商。

至今,花生壳已经集动态域名解析和内网穿透功能于一体,持续提供稳定可靠的内网穿透服务,被 1800 万以上的用户广泛应用于各种场景。这些应用场景包括OA/ERP/CRM办公系统、私有云、视频监控、Web服务器、软件开发调试、遥感测绘以及工业互联等。

Text generation web UI本地部署

1.以Windows为例,在安装包中运行start_windows.bat就能自动自动安装,完成所需环境的部署。

2.完成后,通过CMD进入Text generation web UI所在的目录,根据github主页上的信息,下载、安装所需的语言模型。

3.完成模型下载后,再次运行start_windows.bat就能启动Web UI。

贝锐花生壳内网穿透安装&设置

1.在贝锐官网下载、安装花生壳的客户端。目前,除了Windows、Linux外,花生壳还支持Android、OpenWRT、树莓派等多种操作系统及设备,并提供了硬件客户端花生壳盒子,适用于无法安装软件客户端的场景。

2.注册贝锐账号后,登录花生壳客户端,进入云端管理后台,对需要进行内网穿透服务进行映射配置。

3.确认映射内容填写无误后,点击“保存”即可,花生壳将自动生成一个外网访问地址。如果需要远程访问Text generation web UI,只需要在浏览器中输入贝锐花生壳生成的外网访问地址即可。

总之,使用贝锐花生壳实现远程访问Text generation web UI的过程相对简单易行,只需按照上述步骤进行操作即可。对于需要类似私有化服务的需求方,可以参考此方法进行实施。

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

本文链接:https://www.16i.cc/post/41107.html