本地化部署类ChatGPT服务,利用贝锐花生壳实现无需公网IP远程访问
随着ChatGPT热度的蔓延,大语言模型 (LLM) 也变成了关注焦点,和AI绘图工具Stable Diffuison Web UI类似,目前在大语言模型方面,同样推出了Text generation web UI这样的工具,可为LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等类ChatGPT大型语言模型提供能够快速私有化部署、使用的网页界面,打造私有的类ChatGPT服务。
Text generation web UI不只是带来了快速部署的优势,github主页上直接提供了一键部署安装包,同时由于是web UI的访问形式,也可实现多人共享使用。那么,问题也就来了,同一局域网环境下可以直接访问,但是一旦脱离了这个局域网,如何才能使用呢?
答案之一是搭配内网穿透工具,在没有公网IP、不设置路由的情况下,快速实现远程访问自建的类ChatGPT服务。以下流程采用了贝锐花生壳内网穿透,来实现Text generation web UI本地部署后的远程访问。
对于许多早期互联网用户而言,花生壳并不陌生。从 2006 年开始,花生壳就已经为站长们提供动态域名解析DDNS服务,并经过不断的发展,逐渐成为了全球用户数量超过千万的动态域名解析服务商。
至今,花生壳已经集动态域名解析和内网穿透功能于一体,持续提供稳定可靠的内网穿透服务,被 1800 万以上的用户广泛应用于各种场景。这些应用场景包括OA/ERP/CRM办公系统、私有云、视频监控、Web服务器、软件开发调试、遥感测绘以及工业互联等。
Text generation web UI本地部署
1.以Windows为例,在安装包中运行start_windows.bat就能自动自动安装,完成所需环境的部署。
2.完成后,通过CMD进入Text generation web UI所在的目录,根据github主页上的信息,下载、安装所需的语言模型。
3.完成模型下载后,再次运行start_windows.bat就能启动Web UI。
贝锐花生壳内网穿透安装&设置
1.在贝锐官网下载、安装花生壳的客户端。目前,除了Windows、Linux外,花生壳还支持Android、OpenWRT、树莓派等多种操作系统及设备,并提供了硬件客户端花生壳盒子,适用于无法安装软件客户端的场景。
2.注册贝锐账号后,登录花生壳客户端,进入云端管理后台,对需要进行内网穿透服务进行映射配置。
3.确认映射内容填写无误后,点击“保存”即可,花生壳将自动生成一个外网访问地址。如果需要远程访问Text generation web UI,只需要在浏览器中输入贝锐花生壳生成的外网访问地址即可。
总之,使用贝锐花生壳实现远程访问Text generation web UI的过程相对简单易行,只需按照上述步骤进行操作即可。对于需要类似私有化服务的需求方,可以参考此方法进行实施。