记录在Amazon Cloud EC2服务器上部署QWEN - 7B -聊天模型的过程

随着AI模型的流行以及工作和生活效率的提高，我们的许多个人和企业都根据业务需求建立自己的模型。 在许多服务提供商提供的模型中，我们知道DeepSeek，Baidu Wenxin Yiyan，Alibaba Tongyi Qianwen，Tencent Hunyuan Big Model，Huawei Pangue Big Model，Bondedance dourdao Big Model，Zhipu aipu ai ai chatglm。

在本文中，让我们看一下如何在Alibaba Cloud Tongyi Qianwen模型QWEN - 7B - Amazon Cloud EC2 EC2服务器上部署聊天。 在这里，我们组织了整个过程的整个过程。 本文使用EC2服务器。如果没有人，您可以先启用它。

Amazon Cloud EC2启动：Amazon Cloud EC2当然可以免费

，如果您对已安装的大型型号进行了服务器配置，则如果是EC2，则为基本目的，亚马逊拥有12个月的免费T2.Micicro实例。

打开EC2服务器时，您需要选择更高的配置实例，并且相应的系统还具有要求。 QWEN - 7B -聊天大型模型配置要求至少需要16G内存和100GB磁盘，因此在配置EC2服务器时必须满足要求。否则，将无法安装。

默认情况下，磁盘大小为8GB，必须增加到100GB。 配置EC2服务器时，您必须定期发布一个安全组，包括用于访问WebUI页面的7860个端口。

之后，安装并启动Docker容器。 检查是否安装了容器。

sudo docker - v

获取并运行Intel XfastTransFormer容器。

sudo docker pull registry.openanolis.cn/openanolis/xfastertransformer:1.7.3] 23sudo docker run - it - -名称xft - h xft - - - - shm - size = 16g - - -网络主机- v /mnt： /mnt： /mnt - registry.openanolis.cn/openanolis/xfastertransformer:1.7.3 - 23

识别所执行的结果如上图所示。

必须在容器中执行后续操作。如果容器完成，则可以通过以下命令开始并输入容器壳环境：

sudo docker start xftsudo docker exec - it xft bash

依赖项必须安装在容器上。

yum更新- yyum install - y wget git git - lfs vim tmux

启用git lfs。

需要下载预付费模型。

git LFS安装

创建并输入模型数据目录。

mkdir/mnt/dataAcd/mnt/data

创建一个TMUX会话。

tmux

qwen - 7b -下载前聊天模型。

git克隆https://www.modelscope.cn/qwen/qwen/qwen - 7b] chit.git/mnt/mnt/data/qwen - 7b - 7b -聊天

当您在上面的图中显示的结果时，此过程是正确的。 如果磁盘不够大，则必须高于60GB。否则它将无法正常工作。

这是因为下载的模型数据是ungingfac您需要转换为e-Format和XFastRansFormer格式。 生成的模型文件夹为/mnt/data/qwen - 7b - chat - xft。

python - c'导入xfastransformer作为xft。 xft.qwenconvet（）。 convert（“/mnt/data/qwen - 7b - chat”）'

请确保转换成功。

最后，您可以运行模型对话。 您可以使用WebUI并命名界面。

1。WebUI接口

在容器中，运行以下命令以安装与WebUI相关的依赖关系：

cd/root/xfasttransformer/xplass/xplass/examples/web_demopip安装- r requempastion.r requemention.txt <pxt <pxt

运行以下命令，以避免使用k3 grade k3 k3 k3]升级grado

通过运行以下命令启动webUI：

op_num_threads = $（（$（$（lscpu | grep | grep“^cpu”^cpu（s）： “^cp”^cpu”^cpu（seq））'{print $ nf}'）- 2）））- m0 python qwen.py - t/mnt/data/qwen - 7b - 7b -该端口为7860，我们之前已经发布了此端口。

2。命令界面

cd/xfasttransformer/xpess/xpess/pytorchomp_num_threads = $（（$（$（$（lscpu | grep | grep | grep））^cpu（s）： grep“^cpu（s）：” |。 - -聊天true

运行“命令”对话框后，将显示您。

注意：如果您有错误，则可能是您的服务器配置与较大型号兼容的问题。 毕竟，安装较大型号所需的配置相对较高，并且无法安装常规云服务器。

投票投票

这几篇文章你可能也喜欢：

• 暂无相关推荐文章

本文由主机参考刊发，转载请注明：记录在Amazon Cloud EC2服务器上部署QWEN - 7B -聊天模型的过程 https://zhujicankao.com/146513.html