注：当前项目为 Serverless Devs 应用，由于应用中会存在需要初始化才可运行的变量（例如应用部署地区、函数名等等），所以不推荐直接 Clone 本仓库到本地进行部署或直接复制 s.yaml 使用，强烈推荐通过 s init ${模版名称} 的方法或应用中心进行初始化，详情可参考部署 & 体验 。

nim_aistory 帮助文档

使用serverless devs将NIM部署到阿里云函数计算上

前期准备

使用该项目，您需要有开通以下服务：

服务	备注
函数计算	本项目将由阿里云函数计算 FC 提供算力
文件存储 NAS	本项目所需的模型将会存储在 NAS 中
日志服务 SLS	提供日志能力

推荐您拥有以下的产品权限 / 策略：

部署 & 体验

• 🔥 通过 Serverless 应用中心 ， 该应用。

• 通过 Serverless Devs Cli 进行部署：
  • 安装 Serverless Devs Cli 开发者工具 ，并进行授权信息配置 ；
  • 初始化项目：s init nim_aistory -d nim_aistory
  • 进入项目，并进行项目部署：cd nim_aistory && s deploy -y

应用详情

本应用旨在帮助开发者实现将 NIM AI_Story 应用部署到阿里云函数计算，并且轻松实现一键拉起 NVIDIA NIM驱动的LLM 故事demo，体验通过大语言模型（LLM）来生成不同主题的故事

部署准备

您需要先开通以下服务：

• 函数计算 FC：创建 AliyunFCDefaultRole 角色，点击同意授权

• 日志服务SLS：请到SLS控制台开通日志服务

• 文件存储服务NAS：请到NAS控制台开通

• NVIDIA API KEY：需要到NVIDIA网站去获取，具体操作步骤请参考https://docs.nvidia.com/ai-enterprise/deployment/spark-rapids-accelerator/latest/appendix-ngc.html

使用文档

使用说明

• 步骤一：登录阿里云函数计算 FC 2.0控制台，点击左侧应用，选择【创建应用】，在【人工智能】页签下可以找到NVIDIA NIM AI Story应用，点击【立即创建】

• 步骤二：部署类型选择【直接部署】

• 步骤三：需要授权 AliyunFCServerlessDevsRole 角色，点击【前往授权】 —> 【同意授权】

• 步骤四：填入前期准备中在NVIDIA网站获取到的的API Key

• 步骤五：点击创建并部署默认环境

• 步骤六：耐心等待，显示部署成功后，点击访问域名即可访问应用开始体验NIM AI Story

注意事项

• 浏览器可能会显示无法访问此网站，请不要刷新和跳转，等待几秒钟之后就会成功打开

• 如果出现部署失败的情况，请检查下日志，如果出现以下报错信息，说明日志服务SLS没有开通成功，请先到SLS控制台完成开通

• 由于模型加载时间很长，因此部署时间比较长，第一次部署会在25min左右。看到日志出现如下信息，则证明在加载模型，请耐心等待

  • 如果想查看模型的下载进度：在资源信息下的函数资源中找到 init 函数，在调用日志中可以看到

• 如果在访问模型时页面出现报错信息

  • 可能由于网络问题导致模型没有启动成功，请耐心等待一分钟，并多刷新几次页面，再重新访问

  • 如果仍然出现报错信息，可以进入相对应的模型函数（llama3_1_8b 或 mistral）

    在部署的应用中资源信息板块下的函数信息，进入模型函数

    以mistral为例，进入弹性管理页签，删除现有预留实例

    再点击创建规则，版本或别名选择LATEST，最小实例数填入1，启用闲置模式，点击创建

    并耐心等待两分钟，进入函数调用日志，看到如下日志信息证明模型启动成功

开发者社区

您如果有关于错误的反馈或者未来的期待，您可以在 Serverless Devs repo Issues 中进行反馈和交流。如果您想要加入我们的讨论组或者了解 FC 组件的最新动态，您可以通过以下渠道进行：

微信公众号：serverless	微信小助手：xiaojiangwh	钉钉交流群：33947367