1 算力平台登录

1.1 访问算力平台-教师版

1. 打开浏览器，访问 https://aiuconsole.seu.edu.cn/

2. 自动跳转至东南大学身份认证中心，输入一卡通号和密码，选择登录，登录成功后会自动跳转至算力运营平台。

 

 

3. 在默认课题下开通ModelMate服务

每位老师都有一个默认课题，如果需要使用AI智算算力，请先开通ModelMate服务。

1)左侧菜单找到ModelMate菜单，在右侧页面点击“开通服务”按钮。

 

2）点击后浏览器会打开一个新页面，请在新页面中下滑到页面底部，在“资源池冻结策略”选项选择“继续作业”，然后点击”立即购买”按钮。

 

3）点击后会看到订单提交成功页面，请等待约3分钟左右，到订单列表页面，等待该订单状态变为开通完成。

 

4. 使用ModelMate算力

待开通服务订单状态变为“开通完成”后，再次访问ModelMate页面，点击页面上方的“ModelMate控制台”按钮，即可跳转至ModelMate AI算力服务平台使用AI智算算力。

 

 

5. 邀请学生加入课题

请打开 访问控制-> 我的课题->课题邀请页面，您可以在此页面搜索您的学生，然后可以选中学生，点击“邀请”按钮。

 

看到邀请成功的提示后，请等待约1分钟，即可在课题成员页签，看到您的学生。

 

1.2 访问算力平台-学生版

1. 打开浏览器，访问 https://aiuconsole.seu.edu.cn/

2. 自动跳转至东南大学身份认证中心，输入一卡通号和密码，选择登录，登录成功后会自动跳转至算力运营平台。

 

3. 加入老师的课题

1）如果学生此时未加入任何课题，登录后会看到弹窗提醒，此时用户仅能点击“去我的课题”按钮，到我的课题页面，提交加入课题申请。

 

2）在我的课题->课题申请页面，可以筛选您的老师，在右侧点击加入课题按钮，提交加入课题申请。然后等待老师接受您的申请。

 

PS：您也可以线下联系您的老师，让老师直接邀请您加入课题。

目前平台允许一名学生，加入一位老师的多个课题。

4. 使用ModelMate算力

课题申请通过后，需要重新登录到平台。切换到指定课题后，点击左侧的ModelMate菜单，在右侧页面点击页面上方的“ModelMate控制台”按钮，即可跳转至ModelMate AI服务平台使用AI智算算力。

 

 

 

2 用户权限介绍

 

3 数据集操作

3.1 数据集创建

数据集创建流程：

① 左键单击数据管理

② 点击数据集

③ 创建数据集

 

根据需求进行数据集的创建：

① 数据集名称

② 是否需要进行描述

③ 是否需要添加分类

④ 是否需要进行数据标注

⑤ 数据类型的选择

⑥ 标注类型的选择

⑦ 数据来源选择

⑧ 确认创建数据集

⑨ 备注：当前网页支持小于5G文件上传，大于5G文件需要使用obs软件直接上传至存储后端。

 

 

3.2 数据上传（适用于大于30G的文件上传）

约束条件：

① 步骤一：获取OBS 登陆关键信息，租户管理员从云星页面获取密钥

 

下载后的密钥文件自己留存，需要的时候发给课题人员。

② 步骤二：获取obs 登陆软件

③ 步骤三：登陆ModelMate界面，获取用户OBS 路径

数据管理—数据集—数据集名称—数据集详情-获取数据集目录名称：7341319738079167

 

④ 使用s3browser软件或者obs-browser软件 连接OBS存储桶，仅能上传、查看文件，不能执行删除操作；删除操作可以界面完成

操作步骤：

① 打开s3browser软件，配置OBS 界面参数，填入约束条件1里面的参数信息，endpoint地址使用aiobs.seu.edu.cn

 

② 忽略提示信息，点确定

 

③ path 路径填入user/admin/MANAS_SAMPLE/dataset/租户ID/数据集目录名称

user/admin/MANAS_SAMPLE/dataset/2000/7341319738079167247/，回车键后可以看到当前租户下的数据集目录。可以在这个目录上上传数据文件，同步显示在ModelMate页面

 

 

3.3 数据标注

创建数据标注任务：

① 点击数据标注

 

创建标注任务

① 选择标注方式

② 填写标注任务名称

③ 按需是否添加描述信息

④ 选择源数据

⑤ 按需增加标注信息

⑥ 按需选择是否需要团队标注

⑦ 按需选择团队标注标注人

⑧ 按需选择标准信息审批人

⑨ 创建标准任务

 

数据标注执行

① 点击已创建的标注任务中的“认领”进行数据标注

 

② 输入认领数量

③ 点击确定

 

④ 选择需要标注的样本

⑤ 进行人工标注（PS：左侧菜单栏可进行多种标注形状选择）

⑥ 完成标注后可进行保存

⑦ 全部完成后可进行批量标注任务提交

 

⑧ 标注任务完成后可进行审核

 

⑨ 可以逐一进行标注任务审核

 

⑩ 查看已标注的数据

 

 

 

4 Notebook调测与训练

4.1 新建Notebook

登录后进入ModelMate平台，点击模型开发->Notebook显示notebook列表，点击新建开始创建notebook。

 

新建notebook页面输入名称、选择引擎、资源池、规格，设置是否开启ssh及自动关闭时间，最后点击确定进行notebook创建。

 

4.2 Notebook调测

4.2.1 在JupyterLab页面进行开发

在模型开发-> Notebook列表中的名称列点击创建的notebook打开notebook开发环境。

 

通过Terminal可以命令行的方式访问

 

约束：

(1) 大的权重文件和数据集使用obs客户端工具进行上传到指定目录

(2) Notebook工作目录只放模型代码和少许其他必须文件

4.2.2 使用Visual Studio Code开发算法

可通过离线或在线两种方式安装插件（推荐离线场景）：

· 在线场景安装插件，请参考在线安装插件，为给您提供更好的体验，请使用Visual Studio Code1.71.0及以上版本。

· 离线场景安装插件，请参考离线安装插件，使用官网最新版本的Visual Studio Code软件和插件，以确保两者兼容。

详细操作指导见附件使用Visual Studio Code开发算法章节：(复制到本地再打开，不能直接点击打开)

4.3 训练作业

在notebook列表中选择待训练的notebook，点击列表中的训练按钮，进入训练作业启动配置页面进行训练作业配置

 

主要信息描述：

分类	字段名称	说明
基本信息	作业名称	设置训练作业的名称
	描述	训练作业的描述信息
手动配置参数	资源池	共享资源池Ascend卡和CPU卡
	启动文件	从对应notebook中选择启动脚本
	训练数据集	从数据集存储中选择对应数据集
	触发方式	三种方式人工、周期、定时；默认人工
	引擎	依赖notebook自动带入，不能修改
	PS	通常使用在tensorflow分布式场景
	Worker	配置几个节点，每个节点几张卡
容错机制	任务超时	一般默认
	告警通知	一般默认
	失败重试	一般默认
	重试条件	一般默认

 

 

5 FAQ

5.0.1 如何拥有多个课题？

请到访问控制->我的课题页面，点击页面右上角的“创建新课题”按钮，在创建课题弹出框中，填写课题名称与描述后，点击确定按钮，完成课题创建。

不同课题之间数据完全隔离，如果您想在新课题使用AI算力，请参考快速开始的步骤，为新课题重新开通ModelMate服务。目前一位老师最多允许拥有16个课题。

 

 

5.0.2 如何切换课题？

点击页面上方的课题下拉选项，在下拉框中选择任意课题进行切换。

 

5.0.3 如何分配AI算力配额？

请到课题管理页面，将属于您的配额按需分配给各个课题。首先点击设置配额按钮，进入配额编辑状态，然后在各个课题之间分配配额，确认无误后点击保存配额按钮，完成配额分配。

老师所有课题共享总配额，在保存配额操作时，要保证每个课题的配额汇总相加不能超过老师的总配额。

 

5.0.4 如何处理学生加入课题的申请？

请对应课题的访问控制->我的课题->申请记录页面，查看由学生主动发起的加入课题申请。

您可以选择对应学生的申请，进行接受或拒绝操作，一旦接受学生的加入课题申请，学生就会加入您的课题，成为正式课题成员。

 

 

5.0.5 如何配置学生在ModelMate平台侧的权限？

请先切换到指定课题，进入访问控制->用户组页面，找到样本发布者、样本标注者、算法工程师、推理工程师四个内置用户组（这四个用户组权限会映射到ModelMate侧）。

 

点击右侧的“配置用户”按钮，在弹出框中，将选中指定学生，然后点击“确定”按钮，完成权限配置。配置完成后，该学生跳转到ModelMate控制台，即可拥有相应的功能权限。

 

5.0.6 如何合理选择镜像

创建Notebook选择引擎时，平台提供内置引擎和自定义引擎，内置引擎为MindSpore-Python支持MindSpore框架，自定义引擎可根据需要进行制作，目前平台提供了Pytorch框架的自定义镜像引擎 。

注意：由新老系统迁移问题，部分用户自定义引擎中会包含老版本中自定义镜像。

内置引擎：

 

自定义引擎：

 

注：530.2.7镜像可以支持单机，多机训练，530.2.6只支持单机单卡或单机多卡训练，根据业务需要进行选择。

5.0.7 Notebook使用约束

Notebook在开发调试过程中涉及到调试代码、数据集、权重 三个主要的内容。打开Notebook后界面中展示如下：

 

 

区域1：主要存放模型代码，启动选了作业时候在其中选择对应的启动脚本。该区域不要放过大的文件，尽量只存储代码

区域2：存放大数据文件的区域，使用DPC特性，主要包括两个目录

1、/opt/dpcvol/models 存放模型权重文件，所有的权重文件存放在这个地方

2、/opt/dpcvol/datasets 存放的是数据集，所有的数据集都应该存放在这个目录，其中通过也没上数据集管理传输的数据集也在次目录

5.0.8 DPC使用指导

在训练任务和Notebook中可以通过如下路径直接使用DPC：

/opt/dpcvol/datasets：

该路径表示本地挂载DPC卷的数据集根目录。

该路径对应DPC的存储路径：<租户DPC卷根路径>/user/admin/MANAS_SAMPLE/dataset/<租户id>/。

/opt/dpcvol/models：

该路径表示本地挂载DPC卷的模型根目录。

该路径对应DPC的存储路径：<租户DPC卷根路径> /models/。

 

数据集使用样例：

1、单击“数据管理 > 数据集”，单击数据集名称，获取如下图所示数据集ID。

 

 

2、在Notebook的ipynb文件中读取数据集示例。

从/opt/dpcvol/datasets路径下读取对应数据集，读取方式和读取本地文件一致，如下示例为使用with open方式读取数据集。

 

file_path = '/opt/dpcvol/datasets/步骤2查询到的数据集ID'

with open(file_path, 'r') as file:

    data = file.read()

 

模型文件使用样例：

1、将模型文件通过OBS S3工具上传至OBS 的“<租户DPC卷根路径> /models/”路径下。

2、创建Notebook。

3、在Notebook的ipynb文件中读取模型文件，从/opt/dpcvol/models路径下读取对应模型文件，读取方式和读取本地文件一致，如下示例为使用with open方式读取模型文件。

file_path = '/opt/dpcvol/models/xxx'

with open(file_path, 'r') as file:

    data = file.read()

 

4、训练生成的模型文件建议保存到OBS 的“<租户DPC卷根路径> /models/”路径下。

file_path = '/opt/dpcvol/models/xxx'

with open(file_path, 'r') as file:

    data = file.read()

5.0.9 配额不足时处理方法

当前环境npu卡使用规则：

每个老师分配一张调测虚拟卡用于notebook开发，两张训练实体卡用于训练作业。

1、 当同一位老师有多个课题时，需使用老师账号来分配资源。

2、 如果分配的默认配额不够使用时，需要使用老师账号填写工单向网信中心申请资源配额。

 

5.0.10 使用vscode远程连接失败？

请参考章节4.2.2使用Visual Studio Code开发算法使用，注意连接NoteBook的账户不是ModelMate分配的个人账号，应该使用naie账户。

 

5.0.11 VS Code连接到NoteBook后，打开终端时报错如下

 

需要选择Linux上的默认终端配置文件为bash，配置如下