1、2021 年第二届全国人工智能应用技术技能大赛-工业机器人人工智能技术应用赛项江苏省赛选拔赛 1 / 13 第二届全国人工智能应用技术技能大赛第二届全国人工智能应用技术技能大赛 江苏省选拔赛江苏省选拔赛 计算机程序设计员计算机程序设计员 （工业机器人人工智能技术应用）（工业机器人人工智能技术应用） 职工组（含教师）职工组（含教师） 实操题实操题 （样题）（样题） 省赛选拔赛省赛选拔赛组委会技术工作委员会组委会技术工作委员会 20212021 年年 9 9 月月 2021 年第二届全国人工智能应用技术技能大赛-工业机器人人工智能技术应用赛项江苏省赛选拔赛 2 / 13 重要说明重要说明 1、比赛
2、时间300分钟，180分钟后，选手可以弃赛，但不可提前离开赛位场地，需要在赛位指定位置，与比赛设备隔离。 2、比赛共包括 4 个任务，总分 100 分，见表 1。 表 1 比赛任务及配分 序号 名称 配分 说明 1 任务一：工业机器人与智能相机综合调试及应用 35 2 任务二：移动操作单元人工智能技术应用 35 3 任务三：机器人人工智能技术综合应用 30 合计 100 3、除有说明外，不限制各任务评判顺序，且不限制任务中各项的先后顺序，选手在实际比赛过程中要根据赛题情况进行操作。 4、请务必阅读各任务的重要提示。 5、比赛过程中，若发生危及设备或人身安全事故，立即停止比赛，将取消其参赛资格。
3、 6、比赛所需要的资料及软件都以电子版的形式保存在工位计算机里指定位置 D:ROBAI。 表2 资料明细表 7、竞赛平台系统中主要模块的IP地址预分配如下表3所示。 序号 电子资料名称 1 硬件 IO 配置表 2 深度学习效果标准验证图像-螺钉 3 深度学习效果标准验证图像-螺母 2021 年第二届全国人工智能应用技术技能大赛-工业机器人人工智能技术应用赛项江苏省赛选拔赛 3 / 13 表3 IP地址分配表 序号 名称 IP 地址分配 备注 1 电动手爪 192.168.10.9 2 主控 PLC 192.168.10.10 3 3D 智能相机 192.168.10.11 4 主控触摸屏 19
4、2.168.10.12 5 协作机器人 192.168.10.15 6 2D 智能相机 192.168.10.30 7 AGV 无线 CPE 192.168.10.50 8 移动机器人(AGV) 192.168.10.51 9 工业机器人 192.168.10.100 10 无线网桥 AP 192.168.10.200 8、选手对比赛过程中需裁判确认部分，应当先举手示意。 9 9、参赛选手在竞赛过程中，不得使用参赛选手在竞赛过程中，不得使用 U U 盘。盘。 10、选手在竞赛过程中应该遵守相关的规章制度和安全守则，如有违反，则按照相关规定在竞赛的总成绩中扣除相应分值。 11、选手在比赛开始前，
5、认真对照工具清单检查工位设备，并确认后开始比赛；选手完成任务后的检具、仪表和部件，现场需统一收回再提供给其他选手使用。 12、赛题中要求的备份和保存在电脑中的文件，需选手在计算机指定文件夹 D:2021ROBAI中命名对应文件夹（赛位号+AI），赛位号为两个字母+5 位数字，如 DS21127。赛题中所要求备份的文件请备份到对应到文件夹下，即使选手没有任何备份文件也要求建立文件夹。 13、需要裁判验收的各项任务，任务完成后裁判只验收 1 次，请根据赛题说明，确认完成后再提请裁判验收。 2021 年第二届全国人工智能应用技术技能大赛-工业机器人人工智能技术应用赛项江苏省赛选拔赛 4 / 13 1
6、4、选手严禁携带任何通讯、存储设备及技术资料，如有发现将取消其竞赛资格。选手擅自离开本参赛队赛位或者与其他赛位的选手交流或者在赛场大声喧哗，严重影响赛场秩序，如有发生，将取消其竞赛资格。 15、选手必须认真填写各类文档，竞赛完成后所有文档按页码顺序一并上交。 16、选手必须及时保存自己编写的程序及材料，防止意外断电及其它情况造成程序或资料的丢失。 17、赛场提供的任何物品，不得带离赛场。 18、竞赛平台系统中，分拣及装配工作台桌面布局图如图 1 所示，半成品箱体初始位姿俯视图如图 2 所示，V 型立体仓库仓位定义如图 3 所示。 图 1 分拣及装配工作台桌面布局 2021 年第二届全国人工智能
7、应用技术技能大赛-工业机器人人工智能技术应用赛项江苏省赛选拔赛 5 / 13 图 2 半成品箱体初始位姿俯视图 图 3 V 型立体仓库仓位定义 2021 年第二届全国人工智能应用技术技能大赛-工业机器人人工智能技术应用赛项江苏省赛选拔赛 6 / 13 一、一、竞赛项目任务书竞赛项目任务书 任务一：工业机器人与智能相机综合调试及应用任务一：工业机器人与智能相机综合调试及应用 任务描述：根据任务书要求，通过人工智能技术赋能，在工业机器人分拣与装配单元中，通过操作 3D 视觉系统软件，完成 3D 相机的调试、标定；根据要求，采集、标注图像数据，完成基于深度学习的工件识别模型的训练及部署。通过综合操作
8、、编程和调试，对工业机器人进行智能化赋能和综合应用，完成工业机器人基于 3D 视觉的工件无序智能抓取；通过调用规划软件，完成工件的装配。 （一）手眼标定操作（一）手眼标定操作 在工业机器人末端安装标定板，设置标定参数，完成工业机器人与相机之间的手眼标定。 具体包含的任务：具体包含的任务： （1）在工业机器人末端安装标定板，对 3D 智能相机软件与工业机器人系统的通信进行设置，使 3D 智能相机软件获得工业机器人的控制权。 （2）设置合理的相机参数，使其获取高质量的标定板图像数据。 （3）设置合理的标定参数，启动自动手眼标定程序，根据标定误差的结果进行评判。 （二）图像采集及标注（二）图像采集及
9、标注 操作 3D 智能相机和视觉系统软件，采集目标物体的图像数据，根据要求完成图像的标注。 具体包含的任务：具体包含的任务： （1）设置、调整相机参数，使相机获得清晰、高质量的图像。 （2）在“分拣及装配工作站”上的物料盒中，放入多个 M6、M10 螺钉和螺母，并手动调整合适的螺钉、螺母的位姿。然后，在保证图像质量的情况下，采集 10 张包含不同螺钉、螺母摆放位姿的物料盒图像。 （3）利用内置的图像标注工具，对每张图像进行标注，要求每种型号螺钉、螺母的标注实例数量是 20 个。 （三）模型训练及部署验证（三）模型训练及部署验证 2021 年第二届全国人工智能应用技术技能大赛-工业机器人人工智能
10、技术应用赛项江苏省赛选拔赛 7 / 13 基于采集及标注的图像数据，训练工件识别模型。将训练后的模型导入并部署至视觉系统软件中，测试模型的识别精度。 具体包含的任务：具体包含的任务： （1）启动模型训练，等待视觉系统完成工件识别模型训练； （2） 将训练完成的模型分别导入至不同螺钉、 螺母的视觉识别工程中，并设置相应的参数和感兴趣区域。 （3）在视觉识别工程中，切换至虚拟相机模式，加载标准验证图像，利用已训练模型对其进行识别，验证模型的识别效果。 （四）基于图形化编程软件的机器人程序编写（四）基于图形化编程软件的机器人程序编写 使用图形化编程软件，编写工业机器人点位、I/O 变量控制程序，控制
11、工业机器人完成位姿固定工件的抓取及放置。 初始作业状态设置：初始作业状态设置： （1）在“分拣及装配工作站”的二次定位装置上，手动放置一个 M6螺钉和一个 M6 螺母。 （2）在“箱体旋转供料及装配台”的 2 号工位上，手动放置半成品箱体。 （3）在“井式供料装置”中，手动放置 3 个箱体端盖。 具体包含的任务：具体包含的任务： （1）编写图形化程序，示教工业机器人定位、设置 I/O 变量。 （2）利用不同的夹具，完成 M10 螺母铆压、箱体端盖装配、M10 螺钉锁紧等任务。 请注意：任务中涉及的手动设置初始作业状态部分，在评判阶段，由选手执请注意：任务中涉及的手动设置初始作业状态部分，在评判
12、阶段，由选手执行相关手动操作。行相关手动操作。 （五）散乱工件的分拣及简单装配（五）散乱工件的分拣及简单装配 使用图形化编程软件，编写工业机器人控制程序，结合 3D 智能相机识别的工件位姿结果，控制工业机器人完成对物料盒中散乱工件的分拣及简单装配。 初始作业状态设置：初始作业状态设置： 2021 年第二届全国人工智能应用技术技能大赛-工业机器人人工智能技术应用赛项江苏省赛选拔赛 8 / 13 在“分拣及装配工作站”的物料盒中，分别手动散乱放置螺钉和螺母；在“箱体旋转供料及装配台”的 2 号工位上，手动放置半成品箱体；在“井式供料装置”中，手动放置 3 个箱体端盖。 具体包含的任务：具体包含的任
13、务： （1）导入手眼标定的坐标系变换结果，设置合理的点云模板、抓取点位置以及抓取夹具参数等。 （2）使用图形化编程软件，编写工业机器人控制程序。结合 3D 智能相机识别的工件位姿结果，控制工业机器人分拣一个 M10 螺钉和一个 M10螺母，放置于二次定位装置上。 （3）利用不同快换夹具，完成 M10 螺母铆压、箱体端盖装配、M10 螺钉锁紧等任务。 请注意：任务中涉及的手动设置初始作业状态部分，在评判阶段，由选手执请注意：任务中涉及的手动设置初始作业状态部分，在评判阶段，由选手执行相关手动操作。行相关手动操作。 完成任务二中任一任务后，即可以举手示意裁判进行评判！完成任务二中任一任务后，即可以
14、举手示意裁判进行评判！ 任务二任务二：移动操作单元人工智能技术应用移动操作单元人工智能技术应用 任务描述：根据任务书要求，通过人工智能技术赋能，完成移动操作单元（主要含 AGV/操作臂）的地图构建、自主避障、路径规划；通过控制协作机器人和视觉系统，在给定任务序列的条件下，完成仓库工件的取放任务。 （一）建立环境地图（一）建立环境地图 利用移动机器人地图建模软件控制其在竞赛单元场地运动，结合其自带的智能传感器，构建环境地图。在环境地图中设置导航点，完成移动机器人自主导航与移动。 具体包含的任务：具体包含的任务： （1）利用移动机器人地图建模软件，控制其在竞赛单元场地运动，构2021 年第二届全国
15、人工智能应用技术技能大赛-工业机器人人工智能技术应用赛项江苏省赛选拔赛 9 / 13 建环境地图。 （2）在环境地图中设置导航点，在“分拣及装配工作站”附近设置合理的导航点；在“V 型立体仓库”的箱体放置区一侧，设置合理的导航点；以及中间过渡导航点。 （3）测试移动机器人的自主导航功能，控制移动机器人从“V 型立体仓库”导航点自主移动至“分拣及装配工作站”导航点。 （二）目标物体的识别与抓取（二）目标物体的识别与抓取 对协作机器人及其末端安装的智能 2D 相机进行编程，完成对目标物体的识别与抓取。 初始作业状态设置：初始作业状态设置： 手动在“半成品箱体放置区”1 号仓位放置半成品箱体。 具体
16、包含的任务：具体包含的任务： （1）控制移动机器人从起始点自主移动至“V 型立体仓库”导航点。根据仓库中“半成品箱体放置区”和“成品箱体放置区”的仓位位置，对协作机器人进行示教编程， 使每个仓位均处于智能 2D 相机视野的合理位置。 （2）针对在“半成品箱体放置区”仓位中放置的半成品箱体，对智能2D 相机进行调试、编程，使其识别并输出箱体的位置。 （3）基于智能 2D 相机识别的结果，引导协作机器人实现对“半成品箱体放置区”1 号仓位半成品的抓取，然后，协作机器人将半成品箱体放置于“成品箱体放置区”3 号仓位。 请注意：任务中涉及的手动设置初始作业状态部分，在评判阶段，由选手执请注意：任务中涉
17、及的手动设置初始作业状态部分，在评判阶段，由选手执行相关手动操作。行相关手动操作。 （三）移动操作臂协同抓取工件（三）移动操作臂协同抓取工件 对由移动机器人、协作机器人组成的移动操作臂进行联合调试，首先控制移动机器人从指定位置向作业点自主移动，然后协作机器人与 2D 智能相机协作，完成目标工件的识别与抓取，最后移动操作臂将工件放置于指定作业点的工位上。 初始作业状态设置：初始作业状态设置： 2021 年第二届全国人工智能应用技术技能大赛-工业机器人人工智能技术应用赛项江苏省赛选拔赛 10 / 13 手动在“半成品箱体放置区”2 号仓位放置半成品箱体。 具体包含的任务：具体包含的任务： 编写程序
18、，实现如下功能： a）移动机器人从起始点自主移动至“V 型立体仓库”导航点，识别并抓取“半成品箱体放置区”2 号仓位上的半成品箱体； b）协作机器人将半成品箱体放置于移动操作臂台面的箱体缓存工位上； c）移动机器人自主移动至“分拣及装配工作站”导航点； d）利用 2D 智能相机识别“箱体旋转供料及装配台”的 1 号工位位置，引导协作机器人抓取半成品箱体，并放置于“箱体旋转供料及装配台”的 1号工位上。 请注意：任务中涉及的手动设置初始作业状态部分，在评判阶段，由选手执请注意：任务中涉及的手动设置初始作业状态部分，在评判阶段，由选手执行相关手动操作。行相关手动操作。 完成任务三中任一任务后，即可
19、以举手示意裁判进行评判！完成任务三中任一任务后，即可以举手示意裁判进行评判！ 任务三任务三：机器人人工智能技术综合应用机器人人工智能技术综合应用 任务描述：根据任务书要求，通过综合操作、编程和调试，对工业机器人、移动操作臂及智能机器人等单元进行智能化赋能和综合应用，在“机器人人工智能技术应用”技术平台上，实现典型智能制造工业场景的完整工艺流程，综合体现机器人智能感知、自动决策、自主执行、互联互通、深度学习、人机交互、自我管理等人工智能技术要素及其职业技能。 （一）各单元联机通讯（一）各单元联机通讯 基于技术平台各个单元的调试状态以及通信方式， 编写 PLC 主控程序，实现技术平台各单元的联机通
20、讯。 具体包含的任务：具体包含的任务： （1）编写 PLC 主控程序，配置主控单元与分拣及装配工作台的通信模块。 （2）编写 PLC 主控程序，配置主控单元与移动操作臂的通信模块。 2021 年第二届全国人工智能应用技术技能大赛-工业机器人人工智能技术应用赛项江苏省赛选拔赛 11 / 13 （二）测试主控对各个单元的控制（二）测试主控对各个单元的控制 编写 PLC 主控程序，实现主控系统分别对分拣及装配工作台、移动操作臂等单元的单独控制。通过主控系统发送任务启动指令，各个单元反馈状态信息。 具体包含的任务：具体包含的任务： （1）将分拣及装配工作站调试至准备状态，向 PLC 主控程序反馈“已处
21、于准备状态”的代码，并在触摸屏上显示。 （2）将移动操作臂调试至准备状态，向 PLC 主控程序反馈“已处于准备状态”的代码，并在触摸屏上显示。 （三）综合任务流程（三）综合任务流程 根据综合任务的作业流程，编写 PLC 主控程序，控制分拣及装配工作台、移动操作臂等单元相互协同作业，完成完整的作业任务，包括工件的识别、分拣、抓取、运输、装配等任务。 初始作业状态设置：初始作业状态设置： （1） 手动在 “分拣及装配工作台” 的物料盒中预先随机放置提供的 M6、M10 螺钉和 M6、M10 螺母，在“井式供料装置”中放置 4 个箱体端盖，清空“箱体旋转供料及装配台”、“二次定位装置”、“铆压机”上
22、的工件物料； （2）手动在立体仓库的半成品箱体放置区的 2 号和 3 号仓位放置半成品箱体。 具体包含的任务：具体包含的任务： 编写 PLC 主控程序，参考图 4 所示的总流程示意图，协调各个单元完成如下任务： （1） 移动操作臂单元将 2 号仓位半成品箱体运送至分拣及装配工作台，并放置于“箱体旋转供料及装配台”的 1 号工位； （2）分拣及装配工作台开始箱体的完整装配，即 M6、M10 螺钉和螺母双重锁紧； （3） 移动操作臂等待分拣及装配工作台完成 1 个成品箱体的完整装配，抓取成品箱体，放置于立体仓库中成品箱体放置区的 4 号仓位。 2021 年第二届全国人工智能应用技术技能大赛-工业机
23、器人人工智能技术应用赛项江苏省赛选拔赛 12 / 13 图 4 总流程示意图 请注意：任务中涉及的手动设置初始作业状态部分，在评判阶段，由选手执请注意：任务中涉及的手动设置初始作业状态部分，在评判阶段，由选手执行相关手动操作。行相关手动操作。 完成任务三中任一任务后，即可以举手示意裁判进行评判！完成任务三中任一任务后，即可以举手示意裁判进行评判！ 2021 年第二届全国人工智能应用技术技能大赛-工业机器人人工智能技术应用赛项江苏省赛选拔赛 13 / 13 二、本项目提供的文档和资料二、本项目提供的文档和资料 （一）原始数据：（一）原始数据： 提供硬件 I/O 配置表、智能机器人开发调试平台账号。 （二）文件目录：（二）文件目录： 竞赛过程和结束后选手将结果文件保存在相应的文件夹内。路径如下： D:2021ROBAI比赛结束保存全部比赛结果文件； 三、竞赛结束时当场提交的成果与资料三、竞赛结束时当场提交的成果与资料 竞赛结束时，参赛队须当场提交成果与资料： 将 D:2021ROBAI目录全部考入刻入大赛提供 1 个移动 U 盘， 封装后签上场次和工位号，并上交裁判。