ucode舞台模式中的AI扩展模块支持可视化训练AI模型,在不直接编程的情况下,训练机器的学习,导出AI模型。
1.AI-通用 1.1打开设备摄像头 可直接在左侧AI拓展积木块区域直接打开设备摄像头 1.2加载AI模型 功能描述:下拉选项中含有物体识别,姿态识别,图像分割,涂鸦识别四个类别,当运行该积木时,加载所选择的AI模型,直到加载成功。 当前正在运行AI模型时,如果再次运行不同的AI模型,则释放当前运行的AI模型,加载新的AI模型; 当前正在运行AI模型时,如果再次运行相同的AI模型,则视为加载成功,无需再次加载模型; 当脚本结束运行时,自动释放当前AI模型; 程序范例: 1.3释放AI模型 功能描述:当运行该积木时,释放当前已加载的AI模型。 程序范例:
2.人像分割 2.1对角色造型进行人像分割 功能描述:本积木能够识别舞台上某一角色造型的**轮廓,将背景和人像分离开来,只保留基本人像。注意,本积木块通常只对那些有背景的人像图片生效。 工作原理:本积木使用的是开源机器学习模型bodyPix,它允许在uCode中对图像或者视频进行人像分割。在现实应用场景中,人像分割技术可用于抠图与美化,**特效,和影视后期处理。 程序范例:
运行效果预览: 2.2对视频进行实时人像分割 功能描述:本积木能够对视频流进行人像分割,将背景和人像分离开来,只保留基本人像。 工作原理:本积木使用的是开源机器学习模型bodyPix,它允许在uCode中对图像或者视频进行人像分割。在现实应用场景中,人像分割技术可用于抠图与美化,**特效,和影视后期处理。 编程范例: 3.姿态检测 3.1设置**姿态参数 功能描述:当运行该积木时,**姿态的节点/骨骼大小或粗细调节至所输入的数值大小,颜色以及参数将调至所选择的颜色 和数值。 程序范例:
3.2姿态选择 功能描述:当运行该积木时,在所设定的时间内对比所识别到的静态姿势和所选的姿势,返回True/False值 程序范例: 3.3识别当前结果 功能描述:返回动作与节点坐标点 程序范例: 3.4识别**部位节点与坐标 功能描述:当识别所选择的对应**部位节点时,返回对应的x/y坐标点数值;未识别到所选择的**节点时,不返回数值; 程序范例: 4.物体识别
4.1物体识别与对比 功能描述:打开物体选择窗口,选择指定物体,允许多选识别物体,当所有选项被选中时,则取消选择当前分组的所有选项
当运行该积木时,在所设定的时间内对物体进行识别和对比并返回True/False值 程序范例: 4.2物体的置信度 功能描述:识别物体的精确度
程序范例: 4.3物体识别结果 功能描述:返回识别到的获取数据集中所存在的识别物字段 如果存在多个识别结果返回,则仅返回置信度最高,且置信度>0.3的物体结果字段 如果所有识别结果置信度均<0.3,则返回【无结果】字段。 程序范例: 4.4识别指定物体的x/y中心坐标点 功能描述:如果存在多个识别结果返回,则仅返回置信度最高,且置信度>0.3的物体结果字段 如果所有识别结果置信度均<0.3,则不返回字段。 程序范例: 5.涂鸦识别 5.1打开涂鸦画板 功能描述:当执行到该积木时,打开涂鸦画板 如果当前正在运行涂鸦识别AI模型,则每次按下鼠标后就会向涂鸦模型发送一次画板上的绘图,并获取识别结果 程序范例: 5.2识别到涂鸦为 功能描述:此积木将打开涂鸦选择窗口 当运行该积木时,对比涂鸦画板发送的结果和所选的涂鸦选项,返回True或False值 程序范例: 5.3识别涂鸦结果 功能描述:返回识别到的获取数据集中所存在的涂鸦字段 如果存在多个识别结果返回,则仅返回置信度最高,且置信度>0.3的涂鸦结果字段 如果所有识别结果置信度均<0.3,则返回【无结果】字段。 程序范例: 5.4涂鸦识别置信度 功能描述:涂鸦识别的精确度 程序范例: 6.视频绘图 6.1显示 / 隐藏AI识别物的结果信息 功能描述:显示/隐藏,所需要显示的信息参数 可显示的信息参数:识别框 ID标签:识别到对象的ID,如人脸ID,物体ID等 识别结果标签:识别到置信度最高的结果,如小明(注册人脸识别结果),dog(物体识别结果), sad(情绪识别结果); 置信度:当前识别到的结果的置信度信息,范围为0-1,保留小数点后两位; 姿态骨骼; 程序范例: 6.2绘制回传视频中的距离
功能描述:提供坐标信息后,在视频中用实现绘制两个坐标之间的距离,并在线段中心点显示线段之间的距离 显示参数信息:显示/隐藏视频回传中坐标点之间的线段 可嵌入积木括号,允许输入任何文本字段信息,字数上限不限,可为空 显示/隐藏线段上放的数值及单位。 程序范例:
7.自定义AI训练 7.1自定义训练识别 功能描述:打开自定义训练识别窗口的同时摄像头将同步开启 7.2训练模型 功能描述:用户可以通过此窗口上传图像或是拍照来自定义训练识别模型,目前支持图像分类和姿势识别 7.3对实时视频预测结果 程序范例: 7.4模型对类的置信度 功能描述:模型对类的识别精确度 程序范例: 7.5实时视频的侦测结果
功能描述:模型对实时视频侦测的结果为哪一个类 程序范例:
|