实-虚结合的机械臂与数字孪生体协调控制

谢 曼1,王龙涛2,陈中尹1,胡绍林1

(1.广东石油化工学院 自动化学院, 广东 茂名 525000;2.西安理工大学 自动化与信息工程学院, 西安 710048)

摘要:为提升现有机械臂遥控、遥操作能力,克服操控精度受限等问题,结合数字孪生技术,提出了一种机械臂数字孪生体与机械臂实体之间虚-实协调控制的新方案。该方案以ESP32单片机作为控制核心,结合3D建模和打印技术构建机械臂整体结构,通过控制多个舵机实现其6自由度操作功能;基于Unity平台,开发了机械臂数字孪生体模型及相应的移动应用模块,建立起机械臂与数字孪生体间的信息交互数据链路,实现机械臂远程控制与数字孪生体间同步;通过跨平台三维场景的整合与融合,建立虚-实结合的协调控制模式,实现对机械臂的高效监控与精准控制。经单元测试、压力测试和综合功能测试和实例验证,结果表明,实体机械臂与数字孪生体能够实现有效的协调控制,完成细小物品抓取等基本操作,且跟踪响应曲线基本一致,证实了所建虚-实协调控制方案的有效性。

关键词:数字孪生;机械臂;协调控制;3D建模;远程监控;智能制造

0 引言

机械臂是一种具备类似人类手臂功能的机电一体化的系统,常用于执行搬运、组装、加工、检测和远程操控等任务[4]。近年来,在“工业4.0”推动下,全球制造业技术不断变革,智能制造逐渐成为主流趋势,机械臂的技术与应用因此受到国际国内广泛关注[2],并在航空、航天、军械、兵器、集成制造、工业生产、远程医疗等广泛领域有着广泛应用。国际国内有大量机械臂在太空探索、工业制造、排雷等高风险领域中发挥着关键作用的实例[5]

尽管机械臂在航空航天、兵器装备和智能制造等领域展现出广阔前景,但其发展面临多个挑战。首先,遥控精度制约了机械臂的操作准确性,运动误差导致任务无法精确完成,因此提升制造精度与优化控制算法成为关键瓶颈。其次,在应对非预设任务或环境变化时,机械臂自主处理能力不足,难以应对未知挑战。如何通过集成先进传感器、控制系统与人工智能算法,提升其环境感知、自主决策和智能化水平,是当前发展的重点难题。

近年来,数字孪生技术的出现和快速发展,为解决上述难题与挑战提供了可行的新思路[1]。例如,李传祥等通过构建供包机的数字孪生控制框架,对上包机导入段、加速度、上包段建立数字模型,结合机器人仿真平台搭建系统的动力学模型,从而实现上包时间点和上包位置的精准控制[6]。李震等建立基于数字孪生的虚拟同步机与静止同步补偿器协调控制模型,应对现实中协调控制通信延时问题,有效提高了协调控制效果[7]

数字孪生技术的引入,不仅能提升机械臂操控和控制的可视化和直观性,还可在虚拟环境中模拟其行为与性能,远程完成对机械臂的实验与分析,进而通过仿真优化其工作流程和安全性。该技术为复杂战场中的远程操控、危险物处理等高风险任务提供了更加安全、精准的解决方案,有助于大幅提升机械臂的操作效率与精确性,应用前景广泛,特别是在现代军事作战和应急救援中具备重要的技术价值。

基于此,本研究提出利用数字孪生技术构建机械臂的虚实结合协调控制系统,通过建立机械臂的数字孪生体模型,实现远程控制和监控,并建立实体与数字孪生体之间的数据交互通路和反馈机制,以解决现有机械臂在遥控、操控精度及智能化水平上的不足。

1 基于单片机的机械臂实体设计

考虑到机械臂是典型的机电一体化的智能装置,不仅结合了机械技术、电子技术、信息技术、传感器技术、接口技术、信号变换技术等多种技术,而且体现了机电一体化核心思想,是智能装备领域的典型代表,因此,在研究物理空间中物理实体与数字空间中数字孪生体之间的协调控制时,选用机械臂为对象,并从构建机械臂入手。

1.1 机械臂设计的总体思路

机械臂通常是由控制系统、传动系统、感应系统、执行机构等组成的多输入多输出、非线性、强耦合的复杂结构机电一体化物理实体。在本节中自主设计和搭建一个具备常规机械臂功能的实体机械臂,作为系统协调控制的基础,并在设计过程中配置合适的通信接口确保其具有完善的实时通讯功能,以便与数字孪生体进行高效的数据交互。

实体机械臂系统以ABB irb460开源桌面机械臂为设计基础,利用三维建模软件完成外观和结构设计,强调系统整体性和操作性能优化,系统实体设计流程图如图1所示。

图1 系统实体设计流程

Fig.1 Flowchart of system entity design

在机械臂实体设计过程中,采用增材制造和熔融沉积建模(fused deposition modeling,FDM)3D打印技术生产主干结构件,提高机械臂灵活性和速度,确保组件精度;通过自主设计底层驱动电路板,整合控制单元电路和电源转压电路,提升机械臂系统可维护性并为未来升级提供便利。

在此基础上,通过精确组装各个打印结构件、安装运动舵机和电路板,创建一个功能全面、操作简便、维护成本低的机械臂。

1.2 机械臂的电路及模型设计

为提高机械臂系统的可靠性并控制成本,本系统采用自主设计的模型和电路,包括主控单片机部分、运动舵机部分以及电路板设计等。电路板部分的设计,包括单片机最小系统、自动下载电路、电源转压电路和PCB布局设计。

在系统模型设计部分,选择SolidWorks软件作为建模环境,SolidWorks作为一款三维CAD软件,主要用于产品设计、工程和制造领域[13]。与其他CAD软件相比,SolidWorks 强大的参数化设计功能,使用户可以无需从头开始设计,极大地提高了设计效率和灵活性[14]

机械臂模型示意图如图2所示,涵盖多个关节和组件的协同工作,舵机负责控制机械臂的特定部分,使机械臂具有较高的灵活性和精确度,适用于执行多种任务。

图2 机械臂模型示意图

Fig.2 Schematic diagram of robotic arm model

该机械臂由固定基座、各轴舵机、链接件、夹爪和控制系统等基本部件组成。其中,以固定基座作为支撑,安装有旋转舵机,用于控制机械臂在水平面内的旋转,使其能够在不同位置进行作业;A轴舵机用于控制机械臂的上升或下降运动,即机械臂伸展或收缩的主要动作;B轴和C轴舵机负责机械臂折弯及伸展动作,使机械臂可以进行更为复杂的空间位置调整;夹爪舵机作为执行具体任务的执行部件,控制夹爪的开合,允许机械臂抓取或释放物体。

在运动舵机部分,以舵机尺寸和质量、旋转角度、电压电流、扭矩和速度、控制方式等为选择标准,选取MG996R舵机和SG90舵机为本设计的运动舵机,实物如图3所示。

图3 MG996R与SG90舵机

Fig.3 MG996R and SG90 servos

这两款舵机由金属齿轮构成,具备较高耐用性和扭矩,适合需要较高机械强度和可靠性的应用场合。

单片机ESP32最小系统设计,主要包括实现蓝牙无线通信功能的射频电路、复位电路和时钟电路,是微控制器应用的基础。设计的核心在于利用单片机的GPIO引脚来实现编程模式的自动触发,通过USB转串口模块CH340与PC相连,ESP32自动下载电路,实现程序的自动烧录。

设计电路板时预留串口模块和蓝牙模块,用于孪生体与实体机械臂间信息交互与协调控制,实体机械臂的状态数据(舵机旋转角度、位置等)通过串口传输至数字孪生体,实现虚拟模型与实体机械臂状态同步。Unity的数字孪生体通过串口向机械臂发送控制指令,实现虚-实双向的互动。蓝牙通信将APP的控制指令同时传输至物理机械臂和数字孪生体,确保二者动作的一致。这种双重通信机制(串口与蓝牙)有助于增强虚、实系统间同步性。

系统供电部分,由于TYPE-C接口提供的是5 V电压,而ESP32芯片正常工作需要3.3 V,为确保稳定的电源供应,设计了基于AMS1117稳压芯片的电源转压电路进行电压转换,并为其连接的外围设备提供了充足的电力。

在PCB布局设计时,考虑到机械臂内部紧凑的空间和复杂的结构,合理规划尺寸和设计形状,实现各单元合理布局,确保电路板能够无缝嵌入到机械臂内部,实现隐蔽安装和不妨碍机械臂的运动自由度以及外观流畅性。采用大面积敷铜以解决散热问题,保障系统的长期稳定运行。电路板设计实物图如图4所示。

图4 机械臂电路板

Fig.4 Crcuit board of robotic arm

机械臂的生成过程,采用增材制造的3D打印技术打印机械臂主干结构体、上述设计及焊接完成的电路板和舵机、转轴等零件进行装配,得到机械臂实体如图5所示。

图5 机械臂成品

Fig.5 Finished robotic arm

所有舵机的控制线汇集并通过机械臂本体引出,连接到控制板上,控制板通过接收到的指令来单独或协同控制各个舵机,从而实现复杂的多关节协调动作。这种设计的优势在于其高度模块化和可编程性,允许机械臂快速部署和灵活调整,适应不同的工作环境和要求。

1.3 控制单元的APP设计

为了满足智能制造不同领域对远程操作与精确控制的需求,设计一款控制实体机械臂与数字孪生体机械臂协调移动的APP。该APP的设计主要包括连接界面设计、控制界面设计和示教界面设计,并通过Android Studio平台实现。连接界面、控制界面和示教界面如图6所示。

图6 APP连接界面、控制界面与示教界面

Fig.6 APP connection interface,control interface and teaching interfaces

连接界面提供简洁明了的交互环境,使用户能够轻松搜索并连接蓝牙设备,只需一键点击所选设备,即可建立连接,便即刻进入控制界面,享受直观且流畅的操作体验。

控制界面使用户能轻松调节机械臂各轴的运动,不仅支持动作预存,还包含“一键回原点”的紧急安全功能。

示教模式设计,尽可能简化机械臂的操作,使用户通过一键操作来控制机械臂在空间中的6个自由度移动,包括上/下、左/右、前/后方向的运动。

2 机械臂系统数字孪生体设计

数字孪生体是一种精确复制实体物理系统的虚拟模型,模拟设备的实时状态,实现设备性能监测、问题诊断、预防维护和优化运营[10]。为实现虚拟空间孪生体与实体空间的协同,本节以机械臂为对象构建机械臂数字孪生体。

2.1 机械臂数字孪生体的总体设计

机械臂孪生体设计的总体思路是创建一个虚拟模型来模拟和镜像物理系统。孪生体设计的核心在于精确地捕捉机械臂的行为和特性,用孪生体准确反映机械臂物理状态。机械臂数字孪生体控制流程如图7所示。

图7 数字孪生体控制流程

Fig.7 Flowchart of digital twin control

2.2 基于Unity模型的控制单元设计

Unity平台作为一个功能强大的交互式体验开发引擎,有强大的3D渲染环境和具备创建复杂机械系统运动仿真的能力。因此,采用Unity平台的UI界面制作工具,创建与实际机械臂逼真的3D模型,不仅视觉上逼真,而且能够模拟真实的物理行为和机械运动。

基于Unity,建立外部系统与ESP32实时数据交换的数据链路,实现数字孪生机械臂实时反映物理机械臂状态和根据操作指令反向控制实际机械臂。Unity模型搭建操作界面如图8所示。

图8 Unity模型搭建操作界面

Fig.8 Unity model building interface

在模型控制方面,利用Canvas的Slider组件来实现对机械臂每个轴位置的实时控制。当用户通过滑动操作改变Slider的值时,用Unity中编写的C#脚本监听到这一变化,并通过编写的逻辑代码将Slider的值转换为机械臂的具体运动指令。Unity中的C#脚本实现监听串口数据与机械臂实体的实时通信。

使用手机APP发出的控制指令,首先被发送到机械臂实体执行相应动作,然后通过串口传输给Unity程序。

通过Unity的C#脚本监听串口数据并解析指令内容,根据解析结果更新3D模型的运动状态,实现对机械臂数字孪生体的控制。

此外,系统间还可通过蓝牙模块接收控制指令,进一步扩展控制指令的来源。模型不同运动状态如图9所示。

图9 控制模型不同运动状态

Fig.9 Different motion states of the control model

通过在仿真场景中配置铰链组件,实现机械臂构件间精确的运动连接。利用Unity引擎中父子物体的逻辑关系构建机械臂各铰链间零件的主从动运动关系。通过铰链间组件的Spring框架及其主要功能(如控制反转IOC和面向切面编程AOP),并调用Target Position属性来控制机械臂零件的转动和模拟机械臂关节的动态响应,使数字孪生体能够精确地复现实体机械臂的运动。

3 孪生体与机械臂间信息交互与协调控制

在智能制造领域,如何实现孪生体与机械臂间的信息交互与协调控制是数字孪生技术应用亟待解决的技术难题之一。为此,以建立虚拟空间与物理空间紧密连接为出发点,通过数据的实时传输与分析,实现对机械臂运行状态的监控、预测与优化控制。

3.1 虚-实机械臂系统双向信息交互

为实现数字空间机械臂和物理空间机械臂间的虚-实协调,采用蓝牙通信和串口通信2种方式实现上述2个空间的机械臂之间信息交互,以确保系统中各组件之间的数据传输稳定且高效。系统信息交互过程如图10所示。

图10 系统信息交互示意图

Fig.10 Schematic diagram of system information interaction

在图10中,ESP32的蓝牙功能主要用于数字机械臂与智能手机等移动装备之间的数据交换;Unity平台通过蓝牙模块实现数字孪生体与智能手机的无线连接;机械臂实体能够接收来自手机APP的控制指令,同时也可以将传感器数据发送到手机端。

具体实现时,蓝牙通信模块通过串口与ESP32连接,ESP32配置为蓝牙从设备(Slave),等待与手机APP建立连接。当连接成功后,手机APP可通过蓝牙发送控制指令,如启动、停止、调整机械臂角度等;ESP32接收到指令后,进行指令解析并执行相应的动作。ESP32不断采集机械臂状态数据,如关节角度、运动速度等,通过蓝牙实时发送到手机APP,供用户查看和分析。ESP32的串口通信功能用于确保与电脑端之间的稳定可靠的数据交换。

电脑端通过USB串口与ESP32连接,用标准串口通信协议进行数据传输。通过串口,电脑端可以发送控制指令给ESP32,例如,启动程序和执行特定任务等。

ESP32接收到指令后,解析指令并执行相应指令操作。同时,ESP32还承担将传感器实时实时数据以及系统状态通过串口发送回电脑端,实现双向通信和信息更新。

上述通信方式,有助于确保系统间数据传输的高效性和准确性,特别是在需要处理多通道数据或进行复杂指令传输时,串口通信的稳定性等优势十分明显。

3.2 虚-实机械臂系统底层协调控制

建立机械臂实体和数字孪生体之间的协调控制是一项复杂的系统工程,在智能装备数字孪生技术应用过程中是重要的和不可或缺的技术环节。

本研究以六自由度机械臂为对象,建立数字空间和物理空间2个机械臂之间的协调控制,通过研制负责管理和协调机械臂运动映射关系的各执行模块,以实现对物理空间机械臂的精确、高效控制。

对物理机械臂系统而言,主要被控对象为机械臂各轴舵机。具体控制器设计策略是以ESP核心控制板为核心,通过正逆运动学求解产生PWM信号来控制舵机的运动角度,实现机械臂的动作。ESP核心控制板的串口及蓝牙通信模块用于实时传输实体机械臂的状态信息,实现实体机械臂与机械臂数字孪生体的协调控制。图11为控制器设计示意图。

图11 控制器设计示意图

Fig.11 Schematic diagram of controller design

考虑到PWM作为在电子控制系统中广泛应用的技术途径,特点是可通过调节电信号的高低状态持续时间比例控制电路的功率输出,具体到本项目中,使用机械臂实体控制APP输入控制指令,ESP核心控制板通过计算,并在内部集成的PWM模块生成稳定的PWM控制信号,PWM信号由ESP控制板的GPIO端口输出至驱动电路,驱动电路根据PWM信号的占空比来调节输出电流和电压的持续时间和强度来控制舵机的运动角度,从而实现机械臂动作。例如,SG90舵机的PWM信号周期为20 ms,脉宽范围0.5~2.5 ms,对应舵机转动角度从0°到180°。对于MG996R舵机,因其高扭矩特性,本节采用更精确的脉宽控制来实现更精准的角度调整。

对于机械臂的运动控制,通过正逆解计算[19]方法实现从数字空间对物理空间机械臂的控制。其中,正解是根据机械臂各关节的位置和角度,计算夹爪位置和姿态;逆解作为机械臂运动控制中最为关键的步骤之一,其任务是在已知机械臂末端执行器(夹爪)的目标位置和姿态时,计算机械臂各个关节所需的角度(或位移),以使末端达到目标位姿。另外,分别在数字三维空间和物理三维空间,建立起三维空间坐标系,对于在本文中所提出的机械臂,可用下列运动学公式进行计算各轴旋转角度:

xe=LBCcos(θB)+LCDcos(θB+θC)

(1)

ye=LBCsin(θB)+LCDsin(θB+θC)

(2)

ze=dA+LBCsin(θA)+LCDsin(θB+θC)

(3)

其末端夹爪在三维坐标系中的目标坐标(xe,ye,ze)由3个轴关节角度θAθBθC和连杆长度LBCLCD以及底座高度dA来描述,通过反解各轴关节角度来控制机械臂的动作。

所谓协调控制(Coordinated Control),是指2个或多个动态体,它们共享信息或任务,相互协调和配合以实现一个共同的目标。在数字孪生体与物理机械臂的协调控制中,通过串口通信和蓝牙通信实时进行数据同步和信息共享,确保数字孪生体与物理实体的联动性。同时,系统通过建立闭环反馈机制,实时修正运动中的误差,进一步保证两者的动作同步性和控制精度,从而实现高效的动态响应与协调控制。基于上述分析,建立图12所示的协调控制逻辑,具体分为正向协调控制与反向协调控制。

图12 闭环反馈机制示意图

Fig.12 Schematic diagram of the closed-loop feedback

1) 正向协调控制

机械臂的正向协调控制逻辑包括:在数字孪生体中实时同步物理机械臂的运行状态,实现以实控虚;同时,建立反馈机制,达到虚实同步。

具体地,数字孪生体在与物理实体控制器建立通信连接的情况下,物理实体将逆解计算得到的各轴关节角度信息和夹爪运行状态位置等信息传输至数字孪生体中,Unity中的脚本用于监听和更新数字孪生体的运动状态。在利用数字孪生体动作后反馈的角度位置信息修正自身位置偏差的同时,将反馈信息传输至物理实体控制器模块,与物理实体自身反馈信息进行比较,修正物理实体位置偏差,提高物理实体控制精度。

2) 反向协调控制

机械臂的反向协调控制逻辑包括:在虚拟系统中控制数字孪生机械臂动作,并将指令下发至物理实体来实时同步数字孪生机械臂的运行状态,实现以虚控实,同时建立反馈机制,达到虚实同步。

通过操纵Unity中的滑杆来调节各轴关节角度从而控制孪生体动作,其控制指令中的角度信息通过实时通信传输至物理实体的ESP核心控制板中,用于产生PWM信号控制实体机械臂动作。同时,通过传感器数据采集模块检测实体机械臂动作后的位置姿态数据,用于修正自身位置偏差,并实时传输至数字孪生体,与数字孪生体的反馈信息进行对比,修正数字孪生体位置偏差,实现协调控制。

4 系统实验与结果分析

4.1 实验方案

在实验环境中配置物理机械臂和对应的数字孪生模型。物理机械臂硬件配置包括实体机械臂、电路板和数据处理系统,通过串口和蓝牙技术实现实时数据传输,确保物理机械臂与数字孪生模型之间的数据同步;在软件配置方面,利用Unity平台结合移动设备的实时操作功能,执行运动过程仿真和性能监测任务。

实验过程包括4个关键部分:机械臂单元实验、机械臂动作实验和机械臂系统综合实验以及虚-实协调过程跟踪响应性能实验。

4.2 单元实验

单元实验主要包括电路实验、物理机械臂实验和数字孪生体实验等,用于验证单个组件功能的正确性和可靠性。

电路实验:研制单片机运行和烧录功能,实验过程中,电路板通过连接电脑进行供电,并进行程序烧录以验证其功能。实验过程中,对电路板上的电压转换功能从5 V转换至3.3 V。电路功能测试结果如表1所示。

表1 电路功能实验测试结果

Table 1 Results of circuit function testing

序号实验名称实验方法实验结果1烧录功能连接电脑检测烧录成功2转压功能USB在线测试电压输出正常3控制舵机单片机输出PWM舵机运动

机械臂实验:对机械臂进行一系列手动操作,实验物理机械臂在不同方位精准运动,并与运动轨迹的计算值进行比对,分析二者一致性。实验过程包括机械臂运动平滑性和重复性的检查,检验运动的精度和控制系统的准确性。实体机械臂实验结果如表2所示。

表2 实体机械臂实验测试结果

Table 2 Results of physical robotic arm testing

序号实验名称实验方法实验结果1运动功能手动操作范围内运动正常2流畅度手动操作运动流畅不卡顿3精细度驱动到指定位置运动位置精确

数字孪生体和手机APP实验:测试重点包括评估数字孪生体的模拟精度和手机APP在控制操作时的响应速度与功能性,从而确保整个系统不仅理论上而且在实际应用中也能提供高效、精确的操作体验。孪生体机械臂实验结果如表3所示。

表3 孪生体机械臂实验测试结果

Table 3 Results of digital twin robotic arm testing

序号测试名称测试方法实验结果1运动实验控制孪生体运动孪生体精确运动2同步测试控制实体运动孪生体同步运动3App实验进行软件操控软件各功能正常

4.3 机械臂抓起力实验

抓起力实验是检验机械臂操作性能稳定性。在抓起力实验阶段,使用APP软件工具控制机械臂执行高精度抓取操作,如夹取细小物品并观察数字孪生体是否也进行相应运动,以此评估机械臂精细操作时的表现和验证数字孪生技术在模拟细致动作中的准确度。实验过程中,对机械臂进行了一系列强制控制实验,包括连续多次发送控制命令和多次复位操作,以测试其响应速度和执行准确性。

这些高强度操作测试实验旨在评估机械臂接受连续或重复指令时的稳定性和可靠性,实验结果如图13所示。

图13 压力测试夹取细小物体

Fig.13 Pressure test for clamping fine objects

为确保机械臂的性能,实验期间在其控制范围极限内进行了往返运动测试,即在最大和最小运动范围之间反复运动测试,结果显示机械臂能够检测潜在运行错误和动作精度,且与实际机械臂运动一致。测试结果见表4所示。

表4 抓起力实验测试结果

Table 4 Results of pressure testing

序号实验名称测试方法实验结果1抓取细小物品操控机械臂抓取细小物品抓取正常2强制控制连续多次发送控制命令指令正常3极限运动控制其在极限内的来回运动运动正常

4.4 综合性能实验

虚-实结合的机械臂系具体完成的综合性能实验包括上电初始化、通信接口连通性测试以及机械臂的实际运动性能评估等。

具体实验步骤,包括上电初始化实验、串口通信实验、蓝牙通信实验、运动实验和复位实验,目的是检验机械臂从启动到执行复杂任务整个过程的可靠性和精确性。实验测试结果如表5所示。

表5 集成功能测试实验结果

Table 5 Results of integrated functional testing

序号实验名称实验方法预期结果通过/失败1上电初始化上电运行初始化、连接正常2串口通信电脑端连接串口连接传输正常3蓝牙通信手机连蓝牙连接传输正常4位置运动改变位参实体与孪生体联动5机械臂复位点击复位实体与孪生体复位

另外,系统进入示教模式后,进一步测试了机械臂运动是否与控制操作一致,并监测了Unity界面上数字孪生体运动表现是否与物理机械臂同步。这一环节成功地检验了数字孪生体实时模拟能力和运动复现精度。相关集合功能测试如图14所示。

图14 集成功能测试

Fig.14 Integrated function testing

4.5 虚-实协调过程跟踪响应性能实验

虚-实环境下机械臂跟踪响应性能测试实验包括单舵机运动跟踪测试实验和机械臂协同运动跟踪测试实验2部分。

单舵机运动追踪响应过程的实验环节,采用MG996R舵机,在工作电压5 V的无负载情况下反应转速0.17 s/60°和负载不超过工作扭矩13 kg/cm的情况下,通过数据回传,测算3组数据:单舵机追踪的理论时间、实际追踪时间和孪生体追踪时间,结果如图15—图17所示。

图15 理论单舵机运动追踪曲线

Fig.15 Motion tracking curve of theoretical single servo

图16 实体单舵机运动追踪曲线

Fig.16 Motion tracking curve of solid single servo

图17 孪生体单舵机运动追踪曲线

Fig.17 Motion tracking curve of twin single servo

从图15—图17可以看出:舵机实体与孪生体均按预期时间运动,实体舵机因运动响应延时或摩擦力等原因存在微小误差,孪生体则无误差。

机械臂协同运动跟踪的实验环节,通过手机应用操作机械臂使实体机械臂与数字孪生体机械臂协同运动,获得机械臂整体运动时3个舵机共同运动不同角度实现的不同动作。给定多个机械臂运动角度信息,通过回传数据推算机械臂理论响应时间、实体追踪响应时间和孪生体的追踪响应时间,响应时间曲线如图18—图20所示。

图18 理论机械臂跟踪响应曲线

Fig.18 Tracking response curve of theoretical robotic arm

图19 实体机械臂跟踪响应曲线

Fig.19 Tracking response curve of solid robotic arm

图20 孪生体机械臂跟踪响应曲线

Fig.20 Tracking response curve of twin robotic arm

从图18—图20可以看出:机械臂实体与孪生体均按预期时间运动,理论机械臂跟踪响应曲线图、实体机械臂跟踪响应曲线图和孪生体机械臂跟踪响应曲线图基本一致,虽因信号传输延时等原因存在延时误差,但误差范围很小,响应速度能达到可接受程度,实现了两者间的协同运动,验证了虚-实结合系统协调控制的实时性。

实验结果表明,机械臂在执行高精度任务时表现稳定可靠,动作准确;在高强度和极端操作条件下,机械臂依然能够保持正常运行;机械臂不同组件协同工作展现良好的兼容性和效率,数字孪生模型能够以高的准确度同步物理机械臂状态变化,且虚-实机械臂之间有良好协调能力。

5 结论

1) 以数字孪生体与机械臂实体间虚实协同为主轴,在自主实现基于ESP32单片机和3D打印的机械臂实体的基础上,有针对性地研制了机械臂数字孪生模型,并开发用于控制机械臂数字孪生体的移动应用,验证了所建立数字孪生体的有效性。

2) 成功实现了基于数字孪生机械臂的远程数据监控和控制等功能,建立了实体与虚拟体之间的数据交互通路,并构建了实体空间机械臂与数字空间孪生机械臂的协调控制机制。通过反馈机制,保证了虚实结合协调控制的精确度,实验结果验证了该系统能满足预定目标,为复杂场景下实体机械臂感知、诊断、协调和管控提供了坚实基础。

参考文献:

[1] 张立师.三河闸工程运行管理数字孪生系统建设研究[J/OL].水利发展研究,2024[2024-07-29].http://kns.cnki.net/kcms/detail/11.4655.TV.20240612.1408.002.html. ZHANG Lishi.Research on the construction of digital twin system for operation and management of Sanhe lock project[J/OL].Water Resources Development Research,2024[2024-07-29].http://kns.cnki.net/kcms/detail/11.4655.TV.20240612.1408.002.html.

[2] BRATCHIKOV S,ABDULLIN A,DEMIDOVA L,et al.Development of digital twin for robotic arm[C]//2021 IEEE 19th international power electronics and motion control conference.Gliwice,Poland,2021:717-723.

[3] MATULIS M,HARVEY C.A robot arm digital twin utilising reinforcement learning[J].Computers &Graphics,2021,95:106-114.

[4] 杨乾熙.基于机械臂的工业生产自动化现状分析[J].内燃机与配件,2020,41(19):68-69. YANG Qianxi.Analysis of the current situation of industrial production automation based on robotic arm[J].Internal Combustion Engines and Accessories,2020,41(19):68-69.

[5] 王剑,李成刚,岳云双,等.面向航天器零部件装配的机械臂混合控制策略[J].航空科学技术,2022,33(2):90-96. WANG Jian,Li Chenggang,YUE Yunshuang,et al.Hybrid control strategy of robot arm for spacecraft component assembly[J].Aeronautical Science& Technology,2022,33(2):90-96.

[6] 李传祥,范丽,朱玉钢,等.供包机数字孪生控制方法研究[J].自动化与仪表,2024,39(5):137-142. LI Chuanxiang,FAN Li,ZHU Yugang,et al.Research on digital twin control method for bale feeder[J].Automation and Instrumentation,2024,39(5):137-142.

[7] 李震,李庆生,张裕,等.一种基于数字孪生的虚拟同步机与静止同步补偿器优化协调控制策略研究[J].智慧电力,2024,52(2):115-122. LI Zhen,LI Qingsheng,ZHANG Yu,et al.Research on an optimal coordination control strategy of virtual synchronous machine and static synchronous compensator based on digital twin[J].Intelligent Power,2024,52(2):115-122.

[8] 柳依何,顾继俊.基于Unity3D的维修机械手虚拟仿真系统[J].计算机技术与发展,2021,31(7):147-151. LIU Yihe,GU Jijun.Virtual simulation system of maintenance robot based on Unity3D[J].Computer Technology and Development,2021,31(7):147-151.

[9] 郭海祥,朱玲,姜健男.基于Unity3D的数字孪生机械臂抓取系统研究[J].齐齐哈尔大学学报(自然科学版),2024,40(2):33-39. GUO Haixiang,ZHU Ling,JIANG Jiannan.Research on digital twin robotic arm gripping system based on Unity3D[J].Journal of Qiqihar University (Natural Science Edition),2024,40(2):33-39.

[10] 牟奇杰,项阳,罗泽鑫,等.基于数字孪生的机械臂[J].物联网技术,2024,14(4):123-126. MOU Qijie,XIANG Yang,LUO Zexin,et al.Robotic arm based on digital twin[J].Internet of Things Technology,2024,14(4):123-126.

[11] PHILLIPS B T,BECKER K P,KURUMAYA S,et al.A dexterous,glove-based teleoperable low-power soft robotic arm for delicate deep-sea biological exploration[J].Scientific Reports,2018,8(1):14779.

[12] 丁萌.面向机械制造的产品数字化开发技术[J].农机使用与维修,2024(3):100-102. DING Meng.Digital product development technology for machinery manufacturing[J].Agricultural Machinery Use and Maintenance,2024(3):100-102.

[13] REINHARD LAUBENBACHER,FRED ADLER,GARY AN,et al.Toward mechanistic medical digital twins:some use cases in immunology[J].Frontiers in Digital Health,2024,6:1349595-1349595.

[14] 刘红军,邵泓斌.基于数字孪生的航空壁板制孔位置实时监控研究[J].机床与液压,2024,52(2):34-41. LIU Hongjun,SHAO Hongbin.Research on real-time monitoring of aerospace wall plate hole making position based on digital twin[J].Machine Tools and Hydraulics,2024,52(2):34-41.

[15] 张宇豪,庞辰骅,宋子韩,等.基于OpenMV的五自由度机械臂控制方法研究[J].机床与液压,2024,52(5):1-7. ZHANG Yuhang,PANG Chenhua,SONG Zihan,et al.Research on the control method of five-degree-of-freedom robotic arm based on OpenMV[J].Machine Tools and Hydraulics,2024,52(5):1-7.

Coordinated control of robotic arm and digital twin based on the combination of physical and virtual entities

XIE Man1, WANG Longtao2, CHEN Zhongyin1, HU Shaolin1

(1.School of Automation, Guangdong University of Petrochemical Technology, Maoming 525000, China;2.School of Automation and Information Engineering, Xi’an University of Technology, Xi’an 710048, China)

Abstract: In order to enhance the remote control and teleoperation capability of the existing robotic arm and overcome the problem of limited manipulation accuracy of the existing robotic arm, this study combines the digital twin technology and proposes a new scheme of virtual-real coordination control between the digital twin of the robotic arm and the robotic arm entity.The scheme takes ESP32 microcontroller as the control core, combines 3D modeling and printing technology to build the overall structure of the robotic arm, and realizes its 6-degree-of-freedom operation function by controlling multiple servos; based on the Unity platform, the model of the digital twin of the robotic arm and the corresponding mobile application module are developed, and the information interaction data link between the robotic arm and the digital twin is established to achieve the synchronization between remote control of the robotic arm and the digital twin; through the digital twin technology, the digital twin is synchronized with the digital twin.Through the integration and fusion of cross-platform 3D scenes, a coordinated control mode combining virtual and real is established to realize efficient monitoring and precise control of the robotic arm.Finally, after unit test, pressure test, comprehensive function test and example verification, the results show that the physical robotic arm and the digital twin can realize effective coordinated control, complete the basic operations such as grasping small items, and the tracking response curve is basically the same, which confirms the validity of the proposed virtual-real coordinated control scheme.

Key words digital twin; mechanical arm; coordinated control; 3D modeling; remote monitoring; intelligent manufacturing

收稿日期:2024-07-29;修回日期:2024-09-10;录用日期:2024-10-14

基金项目:国家自然科学基金项目(62373115);广东省自然科学基金项目(2024A1515010870)

作者简介:谢曼(1972—),女,硕士,讲师,E-mail:2971732775@qq.com。

通信作者:胡绍林(1964—),男,博士,教授,E-mail:hfkth@126.com、hfkth@gdupt.edu.cn。

doi: 10.11809/bqzbgcxb2024.11.031

本文引用格式:谢曼,王龙涛,陈中尹,等.实-虚结合的机械臂与数字孪生体协调控制[J].兵器装备工程学报,2024,45(11):243-252.

Citation format:XIE Man, WANG Longtao, CHEN Zhongyin, et al.Coordinated control of robotic arm and digital twin based on the combination of physical and virtual entities[J].Journal of Ordnance Equipment Engineering,2024,45(11):243-252.

中图分类号:TP241.2

文献标识码:A

文章编号:2096-2304(2024)11-0243-10

科学编辑 杨继森 博士(重庆理工大学 教授)

责任编辑 刘 洋