Method for Generating Cyclic Gait of Biped Robots Based on LSTM Neural Network
-
摘要:
为了解决Kinect视野限制仿人机器人不能对人体步行动作进行长时间模仿的问题，提出基于长短期记忆（long short-term memory，LSTM）神经网络预测模型生成仿人机器人的循环步态的方法.通过Kinect多次采集人体步行时各个关节角度的一维时间序列，经仿人机器人步态平衡模型得到仿人机器人的关节角度驱动序列.使用C-C方法确定时间序列的时间延迟和嵌入维数，对关节角度序列进行相空间重构，获取时间序列的更多特征值对基于LSTM神经网络搭建的关节角度预测模型训练，并通过其生成多个步态周期的关节角度序列.使用生成的序列在WEBOTS平台中驱动仿人机器人NAO完成多个步态周期的步行动作.该方法有效解决体感摄影机视野限制问题，使仿人机器人能完成多个步态周期的步行模仿动作.
Abstract:To solve the problem that the Kinect field of view cannot simulate the human body walking for a long time, a method based on the long short-term memory (LSTM) neural network prediction model to generating the cyclic gait of the humanoid robot was proposed. The one-dimensional time series of each joint angle was collected by Kinect when the human body walked, and the joint angle driving sequence of the humanoid robot was obtained through the humanoid gait balance model. The C-C method was used to determine the time delay and embedding dimension of the time series, and the phase space reconstruction of the joint angle sequence was used to obtain more eigenvalues of the time series. The joint angle prediction model based on the LSTM neural network was trained and passed by generating a sequence of joint angles for multiple gait cycles. Finally, the generated sequence was used to drive the NAO on WEBOTS platform to complete the walking motion of multiple gait cycles. This method effectively solves the problem of the visual field limitation of the somatosensory camera, enables the humanoid robot to complete the walking simulation of multiple gait cycles.
-
双足机器人相较于轮式机器人具有良好的环境适应性且因其具有类人的结构可以代替人类在危险、复杂的场景中工作.因此双足机器人被广泛应用在抢险救灾、生活服务等场景下.但因其双足式结构的不稳定性在移动时易产生晃动甚至摔倒等问题，在双足机器人研究领域中，循环步态规划使机器人能完成长时间稳态步行，因而成为该领域中主要的研究方向之一.
人类在完成一系列步行动作时的平衡性好且能长时间稳定步行，其姿态、各个关节的角度、零力矩点(zero moment point，ZMP)等数据均被认为最优.因此，模仿人体步行动作的方式被广泛使用到仿人机器人的步态规划中.目前，人体步行的示教数据大多采用体感摄影机(如Kinect、Wil)的方式采集[1-3]，但这种方式受到拍摄视野的限制，无法采集多个步态周期的人体示教数据.在机器人完成长时间的步行动作时由多个单步态周期循环(或拼接)得到的关节角度序列会使机器人在运动过程中出现震动或摔倒的情况.因此，双足机器人的循环步态规划是机器人完成长时间稳态步行任务的基础.左国玉等[4]将仿袋鼠机器人简化为倒立摆模型，并使用混合粒子群算法优化线性二次型完成机器人的站立平衡控制，但其模型简单，迁移至仿人机器人中不能保证机器人动作的拟人性；Ibrahim等[5]通过对人体步行过程中单脚支撑(single support phase，SSP)和双脚支撑(double support phase，DSP)2个关键过程的分析(通过Kinect采集示教数据)以及反馈线性化的方式，使用多项式拟合关节角度轨迹函数的方式完成双足机器人的步态循环，但由于线性拟合在SSP和DSP过程中会出现拟合误差大，导致机器人产生晃动的问题；Kao-Shing等[6]利用强化学习的方式学习Kinect体感采集器捕捉的人体步行动作的关键帧，完成各个关节角度的规划，使仿人机器人实现长时间稳定步行，但是由于其采取的是无监督的强化学习的方法，步行动作的自然性和拟人性有所不足.因此，需采取模仿精度更高的循环步态规划方法使双足机器人完成步行任务.由于人体在步行运动过程中的关节角度序列是时间序列，考虑通过采集多个单个人体步态周期的时间序列数据并对其进行学习，对时间序列进行多个步态周期的准确预测实现双足机器人的步态循环.长短期记忆(long short-term memory，LSTM)网络由Sepp等[7]提出，解决了传统时间序列预测工具循环神经网络(recurrent neural network，RNN)的梯度消失和梯度爆炸问题，因此可以对RNN无法预测10个以上时间点的序列进行准确预测[8-9]. Wang等[10]利用2个LSTM神经网络分别完成对人体运动的识别和预测生成；Chellali等[11]利用LSTM神经网络对仿人机器人上肢各个关节的位置进行预测，进而对上肢动作姿态预测，完成“拍手游戏”; Dickson等[12]使用LSTM神经网络对6个动作进行上肢10个关节角度的联合学习和分类模仿.
从目前的研究现状可以看出，虽然体感摄影机Kinect受到视野限制出现采集示教数据不充足的问题, 但其成本较低且Kinect-V2所采集的25个骨骼点信息，能充分满足一般仿人机器人(如NAO机器人)的自由度控制要求，因此若可解决示教数据不足的问题，Kinect仍是一种能有效采集人体动作示教数据的方式，依然可以在模仿学习的领域被研究和应用.
本文考虑通过LSTM神经网络预测生成多个步态周期的仿人机器人步行关节角度序列，从而得到仿人机器人的循环步态.首先，通过Kinect体感采集器获取多次人体步行动作的时间序列数据，并经拼接和平滑处理过后，得到原始样本集.其次，由于初始样本集为一维时间序列，但仿人机器人在步行时各个关节受多种因素影响，因此只通过目标值对关节角度序列进行长时间预测，序列的细节很难被学习，且精确度不足.通过C-C方法得到相空间重构的时间延迟和嵌入维数，进行相空间重构，可得到一维关节角度序列的多维特征值，与目标值一起构成样本集，可明显提升关节角度预测的准确性.最后，使用此样本集对基于LSTM神经网络的仿人机器人步行动作关节序列预测模型进行训练，使其预测生成多个步态周期的关节角度时间序列.
1. 基于相空间重构的示教数据预处理
Kinect-V2是一款成本较低的人机交互设备，所采集的人体步行动作的示教信息可以很好地满足仿人机器人的自由度控制要求(Kinect：25个，仿人机器人：20~25个)，但由于其视野有限，对于人体步行动作(同一个示教者，步幅相同，步态周期相同)只能采集1.0~1.5个步态周期的示教数据.考虑采集多次人体步行示教数据，经过仿人机器人步态平衡模型映射，并使用拼接平滑的方式(直接循环)进行仿人机器人步态循环，但由于这种方法存在2次采集过渡阶段关节角度序列出现震荡的问题，因此，需要对关节角度序列进行预测生成来解决此问题.考虑通过上述直接循环得到的关节角度序列作为初始样本集，但直接使用它作为样本集进行预测，由于只有目标值无其他特征值，预测精度不足以控制仿人机器人完成长时间稳定步行动作，因此，利用相空间重构的方法获取样本的更多特征值，以提高预测模型的精度.
1.1 多次人体示教数据采集
使用Kinect 2.0在其视野范围内对人体的步行动作进行捕捉，得到人体全身25个骨骼点的轨迹，并记录其三维坐标(x，y，z).由于Kinect是一款非专业的体感摄影机，因此需要对其记录的骨骼点轨迹进行平滑处理.通过空间向量法对人体骨骼点进行计算得到示教步行动作的各个关节角度的时间序列.利用先前的研究成果[13]可以直接泛化得到使仿人机器人NAO稳定步行的关节驱动角度序列.将得到的多次采集的示教数据进行映射泛化, 获取机器人驱动关节角度进行拼接并平滑处理得到的关节角度，以在步行过程中对平衡性影响最大的髋关节俯仰角和踝关节滚动角为例，见图 1、2.
从图 2中可以看出，虽然直接拼接并进行平滑处理的方法可以得到多个步态周期循环的关节角度序列，然而在拼接处(红圈标注)会出现明显的震荡.由于采集2次示教数据时，第1次采集的终止点非下一次的起始点，因此使用这样的关节角度序列驱动仿人机器人完成步行动作容易令机器人在拼接处出现晃动甚至摔倒的现象.因此要使仿人机器人完成长时间的稳定步行，需对关节角度序列进行预测并解决相邻2次数据采集过渡处的波动问题.
1.2 基于相空间重构的数据预处理
关节角度序列本身受无奇异位姿、ZMP判据、运动协调关系和关节角度范围等多种因素影响，采集到的仿人机器人步行关节角度时间序列是一维时间序列.
$$ \begin{array}{*{20}{l}} {{x_1} = \{ {x_1}(1),{x_1}(2), \cdots ,{x_1}(500)\} }\\ {{x_2} = \{ {x_2}(1),{x_2}(2), \cdots ,{x_2}(500)\} } \end{array} $$ (1) 式中：x1为图 1中仿人机器人在行走时直接循环左脚踝关节滚动角的时间序列；x2为图 2中的仿人机器人在行走时直接循环左腿髋关节时间序列(分别有500个时间步骤).因此在对关节角度进行预测之前，需要对该关节角度的一维时间序列进行逆推即相空间重构的预处理，从而得到关节角度序列的其他特征值，提高模型预测准确性.
根据相空间重构理论[13]的嵌入定理可知，对一维时间序列(Kinect采集的仿人机器人步行动作的关节角度数据即为一维时间序列)嵌入合适的维数m和时间延迟τ，重构后的相空间与原系统具有相同的动力学结构.
由于m和τ具有较强的关联性，二者的选择不应相互独立，且m和τ的确定很大程度上影响了之后模型预测的准确度，一般采用C-C方法[14]来同时计算合适的嵌入维数和时间延迟，首先定义关联积分
$$ \begin{array}{l} {C_s}(m,N,r,t) = \frac{2}{{M(M - 1)}}\sum\limits_{1 \le i \le j \le M} f (r - \left\| {{X_i} - {X_j}} \right\|)\\ {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} f(x) = \left\{ {\begin{array}{*{20}{l}} {1,}&{x \ge 0}\\ {0,}&{x < 0} \end{array}} \right. \end{array} $$ (2) 式中：N为关节角度序列长度即500；M=N-(m-1)t是相空间重构后相空间中的状态点的个数；t为子序列个数；s为序列标号.
C-C方法的本质[15]是计算嵌入维数m后与原序列的差值并求得最小值(最小化重构后的多维序列的关联性和原序列的关联性的差异).从而求得最佳的嵌入维数m和时间延迟τ，具体步骤为：
将仿人机器人的步行动作关节角度序列分为t个子序列，表达式为
$$ \begin{array}{*{20}{l}} {\{ x(1),x(1 + t), \cdots ,x(1 + (m - 1)t)\} }\\ {\{ x(2),x(2 + t), \cdots ,x(2 + (m - 1)t)\} }\\ \vdots \\ {\{ x(t),x(2t), \cdots ,x(mt)\} } \end{array} $$ (3) 定义目标函数
$$ \begin{array}{*{20}{c}} {S(m,N,r,t) = }\\ {\frac{1}{t}\sum\limits_{s = 1}^t {{C_s}} (m,N/t,r,t) - {C_s}(1,N/t,r,t)} \end{array} $$ (4) 定义差量
$$ \begin{array}{*{20}{c}} {\Delta S(m,N,r,t) = }\\ {\max \{ S(m,N,r,t)\} - \min \{ S(m,N,r,t)\} } \end{array} $$ (5) 该量度量了关于半径r的最大偏差，它的最小值对应了S的零点(由于实际的时间序列有限长，各个子序列非独立同分布，因此实际求取到的S难以求得对所有半径r的零点及它们所对应的m和τ).
$$ \begin{array}{*{20}{c}} {\bar S(t) = \frac{1}{{16}}\sum\limits_{m = 2}^5 {\sum\limits_{i = 1}^4 S } (m,N,r,t)}\\ {\Delta \bar S(t) = \frac{1}{4}\sum\limits_{m = 2}^5 \Delta S(m,N,r,t)}\\ {{S_{{\rm{cor}}}}(t) = \Delta \bar S(t) + |\bar S(t)|} \end{array} $$ (6) 计算公式(6)中的S(t)的第1个零点，ΔS(t)的第1个极小值和Scor的最小值，确定最佳的嵌入维数m和时间延迟τ.根据BDS统计结论，一般取$ m = 2, 3, 4, 5;r = \frac{{i\sigma }}{2}, i = 1, 2, 3, 4 $，其中σ为一个极小量.针对仿人机器人步行动作关节序列特征值不足的问题，以左脚踝关节滚动角和左腿髋关节俯仰角为例，使用C-C方法对关节角度序列进行寻优，寻优过程如图 3、4所示.
![]()
图 3 使用C-C方法踝关节序列寻优m和τ过程图Figure 3. Process of finding the optimal m and τ using C-C method ankle roll joint sequence![]()
图 4 使用C-C方法髋关节序列寻最优m和τ过程Figure 4. Process of finding the optimal m and τ using C-C method hip pitch joint sequence从图 3、4中可以看出样本集中关节角度时间序列的S(t)的第1个零点，ΔS(t)的第1个极小值和Scor的最小值均分别在时间延迟τ为4和8处，且根据人形机器人结构，踝关节滚动关节和髋关节关节有4个关节角度较强耦合，即4个影响因素，结合目标值的1维时间序列，因此选择m=5.仿人机器人其余关节角度均使用该方法获得对应的m和τ，时间延迟τ和嵌入维数m根据不同的关节角度有所不同.
通过C-C方法，确定关节角度序列的m和τ后，可以完成仿人机器人步行动作关节角度的1维时间序列进行相空间重构，从而得到5维的时间序列，其中1维是关节角度的目标值，剩余4维是重构后的特征，踝关节重构的相空间表达式为
$$ \begin{array}{*{20}{l}} {{Y_1}({t_i}) = x({t_i}),x({t_i} + 4),x({t_i} + 8), \cdots ,}\\ {{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} x({t_i} + 20),i = 1,2, \cdots } \end{array} $$ (7) 髋关节重构后的相空间表达式为
$$ \begin{array}{*{20}{l}} {{Y_2}({t_i}) = x({t_i}),x({t_i} + 8),x({t_i} + 16), \cdots ,}\\ {{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} x({t_i} + 40),i = 1,2, \cdots } \end{array} $$ (8) 式中Y(ti)为m维相空间的第i个相点.
相空间重构后的5维时间序列构成最终样本集，对时间预测模型进行训练，由于特征增多可以明显提升模型预测精度.
2. 仿人机器人步行动作关节角度序列预测模型的建立
获取仿人机器人步行动作的关节角度序列及其特征序列构成的样本集后，搭建结构合理、精度较高且能预测多个时间步骤(长时间)的关节角度序列的模型成为使仿人机器人能够完成长时间平稳步行的主要问题，对关节角度序列的长时间准确预测可以解决直接循环方法在2次采集过渡阶段出现的不平滑而使机器人在动作中出现晃动和摔倒的问题.
2.1 LSTM神经网络的基本原理
LSTM神经网络解决了RNN梯度消失和梯度爆炸的问题，使该结构的神经网络能学习到时间序列的长期依赖，其神经元结构见图 5.
其中，遗忘门的结构表达式为
$$ {\mathit{\boldsymbol{f}}_t} = \sigma ({\mathit{\boldsymbol{W}}_f} \cdot ([{\mathit{\boldsymbol{h}}_{t - 1}},{\mathit{\boldsymbol{x}}_t}] + {\mathit{\boldsymbol{b}}_f})) $$ (9) 式中：σ为sigmoid函数；Wf为遗忘门权值；bf为遗忘门偏置.该结构可以决定上一个细胞状态中的信息传递到当前细胞状态中的数量.更新后的细胞状态Ct，中间细胞状态$ {\boldsymbol{\overline C }_t} $分别为
$$ {{{\mathit{\boldsymbol{\bar C}}}_t} = {\rm{tanh}}({\mathit{\boldsymbol{W}}_{\rm{c}}} \cdot [{\mathit{\boldsymbol{h}}_{t - 1}},{\mathit{\boldsymbol{x}}_t}] + {\mathit{\boldsymbol{b}}_{\rm{c}}})} $$ (10) $$ {{\mathit{\boldsymbol{C}}_t} = {\mathit{\boldsymbol{f}}_t} \cdot {\mathit{\boldsymbol{C}}_{t - 1}} + {\mathit{\boldsymbol{i}}_t} \cdot {{\mathit{\boldsymbol{\bar C}}}_t}} $$ (11) 式中：Wc为细胞状态权值；bc为细胞状态偏置；it为输入门的输出；ht为LSTM神经元输出.
细胞状态和遗忘门结构的引进，解决了传统RNN的梯度消失和爆炸问题.这样的前向结构是LSTM神经网络对多维时间序列的前后关系进行学习的必要条件.
由于仿人机器人步行动作关节角度序列需要精准控制，希望LSTM神经网络尽可能准确地生成多个步态周期的关节角度时间序列(但不能过拟合导致学习到过渡阶段的波动).而预测序列的准确性则是由训练神经网络时的误差随时间反向传播机制决定.
因此定义神经网络的目标函数为误差函数E，定义
$$ \mathit{\boldsymbol{E}} = {\mathit{\boldsymbol{h}}_t} - {\mathit{\boldsymbol{y}}_t} $$ (12) 式中yt为样本集中序列的真实值.
根据LSTM神经网络的前向结构可知，在LSTM层误差随时间往回传播，定义偏差$ {\boldsymbol{\delta} _t} = \frac{{\partial \boldsymbol{E}}}{{\partial {\boldsymbol{h}_t}}} $，由ht的定义$ {\boldsymbol{h}_t} = \sigma {\boldsymbol{o}_t} \cdot \tanh \;{\boldsymbol{C}_t} $可知$ {\boldsymbol{\delta} _{{\boldsymbol{o}_t}}} = {\boldsymbol{\delta} _{{\boldsymbol{h}_t}}} \cdot \tanh \;{\boldsymbol{C}_t} $，再由细胞状态的定义可知，它包含了每个时间点的信息，因此$ {\boldsymbol{\delta} _{{\boldsymbol{c}_t}}} $随时间累加，故$ {\boldsymbol{\delta} _{{\boldsymbol{c}_t}}} = {\boldsymbol{\delta} _{{\boldsymbol{c}_t}}} + {\boldsymbol{\delta} _{{\boldsymbol{h}_t}}} \cdot {\boldsymbol{o}_t} \cdot \left( {1 - {{\tanh }^2}{\boldsymbol{C}_t}} \right) $，通过式(9)可以得到其他各个门结构及细胞状态(当前及之前)的偏差
$$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{i}}_t}}} = {\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{c}}_t}}} \cdot {{\mathit{\boldsymbol{\bar C}}}_t}}\\ {{\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{f}}_t}}} = {\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{c}}_t}}} \cdot {\mathit{\boldsymbol{C}}_{t - 1}}}\\ {{\mathit{\boldsymbol{\delta }}_{{{\mathit{\boldsymbol{\bar C}}}_t}}} = {\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{C}}_t}}} \cdot {\mathit{\boldsymbol{i}}_t}}\\ {{\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{C}}_{t - 1}}}} = {\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{C}}_t}}} \cdot {\mathit{\boldsymbol{f}}_t}} \end{array} $$ (13) 得到各个门结构及细胞状态各个时刻的偏差后，可以根据其定义，得到各个权重的偏差
$$ \left[ {\begin{array}{*{20}{l}} {{\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{W}}_f}}}}\\ {{\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{W}}_i}}}}\\ {{\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{W}}_o}}}}\\ {{\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{W}}_c}}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{f}}_t}}} \cdot {\mathit{\boldsymbol{f}}_t} \cdot (1 - {\mathit{\boldsymbol{f}}_t})}\\ {{\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{i}}_t}}} \cdot {\mathit{\boldsymbol{i}}_t} \cdot (1 - {\mathit{\boldsymbol{i}}_t})}\\ {{\mathit{\boldsymbol{\delta }}_{{\mathit{\boldsymbol{o}}_t}}} \cdot {\mathit{\boldsymbol{o}}_t} \cdot (1 - {\mathit{\boldsymbol{o}}_t})}\\ {{\mathit{\boldsymbol{\delta }}_{{{\mathit{\boldsymbol{\bar C}}}_t}}} \cdot {{(1 - {\mathit{\boldsymbol{C}}_t})}^2}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{h}}_{t - 1}}}\\ {{\mathit{\boldsymbol{x}}_t}} \end{array}} \right] $$ (14) 通过上述误差往回传播的方法可以使LSTM在训练过程中通过自己预测的值与真实值之间的偏差去更新权值，使网络可以精准地学习时间序列并进行预测.
2.2 基于LSTM神经网络的仿人机器人步行动作关节角度序列预测模型
针对仿人机器人步行动作关节角度序列的预测问题，LSTM神经网络可以学习关节角度时间序列的各种特征，并根据这些特征对关节角度序列做出多个时间步骤的预测，从而实现仿人机器人步态循环的目的.
LSTM神经网络是通过分析时间序列的前后关系的原理对序列进行预测的.因此对于类似股价这样无周期性规律的时间序列预测效果并不理想.从图 1、2中可以看出，仿人机器人在步行时，关节角度曲线呈现明显周期性.因此，对于步行动作的关节角度序列，经过1个周期以上的样本的训练，在预测时LSTM网络可以准确预测生成出多个步态周期的关节角度序列.除周期性外，关节角度序列的前后关系明显，在进行预测时也能够提升网络的预测效果，且预测生成的序列利用神经网络的泛化能力，忽略了在2次测量过渡阶段的抖动.基于以上3点，使用LSTM神经网络进行关节角度序列的预测，可以保证仿人机器人在平地能进行平稳、长时间步行.
由1.2节的内容可知，仿人机器人关节角度的1维时间序列通过相空间重构后得到5维的关节角度序列，即2.1节中时间序列的xt，并结合步行动作的关节角度的目标值即2.1节中样本集的真实值yt，构成LSTM神经网络的样本集，并通过该样本集训练仿人机器人步行动作关节角度序列预测模型，使之能完成关节角度的预测任务.
分别以单层、双层、三层的LSTM层数及每层不同的神经元的网络结构预测仿人机器人步行动作的关节角度序列，其实验结果如表 1所示.
表 1 不同结构的LSTM预测仿人机器人步行动作关节角度误差对比Table 1. Comparison of joint angle errors of different structures of LSTM in predicting walking motion of humanoid robot网络层数及每层神经元数量 均方误差 踝关节滚动角 髋关节俯仰角 单层(100神经元) 0.010 0 0.002 30 单层(200神经元) 0.004 1 0.001 20 单层(300神经元) 0.002 6 0.000 87 双层(100神经元) 0.008 2 0.002 10 双层(200神经元) 0.002 7 0.000 83 双层(300神经元) 0.002 2 0.000 78 三层(100神经元) 0.005 7 0.001 60 三层(200神经元) 0.003 2 0.001 10 三层(300神经元) 0.001 8 0.000 89 从表 1中可以看出，使用LSTM神经网络预测仿人机器人步行动作关节角度序列时，网络层数为2时误差最小，准确度最高，且随每层神经元数量的增加，预测精度明显提高.但在实验中发现，在每层神经元数量增加到300及以上时，会出现过拟合现象，见图 6.因此，仿人机器人步行动作关节角度序列预测模型选取的LSTM神经网络结构为：每层200个神经元的两层网络.
在每层LSTM层后加入Dropout层有效起到了防止过拟合的作用.误差过大会导致各个关节角度之间不能协同动作，导致机器人在步行时出现动作不协调、晃动摔倒的现象.而过拟合则会将样本集拼接处的特征也学习到，这样生成的关节角度序列就失去了意义(与样本集拼接的方式无差异).
训练优化算法为Adam算法，它结合了适应梯度算法(为每一个参数保留一个学习率)和均方根传播(将每一个参数的学习率进行自适应)的特性，计算梯度的指数移动指数，既控制过拟合现象的发生又增加网络预测序列的准确性.损失函数为MSE函数(均方误差函数)与权重衰减项的组合. MSE函数提高预测的准确性，加入权重衰减项则是防止了过拟合现象的发生，其整体结构如图 7所示.
![]()
图 7 用于仿人机器人步行动作关节角度序列预测的LSTM神经网结构图Figure 7. LSTM neural network structure diagram for biped robot walking motion joint angle sequence prediction经上述过程构建出的仿人机器人步行动作关节角度预测模型，经过示教数据的训练，可准确预测仿人机器人多个步态周期的步行动作关节角度，驱动仿人机器人完成长期稳定的步行动作，实现仿人机器人的步态循环.
3. 实验和结果分析
为了验证上述方法的有效性，设计实验步骤和环境如下：
1) 使用Kinect多次采集人体步行动的示教数据并利用仿人机器人步态平衡模型泛化出仿人机器人的步行关节角度序列数据，并将多次采集泛化得到的机器人关节角度序列进行拼接和平滑处理，得到各个关节角度序列的原始样本集.
2) 使用相空间重构的方法对原始样本集进行进一步预处理，从原始样本集的1维机器人步行动作的关节角度时间序列中提取更多特征值，构成最终的样本集.
3) 用样本集中的5维时间序列(第1列为关节角度序列的目标值，其余4列为相空间重构后得到的特征值)对搭建好的LSTM神经网络进行20个时期的训练，并在训练完成后，对之后的多个步态周期的关节角度序列进行预测.
4) 将本文方法和不经过相空间重构的方法以及单层LSTM神经网络、三层神经网络(多层)的效果进行对比，体现本文方法的优越性.
5) 使用预测得到的各个关节角度的时间序列在WEBOTS仿真平台中驱动NAO仿人机器人完成长时间的稳定步行，体现本文方法的有效性.整体结构流程图如图 8所示.
3.1 用于仿人机器人步行动作关节角度序列预测的LSTM神经网络的训练与测试
选择仿人机器人在步行过程中对人体平衡最重要的髋关节俯仰角和踝关节滚动角作为研究对象，由于人体(仿人机器人同样)左右对称因此以左腿髋关节俯仰角和左脚踝关节滚动角为例.采集10次的人体步行动作的关节角度的时间序列，并通过仿人机器人步态平衡模型泛化得到仿人机器人步行动作的关节角度数据，经拼接和平滑处理后2个关节角度各自有500个时间步骤的时间序列作为初始样本集.通过1.2节中所述的相空间重构的方法获取4维的特征值序列(加入关节角度目标值序列后共5维)，时间延迟τ为4，组成最终的样本集.前75%作为训练集，后25%作为测试集.对LSTM神经网络进行训练，通过20个时期的训练，以其中1个关节角度(左脚踝关节滚动角)为例，LSTM神经网络的均方误差变化曲线如图 9所示.
经过训练后，利用样本集中的25%的测试集对LSTM神经网络的效果进行评估，为了验证本文方法的优越性，使用本文搭建的LSTM神经网络对原始数据集(不经过相空间重构)进行预测，对比2种方法的效果，2种方法的预测效果如表 2所示，没有经过相空间重构的LSTM神经网络预测曲线如图 10、11所示，经相空间重构后的关节角度曲线如图 12、13所示.
表 2 LSTM预测仿人机器人步行动作关节角度误差Table 2. Error of the human joint robot's walking motion joint angle predicted by LSTM是否经过相空间重构 均方误差 踝关节滚动角 髋关节俯仰角 是 4.6×10-4 0.000 83 否 0.0017 0.014 8 ![]()
图 10 LSTM预测踝关节滚动角时间序列(非相空间重构)Figure 10. Left hip pitch angle time series(non-phase space reconstruction) predicted by LSTM![]()
图 11 LSTM预测髋关节俯仰角时间序列(非相空间重构)Figure 11. Left ankle roll angle time series(non-phase space reconstruction) predicted by LSTM![]()
图 12 LSTM预测踝关节滚动角时间序列(相空间重构)Figure 12. Left hip pitch angle time series(phase space reconstruction) predicted by LSTM![]()
图 13 LSTM预测髋关节俯仰角时间序列(相空间重构)Figure 13. Left ankle roll angle time series(phase space reconstruction) predicted by LSTMNAO机器人髋关节俯仰角变化范围为-1.770~0.484，踝关节滚动角变化范围为-0.769~0.398.从表 2中可以看出，经LSTM神经网络预测得到多个步态周期的关节角度的时间序列，与没有经过相空间重构相比，由于获取了更多的特征值，均方误差有了明显下降，预测精度更高.
从图 10~11可以看出对没有经过相空间重构的关节角度序列，由于是1维时间序列，预测精度不足，对关节角度序列的一些细节不能很好地学习，而经过相空间重构后，由于有了更多特征值，对关节角度序列的一些细节也能够充分学习.使用LSTM神经网络预测多个步态周期的关节角度序列，LSTM记忆关节角度序列的特性使直接循环关节角度序列所出现2次测量过渡时的起始点非终止点的问题得到解决(预测得到的时间序列不存在拼接处不平滑问题)，关节角度序列在步态周期的过渡阶段平滑连接，使仿人机器人在长时间的步行动作中不会出现晃动或摔倒的问题.
与传统的基于人体示教数据的仿人机器人步态规划算法[16]相比，本文提出的基于LSTM神经网络的仿人机器人循环步态生成方法能有效增加机器人模仿人体步行动作的周期数，且不会出现直接循环单次采集的人体示教数据产生的拼接处不平滑的问题(如图 12、13所示).从而保证机器人能够完成长时间稳定步行的任务.
3.2 WEBOTS平台下的仿人机器人步行仿真
为了验证本文方法的有效性，使用上述方法得到的各个关节角度的时间序列(主要为下肢的10个关节角度，左右腿各5个分别为：膝关节俯仰角，踝关节俯仰角和滚动角，髋关节俯仰角和滚动角)去驱动WEBOTS仿真平台中的NAO机器人使其进行长时间的步行动作，其零力矩点信息(判定机器人是否动态稳定的判据)如图 14所示，其动作姿态如图 15、16所示.
![]()
图 15 WEBOTS仿真平台下NAO机器人正面姿态Figure 15. Frontal posture of NAO robot in WEBOTS simulation platform![]()
图 16 WEBOTS仿真平台下NAO机器人侧面姿态Figure 16. Side of posture of NAO robot in WEBOTS simulation platform从NAO机器人的姿态可以看出，NAO机器人在长时间的步行过程中，机器人姿态稳定，不会出现晃动或摔倒的情况，使用本文方法预测得到仿人机器人步行动作的关节角度的时间序列能有效地驱动NAO机器人进行长时间稳定步行动作.
4. 结论
1) 通过相空间重构对多次采集的人体步行动作关节角度序列(经过仿人机器人步态平衡模型泛化得到仿人机器人的关节角度序列)处理，得到仿人机器人完成步行动作时关节角度时间序列的更多特征值.
2) 使用双层LSTM神经网络(每层200个神经元)进行预测，可以得到多个步态周期的关节角度的时间序列，解决了由于Kinect摄影机视野限制导致的、仿人机器人不能模仿人体完成长时间稳定步行动作任务的问题.
3) 通过对比经过相空间重构和不经过相空间重构的样本集进行预测的效果以及使用预测得到的机器人关节序列在WEBOTS平台上驱动NAO机器人，观察其运动效果，验证本文方法的有效性和优越性.
4) 下一步的工作希望利用LSTM联合多个序列联合分类学习的功能[17]，对多种步态示教动作的各个关节角度信息进行联合学习，进行分类以及模仿完成各种步态的长时间稳定步行以完善仿人机器人对人体步行动作的学习任务[18-19].
-
![]()
图 3 使用C-C方法踝关节序列寻优m和τ过程图
Figure 3. Process of finding the optimal m and τ using C-C method ankle roll joint sequence
![]()
图 4 使用C-C方法髋关节序列寻最优m和τ过程
Figure 4. Process of finding the optimal m and τ using C-C method hip pitch joint sequence
![]()
图 7 用于仿人机器人步行动作关节角度序列预测的LSTM神经网结构图
Figure 7. LSTM neural network structure diagram for biped robot walking motion joint angle sequence prediction
![]()
图 10 LSTM预测踝关节滚动角时间序列(非相空间重构)
Figure 10. Left hip pitch angle time series(non-phase space reconstruction) predicted by LSTM
![]()
图 11 LSTM预测髋关节俯仰角时间序列(非相空间重构)
Figure 11. Left ankle roll angle time series(non-phase space reconstruction) predicted by LSTM
![]()
图 12 LSTM预测踝关节滚动角时间序列(相空间重构)
Figure 12. Left hip pitch angle time series(phase space reconstruction) predicted by LSTM
![]()
图 13 LSTM预测髋关节俯仰角时间序列(相空间重构)
Figure 13. Left ankle roll angle time series(phase space reconstruction) predicted by LSTM
![]()
图 15 WEBOTS仿真平台下NAO机器人正面姿态
Figure 15. Frontal posture of NAO robot in WEBOTS simulation platform
![]()
图 16 WEBOTS仿真平台下NAO机器人侧面姿态
Figure 16. Side of posture of NAO robot in WEBOTS simulation platform
表 1 不同结构的LSTM预测仿人机器人步行动作关节角度误差对比
Table 1 Comparison of joint angle errors of different structures of LSTM in predicting walking motion of humanoid robot
网络层数及每层神经元数量 均方误差 踝关节滚动角 髋关节俯仰角 单层(100神经元) 0.010 0 0.002 30 单层(200神经元) 0.004 1 0.001 20 单层(300神经元) 0.002 6 0.000 87 双层(100神经元) 0.008 2 0.002 10 双层(200神经元) 0.002 7 0.000 83 双层(300神经元) 0.002 2 0.000 78 三层(100神经元) 0.005 7 0.001 60 三层(200神经元) 0.003 2 0.001 10 三层(300神经元) 0.001 8 0.000 89 
下载: 导出CSV
表 2 LSTM预测仿人机器人步行动作关节角度误差
Table 2 Error of the human joint robot's walking motion joint angle predicted by LSTM
是否经过相空间重构 均方误差 踝关节滚动角 髋关节俯仰角 是 4.6×10-4 0.000 83 否 0.0017 0.014 8
下载: 导出CSV
-
[1] ZHANG Q, CHAI H, LI Y B, et al. Kinematics analysis of biped robot based on toddler's natural gait extraction[C]//International Conference on Advanced Robotics and Mechatronics. Piscataway: IEEE, 2017: 479-485.
[2] BULAT G, IGOR D, ILYA A. et al. Toward human-like biped robot gait: biomechanical analysis of human locomotion recorded by Kinect-based Motion Capture system[C]//International Symposium Mechatronics and its Applications. Piscataway: IEEE, 2015: 1-6.
[3] ILBRHIM A. S, SAMY F M A. Sliding mode control of underactuated five-link biped robot for climbing stairs based on real human data[C]//2017 IEEE International Conference on Industrial Technology. Piscataway, N J: IEEE, 2017: 878-883.
[4] 左国玉, 王鑫鹏, 刘旭.基于混合粒子的仿袋鼠机器人站立平衡控制[J].北京工业大学学报, 2017, 43(7):1009-1016 http://www.cqvip.com/QK/95054X/20177/672563797.html ZUO G Y, WANG X P, LIU X. Optimized balance control for bionic kangaroo robot during stance phase using hybrid particle swarm optimization[J]. Journal of Beijing University of Technology, 2017, 43(7):1009-1016. (in Chinese) http://www.cqvip.com/QK/95054X/20177/672563797.html
[5] IBRAHIM A S, SAMY F M A, ABDELFATATAH M M. Cyclic gait planning and control of underactuated five-link biped robot during single support and impact phases for normal walking[C]//International Conference on Industrial Technology. Piscataway: IEEE, 2018: 123-128.
[6] KAO-SHING H, WEI-CHENG J, QIAO-HAN Y. Posture imitation and balance learning for humanoid robots[C]//International Conference on Advanced Robotics and Intelligent Systems. Piscataway: IEEE, 2016: 1-6.
[7] SEPP H, JURGEN S. Long short-term memory[J]. MIT Press Journals, 1997, 9(8):1735-1780.
[8] 于建均, 吴鹏申, 左国玉, 等.基于RNN机械臂任务模仿系统[J].北京工业大学学报, 2018, 44(11):37-44. doi: 10.11936/bjutxb2017090017 YU J J, WU P S, ZUO G Y, et al. Robot arm task imitation system based on RNN[J]. Journal of Beijing University of Technology, 2018, 44(11):37-44. (in Chinese) doi: 10.11936/bjutxb2017090017
[9] 黄娜, 何泾沙, 孙靖超, 等.基于改进LSTM网络的犯罪态势预测方法[J].北京工业大学学报, 2019, 45(8):742-748. doi: 10.11936/bjutxb2018070018 HUANG N, HE J S, SUN J C, et al. A crime situation prediction method based on improved LSTM network[J]. Journal of Beijing University of Technology, 2019, 45(8):742-748. doi: 10.11936/bjutxb2018070018
[10] WANG B Y, MING H. Predicting body movement and recognizing actions: an integrated framework for mutual benefits[C]//International Conference on Automatic Face & Gesture Recognition. Piscataway: IEEE, 2018: 341-348.
[11] CHELLALI R, LI C Z. A multi-variate LSTM based approach for human-robot hand clapping games[C]//International Symposiumon Robot and Human Interactive Communication. Piscataway: IEEE, 2018: 1137-1142.
[12] DICKSON N T, SAHARI K S M, HU Y H, et al. Multiple sequence behavior recognition on humanoid robot using long short-term memory[C]//Interational Symposium on Robotics and Manufacturing Automation. Piscataway: IEEE, 2014: 109-114.
[13] 于建均, 李晨, 左国玉, 等.仿人机器人步态平衡泛化模型的建立与仿真[J].智能系统学报, 2020(7):1-9. YU J J, LI C, ZUO G Y, et al. Modeling and simulation of humanoid robot gait balance generalization[J]. CAAI Transactions on Intelligent Systems, 2020(7):1-9. (in Chinese)
[14] 马冬玲.相空间重构中时间延迟τ的确定方法[J].硅谷, 2013, 6(19):48-51. http://www.cnki.com.cn/Article/CJFDTotal-GGYT201319087.htm MA D L. Phase space reconstruction method for determining the time delay τ[J]. Silicon Valley, 2013, 6(19):48-51. (in Chinese) http://www.cnki.com.cn/Article/CJFDTotal-GGYT201319087.htm
[15] LONGKUN T, JIANLI L. C-C method to phase space reconstruction based on multivariate time series[C]//International Conference on Intelligent Control and Information Processing. Piscataway: IEEE, 2011: 438-441.
[16] 于建均, 张远, 左国玉, 等.基于ZMP判据的仿人机器人步态模仿[J].北京工业大学学报, 2018, 44(9):1187-1192. doi: 10.11936/bjutxb2017070025 YU J J, ZHANG Y, ZUO G Y, et al. Humanoid robot gait imitation based on ZMP criterion[J]. Journal of Beijing University of Technology, 2018, 44(9):1187-1192. (in Chinese) doi: 10.11936/bjutxb2017070025
[17] JUNICHI N, YASUO K, NOZOMU A, et al. Slope-walking of a biped robot with K nearest neighbor method[C]//Fourth International Conference on Innovative Computing, Information and Control. Piscataway: IEEE, 2009: 173-176.
[18] HAO Z, MUQING D, PENG Y. Human gait recognition based on deterministic learning and Kinect sensor[C]//Chinese Control And Decision Conference. Piscataway: IEEE, 2018: 1842-1847.
[19] TOMOYA S, SHO S, EIJIRO O, et al. Walking trajectory planning on stairs using virtual slope for biped robots[C]//Transactions on Industrial Electronics. Piscataway: IEEE, 2011: 1385-139.
-
期刊类型引用(8)
1. 姚学恒，邢海青，杨子赫，吴海腾，邹治银，郭玉光. 基于惯性测量和LSTM算法的四足机器人上坡足端姿态控制. 工业仪表与自动化装置. 2025(02): 76-81 . 
百度学术
2. 刘晓铭，华定忠，张静，黄国方，钟亮民. 基于姿态信息的双足移动机器人越障步态控制. 机械与电子. 2024(04): 29-32+38 . 百度学术
3. 刘小翠. 基于ZMP控制器的仿真机器人偏摆力矩控制设计. 现代工业经济和信息化. 2024(08): 110-112 . 百度学术
4. 田启磊，王钰. 利用惯性传感器数据实时示教下肢外骨骼步态的研究. 青岛大学学报(自然科学版). 2023(01): 54-59 . 百度学术
5. 丁玲. 基于神经网络深度强化学习的分拣机器人避障规划技术. 工业仪表与自动化装置. 2023(02): 46-50 . 百度学术
6. 罗洁，王中训，潘康路，卢中原，刘言. 基于改进人工势场法的无人车路径规划算法. 电子设计工程. 2022(17): 90-94+99 . 百度学术
7. 谢鸿涛. 仿人机器人的发展进程与实际应用研究. 造纸装备及材料. 2022(12): 56-58 . 百度学术
8. 徐凌峰，高洪. 基于LSTM神经网络的乘用车能耗预测. 井冈山大学学报(自然科学版). 2021(05): 78-84 . 百度学术
其他类型引用(10)
计量
- 文章访问数: 138
- HTML全文浏览量: 12
- PDF下载量: 77
- 被引次数: 18
