数据将使用Zigbee协议从传感器发送到计算机。这个
开发者考虑到佩戴者的舒适性,让他们使用舒适的材料
手语使用者。使用的材料是:70%的莱卡和30%的棉布。手套也是
每个柔性传感器由十个纤细的口袋组成。
这只手套使用了六个IMU。他们分为左臂三人和左臂三人
右臂。这些位置如图2.9所示。它们的放置方式是为了测量
关节之间的距离,以便更准确地读取每个手势。
图2.9:IMU的放置和使用的软件[7]
至于数据存储和手势的3D化身表示,他们使用了一种名为
“Captiks运动工作室”。然后,数据流将从运动工作室存储到
MATLAB作为表格。当用户
使用他/她的手。该手套在两种性别上都进行了测试,但年龄差距更大
手的尺寸,但左撇子没有机会使用该设备。
2.2.2手语手套[8]
图2.10:手语手套[8]
11
这个项目与上一个项目类似,因为它只关注右手用户。然而
这个翻译英语手语。手套如图2.10所示。开发人员
承认一个人和另一个人的尺寸和手形差异的问题。他们
目的是创造一种可以克服这个问题的手套。然而,由于
手较小的用户使得手套具有较大的误差范围。对于所使用的组件:
1.五个Spectra Symbol Flex传感器,每个手指上一个,用于测量每个手指的重量
弯曲
2.两个带有铜带的接触式传感器,可获得更精确的读数。它们位于
食指和中指的每个指尖读取特定的字母,如图2.11所示。
图2.11:“A”、“B”和“C”的ASL标志[8]
3.MPU-6050,一个三轴加速度计和陀螺仪,将允许手套检测和
识别手的动作。
4.微控制器为ATmega1284p。它从传感器读取的数据中获取数据包。
5.将数据发送到PC。Python脚本用于数据收集和手势学习
随着时间的推移,通过学习新的迹象。电脑将把标志翻译成英语。
与之前的一些项目不同,这款手套有更多可见的组件。传感器是
缝合在手套上,不用口袋把它们藏起来。放置了微控制器
如图2.10所示。
2.2.3使用感觉手套和神经网络的美国手语识别[9]
本文讨论了美国手语字母表的双向翻译系统。
该系统可以识别美国手语字母表,然后将其翻译成印刷字母。此外
它还能够将字母表的文本输入转换为相应的ASL字母手
手势。该系统使用(但不限于)以下内容:
12
硬件:
1.总共六个柔性传感器(应用于手套上)。
2.国家仪器DAQ NI-6216。
3.5伏电源。
4.总共六个10kΩ 电阻器。
5.总共六个陶瓷电容器。
6.总共六个电解电容器。
1.软件采用MATLAB。
实施方法如下:
1.人工神经网络(处理模型)。
2.反向传播算法。
3.人手的运动学模型和方程。
ASL字母表的识别是通过使用柔性传感器发送的数据来完成的。
然后将这些数据发送到DAQ,DAQ是传感器和PC之间使用的接口
DAQ处理来自传感器的数据,然后将其作为输入发送到PC
取决于用于训练的反向传播算法,然后通过获取
DAQ作为其输入。然而,作者面临着一个关于神经的范围限制的问题
网络。原因是人工神经网络严格要求“特定的测量范围”。这
这个问题是通过归一化来解决的,归一化是一种使用函数对输出的DAQ进行归一化的过程
数据,以便将其用作人工神经网络的输入。图中显示了该过程的一般框图
如图2.12。
图2.12:系统框图[9]
13
这个系统的第二个方面负责转换英语文本字母表
字母转换为虚拟的、3D动画的美国手语手势。MATLAB被用作
编写这样一个程序。正如论文中提到的,作者面临着另一个与此相关的挑战
到具有高达24个自由度(DOF)以及19个连杆的人手。问题已解决
通过减少DOF的数量和系统所需的连杆。因此
并使用反向运动学。
2.2.4签名[10]
SignIt是前AUK学生的毕业设计项目。项目翻译
将手语转化为语音,让这些人更容易沟通这个
手套如图2.13所示。
图2.13:Signit实现的手套[10]
用于制造此手套的组件包括:
1.Arduino Micro之所以被选中,是因为它的尺寸小,模拟引脚数量多,适合所有
传感器和其他部件。
2.使用的手套对屏幕触摸友好,使签名者能够使用他们的手机
无需脱下手套。手套材料对使用者来说很舒适。
3.五个柔性传感器(长度:5.59厘米)。
4.五个压力传感器。
5.Emic-2模块该设备用于创建输出语音并将其发送给扬声器
连接到Arduino。有六种不同的音调可供男性、女性和
孩子的声音。
6.对于加速度计,使用了两个MMA8452Q。它能很好地检测手
运动。
7.对于该软件,麻省理工学院的应用程序Inventor和Arduino IDE用于创建
签署并对微控制器进行编程。
14
他们使用的方法取决于加速度计,因为手可以在
三维平面(X、Y和Z平面)。这有助于了解手的朝向
以便更准确地读取符号。
2.2.5马来西亚手语检测的数据手套方法[11]
该项目专注于马来西亚手语,创造了一种能够翻译的手套
将手势转换为文本,使双方更容易沟通。使用的组件包括:
1.Arduino微控制器,作为主处理单元。
2.倾斜传感器,其测量其相对于固定参考的轴线,如图所示
2.14.
3.加速度计,负责检测移动时的手势
识别正在签名的内容的含义:数字、单词、字母等。
4.蓝牙模块,用于连接手机并发送读数以供显示。
5.手机显示输出。
图2.14:倾斜传感器[11]
值得注意的是,这只手套只在四个人身上进行了测试;然而,它在
翻译准确率(字母:95%,数字:93%,手势:78.33%)
如下:传感器和加速度计检测到移动后,数据将发送到
用于解释的微控制器。然后,蓝牙模块将其发送到启用蓝牙的
电话显示输出。手套如图2.15所示。
图2.15:数据手套[11]
15
2.2.6手语翻译(S2L):[12]
这个项目是手语翻译手套的另一个实现,它包含一个LCD
显示手势翻译的屏幕。所使用的组件为(如中所示
图2.16):
1.六个柔性传感器,每个手指和手背各一个(用于更准确的读数)。
2.一种微控制器。
3.用于显示输出的迷你LCD(输出的10位表示)。
4.附加部件:电池、电压调节器、振荡器。
图2.16:S2L手套的组件[12]
安装液晶显示屏更实用。用户不必担心
关于将手套连接到任何设备以显示翻译。然而,这只手套
只能翻译字母并将其显示在LCD上。换句话说,它是经过设计的
将手语中的所有26个字母准确地翻译成附在LCD上的文本
手套,如图2.17所示。
图2.17:S2L手套上的LCD[12]
16
有些字母需要随着手指的移动而弯曲。A 6
第th个柔性传感器
添加以更准确地阅读每个字母。翻译信件的准确性各不相同
由于每个字母的复杂性,但所有26个字母的准确率仍然很高
如图2.18所示。
图2.18:所有26个字母的准确父母关系[12]
2.2.7手语[13]
SignSpeak是一只翻译美国手语的手套。传感器的位置
与美国手语手势兼容,位置如图2.19所示。转到
用于制造该手套的部件:
1.Arduino微型控制器。
2.9个2.2英寸柔性传感器。
3.11个接触式传感器,包括导电板和上拉电阻器。他们习惯了
检测手指之间的接触以获得更准确的字母读数。
4.蓝牙模块。
5.加速度计(ADXL 345),用于检测当
签署。
6.安卓应用程序。
17
图2.19:传感器的放置[13]
共使用了21个传感器,如图2.20所示。每个位置都很高
对阅读美国手语中正确的字母至关重要。例如,拇指和
食指是8号弯曲传感器。它有助于区分字母A和E。另一个
例如,当使用位于中指顶部内侧的1号接触式传感器时
以区分U和V。
图2.20:使用的传感器[13]
为了让机器不断更新和学习新的标志,使用了Gentle AdaBoost。这个
手套可以成功读取26个手势(英文字母)这个
手套可以成功读取26个手势(英文字母)。手套和一些信
读数如下图2.21所示。
图2.21:手套可以阅读的一些字母[13]
18
2.3概述和影响
如前所述,使用了各种实现来创建一个手套,该手套可以识别不同的
手势和手势的模式。一些共享相同的传感器,而常用的传感器是
柔性传感器,如下表2.1所示。在题为“手姿势估计综述”的文章中
通过可穿戴传感器和基于计算机视觉的方法”,[11]它提供了良好的信息
关于所使用的传感器,如下所示:
1.弯曲/弯曲传感器:它们是可穿戴手套技术中常用的传感器。由于
由于长度范围很广,所以很容易戴在手套里使用。它可以弯曲多次;
然而,使用得越多,它就会失去准确性。
2.拉伸/应变传感器:在可穿戴设备的制造方面需求越来越大
技术它适合关节,小巧舒适,是设计传感器
在手套中不太显眼。
3.其他类型:如前所述,一个项目使用了惯性测量单元(IMU)。
这种类型是加速度计、陀螺仪,有时还有磁力计的混合体。这
由于加速度计的作用,该类型提供了更好的数据速率。IMU相对便宜
寿命长。
这些项目的简单比较如表2.1所示。
19
表2.1:对比表
项目
名称
软件微控制器
r
传感器输入输出附加功能
[3] 门控递归
单位(GRU)
算法和MAP
估计
阿杜因诺
Lilypad微控制器
柔性传感器NVIDIA
GTX 1070型
全球采购单位
文本电池模块
导电螺纹
蓝牙模块
[4] SCM C语言
keil5中的程序
STM32系列
单片
FLEX 2.2弯曲
传感器
模拟
信号
文本BP神经网络
[5] 不适用不适用摩擦电
纳米发电机
模拟
信号
N/A壳聚糖/甘油膜
[6] Arduino IDE青少年3.1耐压菌株
传感器
模拟
信号
文本开关
电池
功率调节器
[7] Captiks运动
演播室
N/A Flex传感器模拟
信号
不适用惯性测量单位
[8] I2C通信Atmega1284p光谱符号FlexSensors
接触式传感器
模拟
信号
文本到语音MPU-6050
个人计算机
[9] MATLAB N/A Flex传感器模拟
信号
文本
MATLAB三维表示
随意的标志。
国家仪器DAQ NI6216。
5V电源。
[10] Ultiboard公司
麻省理工学院应用程序发明人
Arduino集成开发环境
Arduino Micro Flex传感器
压力传感器
模拟
信号
语音发射-2模块
蓝牙模块
加速度计
[11] N/A Arduino倾斜传感器模拟
信号
文本蓝牙模块
加速度计
[12] N/A微控制器
-未定义的
模块-。
柔性传感器模拟
信号
LCD迷你LCD上的字母
电池
陀螺仪/加速度计
振荡器
电压调节器
[13] LabVIEW系统
设计S
PXI机箱
Arduino Flex传感器2.2模拟
信号
文本语音蓝牙模块(C-05)。
加速度计
导电板
上拉电阻表
印度支那
我们的项目
Arduino集成开发环境
C++
Essperif ESP32 Flex传感器
力传感器
MPU6050型
模拟
信号
文本内置Wi-Fi和蓝牙
翻译ArSL
20
第3章方法、设计和分析
3.1简介
第3章讨论了项目设计和建设的程序和方法。它
还反映了在构建系统的不同组件之间进行选择时所做的决策。
第3章涵盖了项目的重要方面,因为它将解释有关
详细使用的每个组件。例如传感器、微控制器、软件等。此外,
本章将提供并解释系统的体系结构和示意图。
3.2方框图
INDEGO的框图将在本节中进行解释。任何系统的框图
给出了系统的概述,显示了最重要的组件和关系
他们之间。
下图3.1所示为INDEGO的框图。该图说明
功能或组件作为块。箭头表示每个块之间的关系。
与系统体系结构不同,框图不那么详细,只显示了
系统的功能,而不指定组件或实现方式。这个
框图的重要性在于它显示了系统和概念的概述。这
有助于识别需求和所遵循的程序,而不考虑组件。它是
有利于对系统设计中的问题进行故障排除和识别。此外,它可以是
当新的特征或元素被添加到系统的设计中时,这一过程很有帮助。
图3.1:INDEGO的框图
21
前面的框图3.1显示了系统的两个主要阶段。这个
第一阶段是数据采集,它包含两个内部部分——输入阶段或功能,以及
处理阶段。下图左侧为输出级
3.1.此外,阶段和t之间的箭头 |