第一章引言

1.1背景

听力损失的人在日常生活中面临许多问题。难以表达

他们自己和接触可能会令人沮丧。这将使他们更加自觉

与他人交流。对于那些听力受损的人来说，小事可能是一个巨大的困境

损害。例如，简单的任务，如去杂货店购物和询问过道

对于特定的事情，去医院，或者与医生或护士交谈可能会很乏味

对于有听力问题的人来说很难做到。根据世界卫生组织最近的数据

报告称，世界上超过5%的人口（约4.66亿人）患有残疾

听力丧失据估计，这一数字可能在30年内翻一番

其中数百万人在阿拉伯地区。[1] 在科威特，根据2017年发表在

Al Rai媒体网站上，大约有7000人完全失聪。[2]

手势语是手语交流的一种形式。手语不是

普遍性，使每一种口语都有一种特定的手语形式。它也不是

在学校里教，使它对人们来说更陌生。阿拉伯世界的意识甚至更低

因为一些有听力障碍孩子的家庭由于

对其重要性的理解。此外，政府部门和医院不提供

为手语使用者提供的任何帮助或帮助。结果，他们挣扎了很多，感觉

不舒服或害羞。技术可以在解决这个问题方面发挥重要作用。本项目将重点

关于制作将阿拉伯语手语（ArSL）翻译成文本的手套。主要目标是帮助

手套的佩戴者在独自完成任务后感到独立和满足。此外

这将增强他们的信心，使他们克服对不安全感的恐惧

与其他人互动。正如项目名称INDEGO所示，“INDE”源自

“独立”一词表示用户将依赖自己，并感到自己被赋予了权力

表达自己。

1.2问题陈述

使用手语的人患有不同的问题，例如听力障碍，

自闭症等。为了表达自己，他们使用手语。然而，问题是

2.

每个人都能理解手语，这会导致与他人沟通不畅。

人们很难理解它们，尤其是当他们需要做一些重要的文书工作或

任务。表达自己很有挑战性，这让他们感到焦虑。

1.3项目的目的和目标

以下是项目结束时将要实现的目标和目的：

1.简化沟通。

2.减少沟通障碍。

3.便携式和可穿戴设备。

4.方便每个人使用。

5.通过在手套中使用廉价的组件，价格合理。

6.使用方便。

7.提高不同行业对手套的认识和需求，以帮助使用手套的个人

手语。

8.使用轻质材料，穿着舒适。

9.赞助和与其他政府部门合作，以扩大

项目并更好地开发。此外，推广手套会更容易。

主要目标是编程和实现一种可以翻译手势的手套

转换为文本。它使发送方和接收方之间的通信更加容易。该项目旨在

提高听力障碍患者的沟通质量。它将授予他们

可以使通信变得简单、高效和方便的设备。这将使他们受益

即时翻译以及检查设备是否在翻译中出现任何错误的能力。

1.4理念发展

INDEGO的想法是作为一个顶点项目提出的，需要实现

电气/计算机工程学士学位。这个想法是通过头脑风暴产生的

团队成员之间。这个特别的想法引起了最大的关注和兴趣。主要目标

手语翻译的目的是为了方便各方之间的沟通。而且大多数

重要的是给予手语使用者所需的独立性。的目标之一

该项目旨在提高人们对使用该标志时所面临的一些困难的认识

3.

语言经过团队成员和主管的几次讨论，他们最终

决定继续这个想法。

INDEGO是为该项目选择的名称。它反映了

项目“INDE”表示独立性，是我们希望实现的主要目标之一。

该项目旨在让手语使用者自力更生。此外

另一部分“GO”意味着用户随时准备出发。该项目以手套为基础

意味着它便携、方便、轻便。他们走到哪里都可以拥有它。

1.5 SWOT分析

“INDEGO”的SWOT分析是“INDEGO”的SWOT分析如下表1.1所示：

表1.1：SWOT分析

强项弱项

1.将阿拉伯语手语翻译成文字。制作

更容易沟通。

2.可穿戴且不笨重，便于携带

围绕

3.用户友好型设备。

4.价格合理。

1.仅支持ArSL，使项目具有针对性

针对特定群体。

2.创建项目的过程受到

新冠疫情。

3.仅限于手势。

机会威胁

1.可以将ArSL的翻译扩展到更多

语言。

2.连接物联网，例如紧急呼叫。

3.与其他不同的工程师合作，添加

多种不同的手语

更包容不同民族。

1.现有项目和竞争。

2.零部件可能缺货。

3.设备及应用故障排除

由于

项目

1.6报告大纲

本报告共有六章。

•第1章为引言，包含六个部分。

o第1.1节是背景，对问题进行了一般解释。

o第1.2节是问题陈述，解释了本项目的问题

4.

想要解决。

o第1.3节列出了项目想要实现的目标和目的。

o第1.5节是创意发展，讲述了团队如何思考

这个想法，也谈到了“INDEGO”的含义。

o第1.6节团队增加了项目的SWOT分析。

•第2章文献综述将分为两个主要主题。

o第2.1节，手势识别系统。本节包括

小节。

o第2.2节，即手语翻译技术。本节涵盖

以前翻译手语的项目。

o第2.3节包括所有参考文献之间的摘要和比较表

项目

•第3章将重点介绍项目的设计和分析

架构和组件。

•第4章将介绍项目的实施情况。

•第5章将介绍项目评估。

•最后，第6章是结论和未来的工作。

5.

第二章文献综述

第2章将重点介绍项目的研究部分，因为它将包括各种信息

聚集在一起讨论这个话题。有很多想法和项目是为了帮助听力受损的人

使他们更容易沟通。第2章包括以下主题

子类别：手势识别系统和手语翻译系统。

2.1手势识别系统

2.1.1基于柔性传感器的连续手指手势识别[3]

这个项目的重点是一种无线手套，它可以成功读取一系列不同的手势

并准确解读。这款手套使用柔性传感器（长度：3.75英寸）。至于微控制器，使用了Lilypad Arduino。此外，一个可充电的锂电池（3.6伏，容量70

mAh）与支持蓝牙4.0的无线传输模块（型号

编号HC-08，最大速率为9600bps）。手套的有趣之处在于GRU的使用

它代表门控循环单元。这有助于阅读手势，因为它使用训练数据来保持手势序列之间的联系，以获得准确的解释。一张照片

如图2.1所示。

图2.1：无线智能手套的布局[3]

这只手套中值得一提的是GRU算法的概念，因为手势可以

包含一个或多个手指同时移动以创建一个单词或短语。GRU还制造

6.

识别这些模式要简单得多。提到了两种方法。一种方法是

其中过渡被忽略，并且焦点是手势；然而，这可能会导致错误

到具有长的过渡。另一方面，另一种方法是将转换视为手势。

它给了他们一个独特的标签，使解释更加准确。图2.2显示了侧面

无线视图

图2.2：无线智能手套的侧视图[3]

2.1.2基于Joint的数据手套手势识别技术研究

算法[4]

图2.3：数据手套外观[4]

第二篇文章的手套版本如图2.3所示。使用的传感器有：

1.五个2.2英寸柔性传感器。

2.采用STM32系列单片机作为手套的微控制器。

该联合算法用于手势识别，并与BP神经网络相匹配。

传感器被弯曲以创建一个模板，并在此基础上构建。对于手势识别，手势是

分为动态和静态两种。用于此手套的手势获取过程为

通过从柔性传感器收集数据来训练算法。它在一些志愿者身上进行了测试

来自不同性别和年龄的人使用相似的手势。它使读数更加精确。数据

7.

收集的数据如图2.4所示。值得注意的是，可以使用低通滤波器使

读取的信号不超过阈值收集的数据如图2.4所示。值得注意的是，可以使用低通滤波器使

读取的信号不超过将有助于噪声抑制的阈值。

图2.4：三种方案比较[4]

识别手势的过程如下。如前所述，模板应

创建，这将引导我们进行模板匹配。根据输入，它将搜索图像

与数据库中的匹配。第二种方法是BP神经网络，它有三个

分段：输入、隐藏层和输出。输入有五个神经元，因为五个传感器

使用，而输出有九个，以便更容易地链接到手势。隐藏层激活

在需要时指定节点。关于联合承认的概念，它结合了这两个概念

这涉及到使用模板并匹配它们以获得更准确的阅读。

2.1.3一种具有集成摩擦电纳米发电机的智能手套，用于自供电手势

识别与语言表达[5]

在本文中，引入了一种新的传感器来帮助实现手势识别手套。不像

前两款手套使用的是柔性传感器，这款手套使用的传感器可以测量摩擦电

纳米发电机输出传感器如图2.5所示。此传感器位于

手，使其易于读取肌腱的运动和相应的手势

输出这些传感器由于具有防潮功能而经久耐用，因为它对

手出汗（汗水和湿度不会影响阅读）。传感器中有几层

如图2.5所示。一层包括壳聚糖/甘油膜，当

湿度超过一定水平。这种传感器重量轻，佩戴灵活，价格便宜

与来自同一家族的传感器相比。

8.

图2.5：可佩戴的自供电手势传感器[5]

三个传感器连接在以下肌腱上方的每只手的背部

手指：小指、食指和拇指，如下图2.6所示。中间和环

手指上没有传感器，因为其他手指的传感器可以检测到他们的

运动。

图2.6：放置在手背上的手势传感器照片[5]

2.1.4具有低功耗和可拉伸混合电子设备的无线手势解码器[6]

这种无线手势解码手套（如图2.7所示）是低功耗的。组件

使用的是应变传感器、压力传感器和Teensy 3.1微控制器。它也有蓝牙

低能耗芯片（BLE 4.0 nRF8001）和定制印刷电路（PCB）。使用的组件

在这种实施方式中，成本低于100美元，使其具有成本效益。这个项目中使用的手套是

耐用的皮革运动手套。它有九个应变传感器，分别放置在每个掌骨和

拇指上有一个额外的压力传感器。

9

图2.7：手势解码手套概述[6]

这种手套的工作方式是通过弯曲指关节来获得读数。这

将在传感器中产生可逆变化，并且可以测量电阻。过程是

分为四个主要步骤从手套中获取读数：

1.如前所述，第一步是移动不同的指节以获得阻力读数。

2.然后通过使用分压器将记录的值转换为电压值

可在PCB中使用（它包括九个分压器）。

3.微控制器将计算这九个电压中的每一个，以获得每个电压的精确状态

通过为每一个创建一个9位二进制密钥。

4.然后将使用二进制密钥来识别做出了什么手势。

2.2手语翻译技术

2.2.1使用可穿戴电子设备的手语识别——Movit[7]

该项目更多地关注优势手（通常是右手），并将传感器连接到

它的关节。它还关注意大利手语。使用的组件包括：

图2.8:Movit[7]

1.使用的惯性测量单元（IMU）为Movit，如图2.8所示，IMU为

位于手、前臂和上臂上。

2.在每个腕掌关节和掌指骨关节上放置10个弯曲传感器

如图2.8所示。

10

数据将使用Zigbee协议从传感器发送到计算机。这个

开发者考虑到佩戴者的舒适性，让他们使用舒适的材料

手语使用者。使用的材料是：70%的莱卡和30%的棉布。手套也是

每个柔性传感器由十个纤细的口袋组成。

这只手套使用了六个IMU。他们分为左臂三人和左臂三人

右臂。这些位置如图2.9所示。它们的放置方式是为了测量

关节之间的距离，以便更准确地读取每个手势。

图2.9：IMU的放置和使用的软件[7]

至于数据存储和手势的3D化身表示，他们使用了一种名为

“上尉M