首页 > 诺尔康资讯 > 浏览文章

科学家说(二)丨让人工耳蜗“说中文”:编码策略的中国智慧

(作者:诺尔康人工耳蜗   日期:2025年03月26日   加入收藏 )

引言


当我们教外国朋友学中文时,常会发现一个有趣现象:即便发音相近,声调错误就会闹笑话(如“我要水饺”听成“我要睡觉”)。这类误解背后,是汉语作为声调语言(Tonal Language)的独特基因——四声(平、上、去、入)的起伏变化,是汉语使用者能否正常理解语义的关键。


在中国耳蜗诺尔康成立之初,面对基于非声调语系(如英语)开发的人工耳蜗编码策略,如CIS、SPEAK等,诺尔康科学家发现它们并不适配汉语使用者的语言特性。


为了让人工耳蜗“说好中文”,让汉语人工耳蜗使用者从“听到声音”到“听懂母语”,诺尔康科学家交出了一份硬核答卷!


黄穗博士介绍


640 (1).jpg

中国医学装备协会耳鼻咽喉头外科专业委员会副主委

全省智能康复与神经电子转化重点实验室副主任

诺尔康研究院执行院长


美国加州大学欧文分校电子工程博士,杭州521全球引进计划专家,浙江省钱江计划人才。


带领技术团队攻克穿戴式智能人工耳蜗的12比特低功耗模数转换电路、全新低功耗刺激电路、全新的射频传输系统、以及首次在人工耳蜗上实现蓝牙传输技术等一系列难题,掌握神经假肢和神经调控类产品植入体和体外机自制大规模集成电路芯片设计和工程上实现和改进有源三类植入医疗器械的关键技术。


作为诺尔康二代人工耳蜗、三代人工耳蜗、听觉脑干植入产品和人工视网膜的主要负责人之一,主持参与6项省部级以上重大科研及产业化攻关项目,1项杭州市重大科技创新专项项目,1项杭州市集成电路专项等。


获得国家科技进步二等奖、浙江省科技进步奖二等奖、中国残疾人康复协会科技进步奖二等奖,完成科技成果鉴定2项。申请专利85项,其中发明专利37项,授权专利36项,其中授权发明专利10项。


一、人工耳蜗的言语编码策略“进化论”


作为听损者的“新耳朵”,人工耳蜗承担着将外界声音转化为电信号,并通过电极刺激听觉神经,使听障者能够重新感知声音的重要使命。在这一过程中,言语编码策略如同人工耳蜗的“大脑”,依据特定算法,精准地将声音中的关键信息,如音高、强弱、节奏等,转化为神经能够识别的电信号。


人工耳蜗编码策略的发展分为几个阶段,经历了诸如最初简单的波峰提取刺激策略(F0/F1/F2策略)到直接利用声音包络信息定频时分刺激的连续间隔采样策略(CIS)再到进一步提升声音时域细节信息的峰值提取策略(APS)的飞跃,有效提升了听损者的听觉康复质量。


然而,中国科学家在调研过程中发现,尽管技术不断革新,植入了人工耳蜗的中国听损儿童在单音节和双音节的言语识别率上依然低于同等环境下的健听儿童[1] 。


640 (2).png


诺尔康科研团队在深入研究后,揭示了一个至关重要的问题:基频(F0)作为声音的基本频率,是声音音调高低的基础。通常情况下,男女发声时基频变化大致范围分别为100~200Hz和150~300Hz。对于汉语这一声调语言,基频的频率范围对于区分不同声调至关重要。

但由于人工耳蜗的电极通道数限制,目前人工耳蜗编码策略的频率范围一般分布在100Hz~8000Hz。这意味着低于250Hz的语音信息,也就是基频中较低的部分,只有1-2个电极,无法实现精准的频率变化感知。

比如语音信号从100Hz变到200Hz,正常人已经听到了明显的声调变化,但是人工耳蜗用户由于人工耳蜗只对应到同一个电极通道,完全无法区分基频的变化。与此同时,毫米级电极上通道串之间的相互干扰,也可能影响不同频段下声音处理的准确性,这将进一步导致语言的声调难以识别。

这一问题对于不依赖声调区分词义的西方语系并不会造成较大影响,但对于需要进行声调识别的汉语使用者,则会导致“听得见”却“听不准”、“听不懂”的困境。

“声调是汉语的‘DNA’,编码技术必须尊重语言特性。”秉持着这一初心,诺尔康科学家团队决定开启一场针对中文听觉的编码“进化”,开启了对于编码技术的革新,研发出了第五代包络+基频精准跟踪幅度增强编码技术,让人工耳蜗“学会”了中国话!


二、C-Tone:锁定声调变化的“生命线”


为了提升中文使用者的言语可懂度,诺尔康科研团队将研究重点放在了强化声调感知上。在研究中,他们发现声调感知的主要线索为基频的变化模式,而振幅等次要线索在基频缺失的情况下,对促进声调识别依然有效。


基于这一发现,诺尔康科研团队通过算法追踪并模拟基频变化,同时调整振幅轮廓,成功研发出了以强化声调感知为目的的C-Tone编码策略。这一编码策略通过实时基频追踪算法与振幅-基频耦合调制技术,对声调感知的主次线索进行针对性加强,使得人工耳蜗编码策略能够准确识别声调。


微信图片_20250326121701.png


这就相当于为人工耳蜗装上了一副“声调雷达”。在保证节奏、音高、强弱等变化的同时,也能够实时分析声调的高低起伏(如“妈mā”的平调和“马mǎ”的降升调),并将这些变化转化为电信号的关键参数。


这样,中文使用者在听声和表达的过程中,就能够抓住语意的核心,不再因为声调问题而出现“误听”和“误判”,真正实现闻其声即可知其意。


此外,由于音乐的旋律轮廓高度依赖基频信息,C-Tone策略在加强基频幅度轮廓后,将显著提升对音高变化感知的敏锐度。这意味着,使用C-Tone编码策略的人工耳蜗植入者,在欣赏音乐时,将能够感受到更接近真实音色的旋律,进一步丰富了听觉体验。



三、临床见证:C-Tone汉语四声编码策略优势


自问世以来,科学家及诺尔康团队持续针对C-Tone汉语四声编码策略进行临床测试并开展调研。比较了使用和不使用C-Tone算法时,安静环境下中文音调的识别情况,还探究了使用C-Tone算法后植入者中文识别能力的变化和C-Tone对听损者生活质量的改善。

微信图片_20250326121711.png


  声调识别显著提升  

据临床测试数据,采用C-Tone编码策略后,人工耳蜗植入者的中文单音节词识别率实现了显著提升,识别率增幅高达13.7%。这一改进使得植入者更易听清单个字的声调差异,例如能够准确区分“青qīng”和“请qǐng”这类声调相近的单词,减少了因声调混淆而产生的误解。

同时,在双音节词的识别方面,C-Tone编码策略同样展现出了显著的成效。植入者的双音节词识别率提升了18.6%。这一提升不仅增强了植入者对词语(如“老师”和“老实”)的辨析能力,还使得他们对短句的理解更加准确,进一步提升了语言交流的流畅度和准确性[2]。

微信图片_20250326121715.png


此外,在针对声调识别和生活质量改善的评估测试中,49例植入诺尔康人工耳蜗植入者在安静条件下的声调识别率为67.26%,超机会水平2.69倍!

来自河南洛阳的小嘉文出生不久便被诊断为大前庭导水管综合征。2岁的时候,她因左耳完全失聪植入诺尔康人工耳蜗。术后一年,在C-Tone的帮助下,小嘉文听觉行为分级标准(CAP)从原来的2分成长为7分,不仅吐字清晰,语调正确,就连大多数南方朋友痛苦不已的翘舌音她也“手到擒来”!


  生活质量显著改善  


在人工耳蜗使用者生活质量和听力改善效果调查问卷(NCIQ)中,他们的总分及基本声音感知、高级声音感知、言语能力、自信心、活动能力和交流能力等,也全部获得了显著改善[3]。

针对C-Tone算法在音乐欣赏方面的表现,专家也就儿童人工耳蜗植入者术后音乐能力发展趋势进行了调研。研究表明,诺尔康人工耳蜗儿童植入者开机后音乐能力随人工耳蜗使用时间的延长而显著提高,并在开机12个月内呈现快速增长趋势[4]。

全球约有26亿人使用声调语言,涵盖汉语、泰语、约鲁巴语等,C-Tone的意义不仅在于技术突破,更在于其文化适配性。正如黄穗博士所说:“C-Tone编码策略致力于提升汉语听障群体的生命质量,我们解码的不只是声波频率,更是中国听损者听懂世界,对话世界的可能性。”


这项诞生于中国的技术创新,寄托着中国科学家对中国超2800万听损者的美好祝福,也包含着科技工作者对“技术以人为本”理念的深刻理解——在数字化浪潮中,努力让技术普惠落到实处,让技术真正“读懂”文化基因,让每一种声音都被精准传递、被听见、被理解。


参考文献:

[1] 刘海红, 刘莎, 李颖, 等. 不同类型噪声竞争对儿童单、双音节词汇识别的影响[J]. 中华耳鼻咽喉头颈外科杂志, 2017, 52(5): 348-354. DOI:10.3760/cma.j.issn.1673-0860.2017.05.006

[2] Ping L, Wang N, Tang G, et al. Implementation and preliminary evaluationof ‘C-tone’: A novel algorithm to improve lexical tone recognition in Mandarin-speaking cochlear implant users[J]. Cochlear Implants Internationa, 2017,18 (5):240

[3] 刘博, 董瑞娟, 陈雪清, 龚树生, 李永新, 亓贝尔, 郑军, 韩德民. 诺尔康人工耳蜗植入者的声调识别与生活质量评价[J]. 临床耳鼻咽喉头颈外科杂志, 2014, 28(4): 232. DOI:10.13201/j.issn.1001-1781.2014.04.006

[4] 郑妍, 刘博, 董瑞娟, 徐天秋, 陈静, 钟妍, 孟超, 王红, 陈雪清. 儿童人工耳蜗植入术后音乐能力发育研究[J]. 临床耳鼻咽喉头颈外科杂志, 2014, 28(16): 1188-1192. DOI:10.13201/j.issn.1001-1781.2014.16.002


本文审核专家:

诺尔康研究院执行院长 黄穗博士
诺尔康技术研发中心高级算法研究员 项丽阳博士
诺尔康听觉言语医学研究院副院长 高珊仙
诺尔康听觉言语医学研究院科研专员 刘天翊

*本文图片均来自诺尔康内部科研及学习资料


【免费】了解各地报销政策,咨询助听器与人工耳蜗,帮忙预约挂号,可点击这里



回到首页
上一篇:中乌医疗合作谱新篇!“输血式”帮扶全面提升乌方耳科诊疗实力!
下一篇::没有了

手机内容页底部广告


聋人在线| 助听器网| 听障论坛 | 首页| 返回|71