当前位置:首页 > 新闻中心 > 媒体扫描

媒体扫描

【央广网】基于“紫东太初”三模态大模型和昇腾AI的多模态模型让手语学习更简单

  • 发表日期:2022-06-20 【 【打印】【关闭】
  •   央广网北京6月18日消息(记者卜叶)近日,金沙js333娱乐场自动化研究所等基于“紫东太初”三模态大模型、昇腾AI基础软硬件平台打造出手语多模态模型及手语教考一体机,方便听障人士理解和学习手语。 

      我国有2700多万听障人士,手语是听障人群对外交流的重要渠道,但手语学习面临词汇匮乏、师资短缺、手语标准难统一等挑战。 

      科研人员让“紫东太初”三模态大模型学习了1.2万个手语词汇、50多万语法、70多万语料,基于昇思MindSporeAI框架,开发出手语多模态模型,开创性地实现手语动作与示意图片和文字的联动,让初学者对手语语义理解更加深刻。而后,基于手语多模态模型,利用昇腾AI基础软硬件平台,开发出手语教考一体机。目前,该一体机已在湖南数十个学校陆续上线,一定程度上缓解了手语师资短缺问题。 

      目前,该手语多模态模型可以实现文本到图像的自动生成,具备实时手语词汇识别、表情及唇语识别等能力,并且还可实现新事物词汇的及时学习与更新,适用于特殊教育学校、开设手语教学师资培养的大专院校、通用手语推广教学点和全国残联基层培训点等。此外,AI手语助手功能可用于同传翻译、新闻主持、服务引导等场景。 

      据悉,“紫东太初”是全球首个图、文、音三模态预训练模型,基于华为昇腾AI基础软硬件平台,把图、文、音三个模态统一起来,在一个共同的语义空间去做相互的转换和统一表述。相关研究人员表示,对大模型进行“大规模学习+微调”,有望实现多款应用,满足人类的多元化需求。接下来,还将探索大模型在智慧文旅、智慧交通、智能制造和智慧医疗等更多领域的应用。 

      报道链接:http://tech.cnr.cn/ycbd/20220618/t20220618_525870615.shtml