清华联合字节,开源听觉大语言模型SALMONN
时间:2023-08-23 14:39:36来源:DoNews快讯


(相关资料图)

清华大学电子工程系日前与字节跳动的火山语音团队携手合作,推出一款开源大语言模型 SALMONN。SALMONN 模型支持语音、音频以及音乐输入,它可以感知和理解不同类型的音频内容输入,并具备多语言语音识别和翻译以及语音推理等功能。

官方表示,SALMONN 支持语音、音频以及音乐输入,可以感知和理解不同类型的音频内容输入,并具备多语言语音识别和翻译以及语音推理等功能。

目前 SALMONN 能够胜任英语语音识别、英语到中文的语音翻译、情感识别、音频字幕生成、音乐描述等重要的语音和音频任务,同时又涌现出多种在模型训练中没有专门学习过的多语言和跨模态能力,涵盖非英语语音识别、英语到(中文以外)其他语言的语音翻译、对语音内容的摘要和关键词提取、基于音频的故事生成、音频问答、语音和音频联合推理等任务。

目前该模型已经发布于 GitHub 中。

标签:

  • 上一篇文章: 演唱会扎堆,谁在创富,谁被创飞?
  • 下一篇文章: 最后一页
  • 最新
  • 清华联合字节,开源听觉大语言模型SALMONN

    清华大学电子工程系日前与字节跳动的火山语音团队携手合作,推出一款开

  • 演唱会扎堆,谁在创富,谁被创飞?

    “蔡依林演唱会的票子抢了么?还有张惠妹和张韶涵呢……”“抢不到,根

  • 建安区:延时服务贴人心 群众办事暖人心

    中午12时20分,本是下班时间,建安区市民之家许都农商行窗口依然有办事

  • 原神灰河锚点怎么开

    原神中玩家在探索枫丹地图时,也是要记得将锚点开启,这样在之后地图中

  • 【BT金融分析师】鸿海集团二季度业绩低于预期,分析师称其盈利能力将减弱

    我给予鸿海精密工业股份有限公司的股票“持有”评级。在这篇文章中,我

  • 单位可以让员工以灵活就业参保吗?退休多久后能领养老金?来看解答→

    入职新单位后,单位提出让员工以灵活就业参保,可以吗?试用期内可以不

  • 甘肃抗旱:多措并举节水调水,未发生长时间断水现象

    8月22日,澎湃新闻(www thepaper cn)从水利部获悉,截至目前,甘肃累

  • 江苏睢宁:沼气生态循环擦亮乡村振兴“底色”

    中新网徐州8月21日电题:江苏睢宁:沼气生态循环擦亮乡村振兴“底色”

  • 习近平抵达约翰内斯堡出席金砖国家领导人第十五次会晤并对南非进行国事访问

    新华社约翰内斯堡8月22日电(记者刘华刘万利)当地时间8月21日晚,国家

  • 潍坊高新区:“数字高新”优政惠民

    近日,记者从潍坊高新区新闻办召开的新闻发布会上了解到,近年来,潍坊

  • 该给予政策倾斜,加强对产业的规范和管理,同时继续推进技术创新和产业升级,推动四轮低速电动车产业的健康发展。四轮低速电动车产业:乡村交通新宠|产业链情报站

    四轮低速电动车产业的发展情况近年来,四轮低速电动车成为了不少地方人

  • 艾为电子(688798):8月21日北向资金减持1.19万股

    8月21日北向资金减持1 19万股艾为电子。近5个交易日中,获北向资金增持

  • 孝德镇茶店子村志愿服务队(关于孝德镇茶店子村志愿服务队简述)

    ,你们好,今天0471房产来聊聊一篇德镇茶店子村志愿服务队,德镇茶店子

  • 印度空间研究组织:“月船3号”将于23日启动动力着陆

    (观察者网讯)8月20日,印度空间研究组织(ISRO)在社交平台X(此前的

  • 川东水稻迎丰收

    近日,四川东部广安市近200万亩水稻进入成熟收获期,农民在田间忙碌,

  • 中际旭创:800G产品的订单和出货量仍会保持良好的增长态势

    中际旭创8月20日在互动平台表示,公司800G产品客户需求指引没有变化,

  • 旅游
    • “看起来很美”的夏令营为何被屡屡吐槽 揭秘内部运营“潜规则”

    • 慎独什么意思其来源是什么(慎独的原意是什么)

    • 从澜沧江到黄浦江,大山里的孩子在上海进行了一场游学

    • 黑龙江省气象台发布暴雨红色预警信号