4月21日,复旦大学自然语言处理实验室开发的新版MOSS模型正式上线,成为国内首个插件增强的开源对话语言模型。
复旦大学计算机科学技术学院教授MOSS系统负责人邱锡鹏表示:“对于下一阶段的大型语言模型来讲,我们目前重点需要去做的事情,就是让模型和现实世界以及人类的价值观进行”对齐“,成为一个真正的智能体。”
(相关资料图)
MOSS:对话式大型语言模型今日开源
近期,关于语言模型的关注持续高涨。相比之前的生成式对话产品,ChatGPT在大范围连续对话能力、生成内容质量、语言理解能力和逻辑推理能力上都得到大幅提升,超出了大众对于一款聊天机器人的预期,是生成式AI(AIGC)极为关键的发展节点。
MOSS是国内第一个发布的对话式大型语言模型。它可以执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。
目前,MOSS模型已上线开源,相关代码、数据、模型参数已在Github和Hugging Face等平台开放,供科研人员下载,促进人工智能模型研究和开源社区的生态繁荣。开源代码涵盖模型训练和推理代码,开源数据包括超100万条对话训练数据,开源模型包括160亿参数中英双语基座语言模型、对话模型以及插件增强的对话模型。
MOSS基于公开的中英文数据训练,目前已经拥有200亿参数,具有和人类对话的能力,并可以通过与人类交互实现迭代优化。
其中隐含着三个非常重要的技术。“第一是情景学习,大型语言模型可以直接和人交互,这从产品角度来说也是一个很大的创新,还可以大幅降低下游开发成本;第二是思维链,不仅给出答案,也给出逻辑推导;第三是自然指令学习,要让机器明白我们的情感和真实意图,以前是从大数据中学,现在可以直接从指令中学。”邱锡鹏说道。
MOSS开源改善行业生态
在业内看来,自研通用预训练大语言模型具有必要性角度,在目前国际形势下,自主可控是保障网络安全、信息安全的前提,自研基石模型具有高度战略意义。
邱锡鹏说,人们之所以很容易有“卡脖子”问题,是因为缺乏一个好的行业生态。就拿ChatGPT来说,OpenAI公司只需专注做好模型,算力、数据和系统则交给其他公司。反观国内,很多公司在做大型语言模型时所有环节都需要自己做,每家的数据和算力也有限,结果是每家都做不大。在发展过程中,大型语言模型训练与在线推理成本过高也是一个重大问题。
“我们考虑把MOSS开源而不是商业化,就是希望改善这种生态,有了这样一个基座,大家就不用重复开发底层技术,可以在上面接不同的细分领域。”复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏说。
相关人士表示,目前中国巨头厂商深耕通用基础大模型研发布局产业生态布局,肩部厂商基于开源模型或海量数据打造垂直基础大模型,建立垂直行业的平台生态。语言大模型及下游应用产业对于国家数字经济发展具有战略性意义。
(文章来源:上海证券报·中国证券网)
关键词:
- 复旦MOSS模型今日开源 展望语言大模型生态|要闻
- 物价上涨的影响有哪些?物价上涨会给社会带来怎样的影响?
- 吃鱼时连着鱼鳞一起吃,会增加嘌呤吗?痛风患者,吃鱼注意几件事
- 俏妃奉上春季女性健康养生攻略!更有29.9元福利包惊喜来袭
- 上臣地板春季新品发布暨2023全国经销商财富峰会圆满召开
- 云南今年一季度GDP为6852.16亿元,同比增4.8%
- qq申诉要多久?QQ改密码申诉的话一般需要多长时间?
- 三星:对车载图像传感器核心技术充满信心,已超越日本索尼-全球信息
- 电脑城pe怎么使用?电脑打开pe系统方法
- 大运远志M1强势亮相,上海车展看点十足!
- 什么是绩优股?绩优股是什么意思?
- “糖高宗”再刷近年高点!期价已逼近7000元/吨 概念股涨50% 还有空间吗?
- 【天天报资讯】尹力到丰台区和市卫健委检查指导“418”火灾事故善后处置工作
- 德讯午评:下跌加速 风险释放 今日快讯
- 东方雨虹:预计一季度归母净利同比增15%-25%
- 去年境外收入同比增长159.58% 海外客户从当升科技“定向”采购中获利-世界观焦点
- 美格智能:高性价比5G智能模组SRM700正式发布
- 热门:凌晨刷爆灌篮高手 多款周边一分钟卖空
- 省钱大作战!五一钜惠来袭,快来get你的心动豪礼!
- 重塑升级,设计非凡!DUXIANA(达克斯娜)推出全新Ritzy沙发床