国内首个类ChatGPT模型:复旦大学MOSS今日正式开源,RTX309
感谢IT之家网友 Colorful M 的线索投递!
,复旦大学自然语言处理实验室开发的新版 MOSS 模型今日正式上线,成为国内首个插件增强的开源对话语言模型。
目前,MOSS 模型已上线开源,相关代码、数据、模型参数已在 Github 和 Hugging Face 等平台开放,供科研人员下载。
据介绍,MOSS 是一个支持中英双语和多种插件的开源对话语言模型,moss-moon 系列模型具有 160 亿参数,在 FP16 精度下可在单张 A100 / A800 或两张 3090 显卡运行,在 INT4/8 精度下可在单张 3090 显卡运行。MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。
MOSS 来自复旦大学自然语言处理实验室的邱锡鹏教授团队,名字与《流浪地球》电影中的 AI 同名,已发布至公开平台,邀请公众参与内测。
MOSS 用例:
-
moss-moon-003-base: MOSS-003 基座模型,在高质量中英文语料上自监督预训练得到,预训练语料包含约 700B 单词,计算量约 6.67x1022 次浮点数运算。
-
moss-moon-003-sft: 基座模型在约 110 万多轮对话数据上微调得到,具有指令遵循能力、多轮对话能力、规避有害请求能力。
-
moss-moon-003-sft-plugin: 基座模型在约 110 万多轮对话数据和约 30 万插件增强的多轮对话数据上微调得到,在 moss-moon-003-sft 基础上还具备使用搜索引擎、文生图、计算器、解方程等四种插件的能力。
-
moss-moon-003-pm: 在基于 moss-moon-003-sft 收集到的偏好反馈数据上训练得到的偏好模型,将在近期开源。
-
moss-moon-003: 在 moss-moon-003-sft 基础上经过偏好模型 moss-moon-003-pm 训练得到的最终模型,具备更好的事实性和安全性以及更稳定的回复质量,将在近期开源。
-
moss-moon-003-plugin: 在 moss-moon-003-sft-plugin 基础上经过偏好模型 moss-moon-003-pm 训练得到的最终模型,具备更强的意图理解能力和插件使用能力,将在近期开源。
-
moss-002-sft-data: MOSS-002 所使用的多轮对话数据,覆盖有用性、忠实性、无害性三个层面,包含由 text-davinci-003 生成的约 57 万条英文对话和 59 万条中文对话。
-
moss-003-sft-data:moss-moon-003-sft 所使用的多轮对话数据,基于 MOSS-002 内测阶段采集的约 10 万用户输入数据和 gpt-3.5-turbo 构造而成,相比 moss-002-sft-data,moss-003-sft-data 更加符合真实用户意图分布,包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数,约含 110 万条对话数据。目前仅开源少量示例数据,完整数据将在近期开源。
-
moss-003-sft-plugin-data:moss-moon-003-sft-plugin 所使用的插件增强的多轮对话数据,包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约 30 万条多轮对话数据。目前仅开源少量示例数据,完整数据将在近期开源。
-
moss-003-pm-data:moss-moon-003-pm 所使用的偏好数据,包含在约 18 万额外对话上下文数据及使用 moss-moon-003-sft 所产生的回复数据上构造得到的偏好对比数据,将在近期开源。
MOSS 的 GitHub 页面:点此查看
声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。
- 经济观察中国将加速5G融合应用发展
- 11月中国进出口额同比增1.2%月度增速加快
- 济宁市2023年下半年绿色低碳高质量发展现场观摩会——中国中
- 兴化市戴南镇志愿者为百名老人送“爱心饺子”
- 中国A股周二下跌沪指失守3000点
- 多维度数据凸显经济澎湃活力“历史新高”“稳中向好”成关键词
- 阿里网络大腾挪:接连“退出”美年健康、分众等7家公司,非主业
- 德定安航空在上海设立新工厂法国驻沪总领事:相信法国企业能为中
- 莱克洗地吸尘器,宝爸宝妈的全屋清洁利器
- 回暖、活跃、回升、增强……企业信心足中国经济“加速跑”
- 国内足金首饰金价突破630元/克
- 济宁市2023年下半年绿色低碳高质量发展现场观摩会——西城新
- 第六届进博会光明食品集团“THESMARTCHAIN全球食品
- 万亿信创赛道前景广阔 睿银科技发力竞逐领跑市场
- 市场规模持续增长,敷尔佳联合青眼发布《2024年面膜趋势洞察
- 灌南经济技术开发区:舞动项目建设龙头,锻造产业发展“黄金链”
- 中国A股12月开局平稳央企旗下公司增持指数基金
- “大地情深”全国优秀群众文艺作品汇演举办