国内“千模大战”下,谁是最聪明的大模型?《麻省理工科技评论》中国最新发布的大模型评测报告给出了答案。
报告显示,在8个一级大类的600道题目的测试和盲评中,讯飞星火认知大模型V2.0在6个大类中得分率排名第一,在此次评测中表现突出,以 81.5 分(百分制计)的成绩在本次评测中登顶,荣获“最聪明”的国产大模型称号。
(相关资料图)
图:大模型评测综合得分率
图:4个大模型各项能力雷达图
《麻省理工科技评论》中国从研发和商业化能力、外界态度以及发展趋势等维度全方位检测大模型的能力,力图评出“最聪明”的国产大模型。选取了“讯飞星火”、“百度文心一言”、“商汤商量”、“阿里通义千问”作为中文大模型平台的代表,展开系统、科学的评测。
本次评测使用的测试集包含600道题目,覆盖了语言专项、数学专项、理科综合、文科综合、逻辑思维、编程能力、综合知识、安全性共 8 个一级大类,126 个二级分类,290个三级标签,并针对问题的丰富性和多样性做了优化。
在题目类型上,为了兼顾定量、定性的评价与测试,设置了“单选”、“多选”、“填空”、“简答”4个题型,分别有 145 道、138 道、136 道和 181 道。大模型评测体系使用盲评方式,客观评估国产大模型的聪明程度。
作为“最聪明”的大模型的基础能力,语言专项评测包含对话理解、多语种、讽刺、古诗词理解、文本生成、要点总结、情感分析、语义判断等 61 个二级分类,题型则以简答为主。结果显示,讯飞星火 85.73%的得分率排名第一,明显高于平均值。
图:语言专项评测得分率
数学专项评测,是“最聪明”大模型必不可少的评测维度。本次评测包含代数、几何、解方程、复杂数学、统计学等 9 个二级分类,以选择题为主。
其中,讯飞星火以 77.75% 的得分率名列第一,远高于平均得分率 56%,其他平台得分率基本相当。报告称,在大模型普遍“数学不好”的情况下,讯飞星火这一成绩颇为难得,其在数学专项上的领先同样体现在二级分类的评分结果上,在 77.8%的二级分类中得分率第一,远超其他平台,初步判断其擅长几何与情景应用。
图:数学专项评测得分率
作为体现大模型“聪明程度”不可或缺的“硬核”部分,理科综合评测包含表格问答、化学、生物、物理、医学 5 个二级分类,题型上以单选和简答为主。
评测结果中,讯飞星火 78.50% 的得分率排名第一。另外,讯飞星火在理科综合大类下 80% 的二级分类评测中得分率为第一,化学与生物较为突出。
图:理科综合评测得分率
逻辑思维也是“最聪明”大模型的重要体现,本次逻辑思维评测在逻辑推理、思维链等方面设计了较多的题目,包含类比、常识推理、空间方位、演绎推理、逻辑谬误检测、因果推理等 19 个二级分类,题型上相对平均,其中填空题最多,多选题最少。
在逻辑思维题目中,讯飞星火81.25%的得分率名列第一,明显高于 72.6% 的平均值。此外,讯飞星火在逻辑思维 63.2% 的二级分类问题上得分率第一。逻辑思维对于大模型真正理解物理世界相当重要。
图:逻辑思维评测得分率
编程能力是大模型比较高阶的能力,本次的编程能力评测包含 ASCII、ASCII码识别、Python、代码、代码修正、计算机 6 个二级分类,其中 Python 主要以简答形式评估大模型的代码生成能力和正确率,其他则以客观题的形式考察。
结果显示,讯飞星火 80% 的得分率明显高于 71%的平均值,其他平台得分率基本相当。值得一提的是,在许多人关心的生成代码的简答题单项上,讯飞星火的得分率高达 82%,远高于其他平台,表现颇为亮眼。
图:编程能力评测综合得分率
作为比较难的评测维度,综合知识对大模型的“聪明”程度要求也很高,涉及的题目较杂,包含百科问答、常识、科学知识、事实问答、工作技巧、谜语等 13 个二级分类,题型以多选为主。
在综合知识评测上,讯飞星火 80.61% 的得分率排名第一,在 84.6% 的二级分类上得分率第一,初步显示出在百科问答和历史人文上的“过人之处”。
图:综合知识评测得分率
报告指出,在本轮大模型评测中,讯飞星火以81.5 分的成绩拔得头筹,成为“最聪明”的国产大模型。
讯飞星火在编程能力、理科综合、逻辑思维、数学专项、语言专项和综合知识这 6 个一级大类中得分率排名第一,在此次评测中表现十分全面,尤其是在代码生成、数学能力、理科与逻辑等方面优势明显,是本次“最聪明的理科生”。
值得一提的是,从题型角度来看,主观简答题中讯飞星火凭借 83.98% 的得分率位居第一;而在客观题上,讯飞星火以 75.7% 的得分率排名第一,在主客观体型中均有良好表现。
此外,就在8月12日,新华社研究院中国企业发展研究中心发布的《人工智能大模型体验报告2.0》中,讯飞星火V1.5以总分1013分位列本次国产主流大模型测评榜首位,在四大评测维度中的智商指数和工具提效指数两个维度获得第一,《报告》认为讯飞星火“在工作提效方面优势明显”。
在刚刚过去的8月15日,讯飞星火认知大模型V2.0如期发布,进一步突破代码能力和多模态能力。技术获得重大突破的同时,搭载讯飞星火V2.0核心能力的应用和产品也越来越丰富:既有辅助程序员高效工作的智能编码助手iFlyCode1.0、能够进行视频创作的讯飞智作2.0、能够便捷搭建轻应用的教育数字基座应用开发助手,还有帮助教师设计教学活动、一键生成课件的星火教师助手、面向英语学习者口语练习的星火语伴2.0,讯飞AI学习机也升级AI 1对1智能编程助手和AI 1对1创意绘画伙伴。此外,科大讯飞还和华为联合发布星火一体机,让每一家企业都有机会构建专属大模型。
标签:
上一篇 : 众志成城 防汛救灾丨蓄滞洪区“留守人” 再当修复“排头兵”
下一篇 : 最后一页
国内“千模大战”下,谁是最聪明的大模型?《麻省理工科技评论》中国最
08-17 20:51:31
众志成城防汛救灾丨蓄滞洪区“留守人”再当修复“排头兵”---河北省宁
08-17 19:48:00
1、饭客网需要用邀请码的您可以去购买一个或者找官方的斑竹之类的给您
08-17 18:08:18
8月17日,第7届南博会暨第27届昆交会经贸合作项目签约仪式在滇池国际会
08-17 16:38:45
第78集团军某旅某营副营长毛文鑫:救灾一刻也不能耽搁---
08-17 15:04:31
【大选落败者如何退场?】据媒体消息,2020年大选结果大局将定,而大选
08-17 13:54:57
土地用途分类是分为了农用土地、建设用地以及未利用地这三种,具体要结
08-17 12:34:51
泉州网8月17日讯(记者王丽虹通讯员郑雅萍)今年以来,演出市场加速回
08-17 10:43:06
大家好,小乐来为大家解答以上的问题。溢美之词的意是什么意思,溢美之
08-16 18:11:50
核心观点鸡肉消费:预期的替代压制,现实的中枢上移。从非瘟疫后市场现
08-16 16:56:31
鞭牛士8月16日消息,SensorTower商店情报数据显示,7月,腾讯《王者荣
08-16 15:23:54
今日(8月16日)券商板块低开高走,再度发力,华林证券两连板,首创证
08-16 14:05:03
日前从中国民航局获悉:7月份全行业完成旅客运输量6242 8万人次,同比
08-16 12:30:37
8月15日下午,科大讯飞在发布会上正式推出了讯飞星火大模型V2 0,该模
08-16 10:50:28
日前,一张“南昌县住房保障中心关于欣光花园项目营销工作的函”的图片
08-16 09:53:04
近日,思明区云顶中路瑞景新村路段完成车道“二变三”,原有中分带已挖
08-16 08:34:46
市规划馆开展全国生态日科普宣传系列活动杭州网发布时间:2023-08-1607
08-16 07:03:15
,你们好,今天0471房产来聊聊一篇红英,红英简述的文章,网友们对这件
08-16 04:07:33
2023年8月调降MLF利率解读:央行提前发力未来政策可期
08-15 21:37:48
不知不觉,今年三伏也将近尾声了,还有5天我们就要出伏了。回顾过去一
08-15 19:59:04
在15日于新西兰奥克兰进行的2023女足世界杯半决赛中,西班牙队在比赛最
08-15 18:57:48
“一感觉不对,我马上就把手机关了。”近日,重庆一位50多岁的阿姨遭遇
08-15 17:33:09
进入国际赛场后,商竣程先是在青少年赛事中崭露头角。2023年,商竣程开
08-15 16:24:37
【关于华东区域深航部分航班的出行提示】尊敬的旅客:因华东区域出现大
08-15 15:22:17
可燃冰上市公司股票有哪些?相关可燃冰龙头一览(2023 8 15),南方财富
08-15 13:55:17
王者荣耀元帅的我的世界王者荣耀李白怎么做今天搞趣网小编为大家带来我
08-15 12:20:51
【78年前的今天日本宣布无条件投降】14年山河不屈、14年浴血奋战,这场
08-15 11:33:30
央广网北京8月15日消息(记者王迟)8月15日是首个全国生态日。公安机关
08-15 10:52:44
2023年9月14日,海伦哲(300201 SZ)公告,公司与深圳市世纪松源物业管
08-15 08:57:16
8月14日,招商双债增强债券(LOF)C最新单位净值为1 497元,累计净值为1
08-15 07:57:59
阿根廷央行宣布加息2100个基点---阿根廷中央银行14日宣布加息2100个基
08-15 06:04:15
格隆汇8月14日丨万里印刷(08385 HK)公告,截至2023年6月30日止6个月中
08-15 01:29:22
肚子里“存货”排不出,还特别难掉秤的,试试这碗水:【白萝卜山楂水】
08-14 22:10:00
近日,郭富城和方媛频频露面,屡次三番秀恩爱,让网友对这对相差21岁 "
08-14 20:12:43
文化人才在线“职场微课堂”开课啦!如何从认识自我,到好的职场思维养
08-14 18:52:12
继峰股份(603997)8月14日晚间发布业绩快报,上半年实现营业总收入亿元
08-14 17:07:39
格隆汇8月14日丨联华超市(00980 HK)宣布,董事会会议将于2023年8月29日
08-14 16:45:33
1、你可以点忘记密码,然后点修改密码,输入账号邮箱。2、打上新的密码
08-14 16:09:18
截至2023年8月14日收盘深物业A000011报收于1028元下跌508换手率546成交
08-14 15:35:31
跌破3144早预料中的,需提醒的是此段加速下结构性质是某3浪或3浪3性
08-14 15:07:58
小鹏汽车:预计年底50座城市落地XNGP,无图区域能力正在开发中8月14日
08-14 14:49:02
中新网长春8月14日电(李丹)记者14日从吉林省水利厅获悉,目前,吉林省
08-14 14:08:44
今天(8月14日),东北一带的降雨将明显减弱;同时,南方降雨的范围依
08-14 13:22:00
今年最后一个长假连放8天假但节后至少要连上7天班中秋节、国庆节放假调
08-14 12:27:22
今日工行纸黄金价格走势图最新查询(2023年8月14日)
08-14 11:59:19
【特斯拉ModelY长续航及高性能版降价】据特斯拉官博消息,特斯拉Model3
08-14 11:29:21
此次《流浪地球》系列导演郭帆来到小米机器人实验室,可能是小米机器人
08-14 10:57:21
图为颁奖嘉宾为10名优秀营员颁奖。 本报记者杨子岩摄 本报北
08-14 10:31:28
每日甘肃网酒泉讯(新甘肃甘肃日报记者董文龙)记者从8月11日酒泉市政
08-14 09:56:57
全方位为数字经济领航者保驾护航---8月11日,2023数字经济领航者论坛在
08-14 09:40:41
国内“千模大战”下,谁是最聪明的大模型?《麻省理工科技评论》中国最
2023-08-17
众志成城防汛救灾丨蓄滞洪区“留守人”再当修复“排头兵”---河北省宁
2023-08-17
1、饭客网需要用邀请码的您可以去购买一个或者找官方的斑竹之类的给您
2023-08-17
8月17日,第7届南博会暨第27届昆交会经贸合作项目签约仪式在滇池国际会
2023-08-17
第78集团军某旅某营副营长毛文鑫:救灾一刻也不能耽搁---
2023-08-17
日前从邢台市新闻办举办的南宫专场新闻发布会获悉,今年以来,南宫市坚持外引内育,大力开展招商引资,...
近日,从海带中制造环保纱线的材料创新者AlgiKnit宣布获得1300万美元(8735 6万元)的A轮融资,以通过加...
概念特点1、 定义:纤维是天然或人工合成的细丝状物质,纺织纤维则是指用来纺织布的纤维。2、 纺织纤...
中新网西宁11月21日电 题:青海水润高原:从“大动脉”到“毛细血管”的精准管理 作者 谈林明...
中新网西宁11月21日电 (记者 张添福)青海省卫生健康委员会21日消息,该省第3例本土确诊病例经过20...
Copyright © 2015-2022 南极纤维网版权所有 备案号:粤ICP备2022077823号-13 联系邮箱: 317 493 128@qq.com