参数破3000亿却性能平庸?大模型的新来了!

发布时间:2024-09-19 10:30:50 来源:雷火电竞app官网入口 作者:雷火竞技app官网入口 18

  【ITBEAR科技资讯】4月17日消息,近日,科技领域对于模型训练的效率和性能展开了新的讨论。这主要源于面壁智能发布的一系列高效、低参数的大模型,这些模型在保持高性能的同时,显著降低了参数规模和训练成本。

  大约一个月前,马斯克旗下的xAI团队开源了名为Grok-1的巨型MoE模型,其参数量高达3140亿,被誉为“庞然大物”。然而,令人惊讶的是,尽管Grok-1在参数规模上占据优势,但其性能表现却仅与Mistral AI的8x7B MoE模型相当。这一现象引发了业内对于“参数数量与模型性能”关系的深入反思。

  在此背景下,面壁智能的最新研究成果显得格外引人注目。据悉,面壁智能自2020年开始训练大模型以来,便始终致力于提升模型训练的效率。他们坚信,“让每一个参数发挥最大的作用”,在同等参数量上实现更好的性能,才是解决大模型“高效”训练的核心。

  今年2月,面壁智能发布了MiniCPM 2B模型,该模型在较小的参数量基础上实现了与Mistral-7B相当的性能,验证了其“低参数、高性能”的方。更重要的是,面壁智能通过这一系列研究,成功降低了千亿大模型的训练成本。

  4月11日,面壁智能又推出了新一代端侧旗舰大模型系列,包括显著增强OCR能力的2.8B多模态模型MiniCPM-V 2.0、仅1.2B却强过llama2-13B的MiniCPM-1.2B模型等。这些模型的推出进一步证明了面壁智能在高效训练大模型方面的实力。

  据ITBEAR科技资讯了解,面壁智能之所以能够在模型训练效率和性能上取得显著成果,得益于他们独特的“高效训练”理念以及在小模型上的深入探索。通过小模型验证大模型的训练投入产出比,面壁智能走出了一条独特的研发路线。这不仅使他们在资源有限的情况下实现了模型的高效训练,还为未来实现通用人工智能(AGI)奠定了坚实的基础。

  近日,面壁智能也完成了新一轮数亿元融资,这将为他们未来的研发工作提供更多的资金支持。在追求高效训练的道路上,面壁智能正不断取得新的突破,为大模型领域的发展注入了新的活力。

  【ITBEAR科技资讯】4月17日消息,近日,国内首个“AI评标师”已在国内大型企业国家能源集团投入使用。这一创新利用AI技术进行采购场景的优化,显著提升了评审准确率,为企业带来了前所未有的变革。据统计,央企和国企的招标采购规模相当可观。2022年,国有企业的采购金

  MiniMax 稀宇科技推出万亿参数MoE模型abab 6.5 ,核心能力接近 GPT-4

  【ITBEAR科技资讯】4月17日消息,国内AI初创企业MiniMax稀宇科技今日宣布,他们已成功研发出基于MoE(Mixture of Experts)混合专家模型架构的abab 6.5系列模型,这标志着该公司在人工智能领域取得了重要突破。据悉,该系列模型的核心能力已经开始接近当前领先的GPT-4、Cl

  【ITBEAR科技资讯】4月17日消息,英特尔在最近的一篇博客中透露,他们已经广泛地将人工智能(AI)技术应用于包括酷睿Ultra处理器在内的各种工作中,特别是在处理器的热设计上。酷睿Ultra处理器作为英特尔的客户端产品代表,在运行过程中重度依赖于睿频功能。然而,睿频加

  【ITBEAR科技资讯】4月17日消息,OPENAI今日发布了一项新的API,专为需要处理大量内容的开发者设计。该批量处理API允许开发者一次性提交大量数据,并在24小时内接收处理结果,从而极大地提升了处理效率。这一新功能的推出,不仅为开发者带来了便利,同时也对OPENAI自身

  【ITBEAR科技资讯】4月17日消息,斯坦福大学近日公布了《2024年人工智能指数报告》。这份长达500页的研究报告,被誉为该校至今为止最为详尽的AI领域分析。它不仅深入探讨了人工智能技术的前沿进展,还广泛涉及了公众对此技术的认知以及与之相关的地缘动态。报告显示

  【ITBEAR科技资讯】4月17日消息,近日,在瑞士盛大举行的第27届联合国科技大会上,世界数字技术院(WDTA)向全球公布了《生成式人工智能应用安全测试标准》与《大语言模型安全测试方法》两大国际标准。据ITBEAR科技资讯了解,这两项备受瞩目的标准并非一蹴而就,而是由Ope

  【ITBEAR科技资讯】4月17日消息,近日,第27届联合国科技大会在瑞士日内瓦隆重召开,吸引了全球科技领域的目光。在4月16日的会议上,新成立的国际组织世界数字技术院(WDTA)公布了两项重要的国际标准——《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》

  【ITBEAR科技资讯】4月17日消息,亚马逊近日宣布,其旗下音乐应用 Amazon Music 已向部分美国用户开放了AI生成歌单功能“Maestro”的测试。这一新颖功能允许用户通过输入多样化的提示,包括文字、表情符号或它们的组合,迅速生成个性化的定制歌单。Maestro功能的操作界

  【ITBEAR科技资讯】4月17日消息,昆仑万维今日宣布,其天工3.0大模型在性能方面取得了显著提升,并已向全社会开放公测其旗下的天工SkyMusic音乐大模型。据了解,天工3.0拥有高达4000亿参数,已超越拥有3140亿参数的Grok-1,从而成为全球最大的开源MoE大模型。该模型在语

  【ITBEAR科技资讯】4月16日消息,科技巨头微软公司近日宣布,将向阿联酋人工智能(AI)技术控股公司G42进行一笔高达15亿美元(约合人民币108.75亿元)的战略投资。此举旨在深化双方的合作,共同推进人工智能技术的发展,并将微软的尖端技术引入阿联酋及全球市场。作为此次投

  【ITBEAR科技资讯】4月16日消息,OpenAI的CEO阿尔特曼和COO布拉德・莱特凯普近日一同参与了YouTube频道“20VC”的对话节目。在这次对话中,两位高管就AI技术的发展及其商业应用前景进行了深入的探讨。阿尔特曼认为,当前限制AI发展的主要因素在于地缘、社会经济等方

  【ITBEAR科技资讯】4月16日消息,据彭博社的马克·古尔曼透露,苹果正计划在iOS 18中首次推出全新的人工智能功能,而这些功能将完全不依赖云服务器运行。在今日的“Power on”时事通讯问答栏目中,古尔曼提到:“全球都在期待苹果在6月即将发布的大型人工智能产品,初步

  【ITBEAR科技资讯】4月16日消息,百度于今日举办了Create 2024百度AI开发者大会,百度创始人李彦宏在会上再次重申,开源模型在未来可能会逐渐落后。李彦宏曾公开表示,只有闭源模型才具备盈利能力,从而能够吸引更多的人才和算力资源。相比之下,开源模型的社区贡献率较

  【ITBEAR科技资讯】4月16日消息,近日,在百度举办的Create 2023 AI开发者大会上,小度科技推出了全新的DuerOS X操作系统。该系统是基于百度文心大模型全面升级的成果,被誉为全球首个AI原生操作系统。DuerOS X在多模态感知与拟人化呈现上取得了显著进展,预期将为人机

  【ITBEAR科技资讯】4月16日消息,谷歌旗下AI研究部门DeepMind的首席执行官Demis Hassabis近日透露,谷歌计划投入逾1000亿美元用于人工智能技术的研发,这一巨额投资凸显了硅谷在AI领域的激烈竞争。Hassabis还自豪地指出,谷歌的计算实力已经超越了微软等其他行业巨头。

  本网站LOGO小熊标志受版权保护,版权登记号:鲁作登字-2015-F-025467,未经ITBEAR官方许可,严禁使用。


雷火电竞app官网