· Yi-34B在关键指标上已经处于市场领先地位,包括Hugging Face English的开源社区平台和Meta备受好评的Llama 2,在最新的C-Eval中文评分排名中上升至100%,优于所有领先的开源模型可用的。全球开源大型模型第一名、“双冠军”。
零一愿望已经储备了未来所需的芯片,今年早些时候还向风险投资机构创新工场借钱,进行了大量的半导体储备。
创新工场董事长兼首席执行官李开复表示:
11月6日,创新工场董事长兼CEO李开复创立的人工智能公司AI发布了首个开源中英双语大型模型,Yi.do。与此同时,零一心愿完成阿里云领投的新一轮融资。 Zero One Thing 目前估值超过10 亿美元,成立不到8 个月就成为独角兽。
Yi-34B 在关键指标上优于市场上已有的领先开源模型,并由Hugging Face 英语开源社区平台提供支持(Hugging Face 负责运行性能最佳的大规模语言模型排名)并且名列最新的C语言模型榜单。 -Eval中文评测,勇攀高峰。
截至11 月5 日,Yi-34B 在关键指标上的表现优于市场上已有的领先开源模型,包括广受好评的元开发的大规模语言模型LLaMA 2。 Hugging Face英文开源社区平台(Hugging Face负责运行性能最好的大型语言模型排行榜)和最新榜单C-Eval中文评测排名#1,成为全球开源“双冠军” “成为。这是迄今为止唯一一个在Hugging Face全球开源模型排行榜上获得第一名的国产模型。
“对于大型开源模型来说,34B 是罕见的‘中庸之道’尺寸。”
中英双语开源大模型“Yi”系列有两个版本:Yi-6B(参数规模60亿基础模型)和Yi-34B(参数规模340亿基础模型)。
中英双语开源大模型“Yi”系列有两个版本:Yi-6B(参数规模60亿基础模型)和Yi-34B(参数规模340亿基础模型)。
李开复认为,340亿个参数是大型开源模型所缺乏的“中庸之道”规模。在达到“涌现”门槛并满足精度要求的同时,制造商可以使用高效的单卡推理并获得友好的培训成本。从参数和性能来看,Yi-34B相当于使用了LLaMA 2-70B不到一半的参数,并在各项测试任务中取得了超越世界领先者的成绩。
据报道,Yi 目前拥有世界上任何大型模型中最长的200K 上下文窗口,可以处理大约400,000 字的文本。这意味着Yi-34B可以理解1000页以上的PDF文档,可以替代很多依赖矢量数据库通过上下文窗口构建外部知识库的场景。
在大型语言模型中,上下文窗口是大型模型综合计算能力的关键指标之一。这对于理解和生成与特定上下文相关的文本非常重要。窗口较长的语言模型意味着语言模型可以进行更多的处理。更丰富的知识、数据库信息,在法律、金融、媒体等场景中生成更加一致、准确的文本。 OpenAI 的GPT-4 上下文窗口为32K,文本吞吐量约为25,000 个单词。今年3月,硅谷AI初创公司Anthropic的大型模型Claude2-100K将其上下文窗口扩展到100K。
“团队正在对标OpenAI 和Google 等领先厂商,我们已经储备了未来所需的芯片。”
今年3月下旬,李开复宣布将携Project AI 2.0进军大型模型行业。 7月,李开复创办“AI 2.0”公司零一愿望。
李开复表示,“零一心愿有一个坚定的目标,就是成为全球第一个进入梯队的人。从我们聘用的第一个人,我们写的第一行代码,到我们设计的第一个模型,成为“世界第一”,我们已经组建了一支可以与OpenAI、谷歌等顶级厂商抗衡的团队,并且经过半年左右的努力,我们已经实现了“稳定的步伐和全球水平的研究和工程能力”。第一份具有全球竞争力的辉煌成绩单出炉,可以说,一34B不负众望,一鸣惊人。
灵一湾表示,该公司拥有100多名员工,其中一半以上是大型跨国公司和中国科技公司的语言建模专家。技术副总裁是Google 聊天机器人Bard 团队的早期成员,曾领导或参与过Bert 和LaMDA 等大型模型在多轮交互和个人助理等多个方向的研究和工程实现。首席架构师是TensorFlow 的重要创始成员,与著名的Google Brain 研究人员Jeff Dean 和Samy Bengio 等人合作。
Yi-34B的核心人物是黄文浩先生和戴宗宏先生,负责前期训练的黄文浩先生是驰远人工智能研究院的毕业生,此前曾担任健康技术总监。计算研究中心.在加入致远之前,他曾在微软亚洲研究院担任研究员,研究工作包括自然语言理解、实体提取、对话理解和人机协作。易训。戴宗宏,零千AI基础设施副总裁,曾任阿里巴巴达摩院机器智能技术高级算法专家、华为云人工智能CTO。在阿里巴巴期间,他建立了阿里巴巴搜索引擎平台,后来带领团队开发了图像搜索应用程序破莱淘。
对于对于大规模语言模型很重要的底层算力,李开复表示,他们在创业之初就有了储备和计划。
去年,美国总统乔·拜登禁止英伟达向中国客户销售尖端人工智能半导体,上个月美国进一步收紧这些规定,允许英伟达销售专为中国设计的尖端人工智能半导体。级别稍低的芯片。李开复最近在接受海外媒体采访时称这种情况“不幸”,但表示01W已经在储备未来所需的芯片。今年早些时候,该公司从风险投资公司创新工场借钱建立了庞大的半导体库存。李开复说:“我们基本上‘赌’了一切,甚至超出了我们原来的账户余额。我们觉得必须这么做。”
Zero One Thing 已经在规划一项超越其刚刚起步的开源模式的商业战略。该初创公司计划与客户合作开发满足特定行业需求的独特替代品。 Yi-34B 的名字来源于训练中使用的340 亿个参数,但这家初创公司已经开发了参数超过1000 亿个的模型。李开复说道: “我们的专有模型基于GPT-4(OpenAI 开发的大规模语言模型),也称为性能测试,用于衡量计算机系统、软件应用程序或硬件性能的测试。它的基准是“组件).方法)。
据李开复介绍,零一下一步将基于小蚁系列大模型打造To C超级应用(Super App),“超级App的雏形将在近期与大家分享。” AI 2.0时代的商机一定是一个超级应用,而这个超级应用很可能应该是一个消费级的超级应用,一个面向国内外用户的ToC超级应用。 ”
“AI 2.0是史上最大的技术革命,AI 2.0改变世界的最大机会一定是平台和技术。就像PC时代的微软Office,移动互联网时代的微信、抖音、美团一样,商业化”李开复表示:“To-C应用一定是最具增长潜力的应用。”他强调,持续提升To-C应用水平极其重要。未来的超级应用应该基于这个原则来推广和开发。