低调发育,人工智能技术,个月后,8,李开复和他的大模型团队首次亮相,微软,投资者,科学家,预训练,算法

 

这在过去是罕见的，因为 ToB 和 ToC，意味着公司组织、DNA、团队的技术构建方式不一样，原来做用户产品的，很难想象一夜之间能服务 B 端客户。但在大模型这个高门槛、高不确定性的创业赛道上，同时兼顾，已经成为大家共同的选择。

零一万物团队表示，AI Infra 支撑了其超行业水平的训练效果。通过 AI Infra，Yi-34B 模型的训练成本实测下降了 40%——如果说别的公司需要 2000 台 GPU 训练一个模型，那么零一万物可能只要 1200 台——进一步模拟上到千亿规模训练成本可下降多达 50%。

零一万物的路径选择，也是 AI 2.0 创业潮的产业缩影。开源、闭源并线进行，基础模型和超级应用都做，甚至 ToB、ToC 的商业化同时探索。

摘要

考虑到 AI 1.0 时代有些做不出收入的公司被淘汰的前车之鉴，李开复谈到，在 AI 2.0 时代，做出收入，并且是「持续做出高质量收入」就非常重要，零一万物接下来的 APP 以及未来的 Super APP 都应该基于上述原则去推动与发展。

在语言模型中，上下文窗口是大模型综合运算能力的金指标之一，对于理解和生成与特定上下文相关的文本至关重要。在文档摘要、基于文档的问答等下游任务中，长上下文的能力也发挥着关键作用，应用场景广阔，比如在法律、财务、传媒、档案整理等诸多垂直场景里，如果使用更准确、更连贯、速度更快的长文本窗口功能，就能更高效地提高生产力。

而李开复本人，也为零一万物的团队构成做出了最好的背书。作为第一代留学 CMU 的华裔 AI 科学家，经历过微软的 PC 时代，谷歌的移动互联网时代，李开复对 AI Native 应用有异于常人的敏感。不久前，在极客公园组织的西溪论道上，李开复对「什么是 AI Native 的应用」的定义，在产业圈快速蔓延，得到了一致认可。

对于接下来的计划，李开复剧透，在模型上，未来会陆续宣布更多团队成果，包括：更大尺寸、对话模型、加强的数学和代码模型、多模态模型。除了模型之外，一个 Super APP 的雏形也会在不久的将来跟大家分享。

零一万物自研出一套「规模化训练实验平台」，数据配比、超参搜索、模型结构实验都可以在小规模实验平台上进行，对 34B 模型每个节点的预测误差都可以控制在 0.5% 以内。

零一万物 AI Infra 负责人戴宗宏透露：两千亿模型的前置实验已经做完，在按部就班训练中；针对万亿模型的相关研究工作已经同步开展，希望整个训练过程一棒接一棒地持续滚动下去。

据悉，零一万物已完成新一轮融资，由阿里云领投。当前，零一万物估值已超 10 亿美元。

根据 Hugging Face 英文开源社区平台和 C-Eval 中文评测的最新榜单，Yi-34B 预训练模型取得了多项 SOTA 国际最佳性能指标认可，在一些关键指标上优于包括 Meta 的 Llama 2 在内的领先开源模型，是目前唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。公司企业资讯网 - 企业信息网

11 月 6 日，李开复在零一万物线上发布会中答记者问｜截图来源：极客公园

他认为，如果 PC 时代赋予给开发者用户的机会，是 computer on every Desktop；移动互联网带来的可能是基于位置的、个性化的、随时随地的计算；AI 2.0 时代带来的巨大机会，就是把一个超级大脑对接、赋能给每一个应用。

宛辰2023/11/06

李开复将公司的首次公开亮相称为「Yi」鸣惊人，表示 Yi-34B 是「全球最强开源模型」，通用能力、知识推理、阅读理解等多指标击败全球玩家。并称零一万物在数据采集、算法研究、团队配置等环节均为「世界第一梯队」，对标 OpenAI、谷歌等一线大厂。

对于做 Super APP 的方法论，李开复认为一定是一个很简单的开始，用精益创业的方法不断地迭代。就像抖音和微信的第一个版本，并不是超级应用，而是捕捉到了用户需求，并用新平台的技术精髓，做一个大家喜欢的简单应用，然后根据用户反馈不断调整，最终迭代成为超级应用。

Yi-34B 拥有全球最长 200K 上下文窗口，可处理 40 万汉字超长文本输入，相比之下，OpenAI 的 GPT-4 上下文窗口为 32 K，文字处理量约 2.5 万字，Anthropic 的 Claude2-100K 上下文窗口也只有 100K 规模。

零一万物强调其对大模型的数据筛选能力，让它获得了更多高质量的数据。首先，它先用 AI 做筛选，再进行人工评估、不断迭代，其数据滤除率约为同行的十分之一。其次，它的英文语料要高于中文语料，因为英文语料的质量更高。

基于上述判断，零一万物选择在 AI 2.0 时代，开发最好的大模型底座、行业模型，一边寻找最大的商机——一个消费者级别的超级应用。

目前，「Yi」有 Yi-34B、Yi-6B 两尺寸可选，均为双语（英文/中文），适合多元场景，对学术研究完全开放、同步开放，商用申请免费。

几个月来，零一万物的进展不可谓不顺利：

同时，李开复宣布零一万物已启动下一个千亿参数模型的训练，接下来也将快节奏推出 Yi 系列量化版本、对话模型、数学模型、代码模型、多模态模型等。

零一万物解释为什么选择 34B 的规模，图源 | 零一万物

这次亮相，零一万物也揭开了其团队构成这个神秘面纱的一角。会上，零一万物两位技术副总裁，Pretrain 负责人黄文灏和 AI Infra 负责人戴宗宏，也一同出席。零一万物方面称，团队核心成员拥有 Google、微软、阿里巴巴、百度、字节跳动、腾讯等国内外顶级企业背景，并持续延揽全球范围内最优秀的华人 AI 精英。