Kimi向Open AI发起冲击
创始人
2024-11-17 12:03:03
0

来源:市场资讯

来源:华尔街见闻

5天前,炙手可热的AI独角兽公司创始人杨植麟陷入一场仲裁纠纷,他坚定选择了依法抗辩。AI大模型正处于技术追赶的关键阶段,他要把重心放在技术和产品上。

一年前的今天,Kimi正式面向全社会开放服务。一年后,Kimi迎来重磅技术迭代。

11月16日,杨植麟在媒体沟通会上表示,Scaling范式已经发生变化,公司接下来的重点是基于强化学习去“Scale”。Scaling是支撑AI技术在过去几年发展的根本原因,但并不是把模型做得更大就好,核心是找到Scaling的有效方法。

杨植麟表示,简单去预测下一个token,其实有一定的局限性,我们希望AI能够去探索,接下来很重要的一个东西就是让AI具备思考的能力。

会上,月之暗面发布了最新的数学模型k0—math,该模型主要通过数学场景去培养和训练AI深度思考的能力。这是Kimi 推出的首款推理能力强化模型。

Kimi将苗头对准OpenAI的最新技术。在多项基准能力测试中,k0-math 的数学能力可对标OpenAI的o1系列。比如,在中考、高考、考研以及包含入门竞赛题的MATH等 4 个数学基准测试中,k0-math 初代模型成绩超过o1-mini和o1-preview模型。

不过,追赶OpenAI并没有那么容易。在两个难度更大的竞赛级别的数学题库 OMNI-MATH 和 AIME 基准测试中,k0-math 初代模型的表现分别达到了o1-mini最高成绩的90%和83%。

目前,月之暗面已经开始在k0-math上做产品化,公司将强化学习用到Kimi探索版,让它做更复杂的搜索。据杨植麟介绍,Kimi探索版在搜索意图、信源分析、链式思考方面表现显著。

同时,数学本身有更广泛的应用场景,月之暗面计划把k0—math应用到教育场景,包括K12、大学甚至是竞赛。

过去一年多,月之暗面经历了飞速发展,无论是产品技术还是估值,都成为最受瞩目的AI独角兽公司。

2023年3月,月之暗面成立;11月,Kimi 智能助手宣布全面开放,今年初,该产品因“长文本”出圈,诞生Kimi概念股,受到广泛关注。截至目前,月之暗面已完成四次融资,阿里、腾讯纷纷入股,公司估值超过200亿元。

杨植麟在会上透露,Kimi在10月月活超过3600万,而且还在持续更快的增长。业内人士分析,Kimi是仅次于豆包的AI应用,目前处于第一梯队,不过,相对国外几亿量级的用户而言,Kimi还有很长一段路需要追赶。

公司已将Scaling范式切换到强化学习,华尔街见闻获悉,公司的多模态产品已经处于内测当中,预计很快会对外公布,这些动作无疑将带来更多用户。

在这场全球AI竞赛中,杨植麟要带领月之暗面在一个裹挟着巨大希望和时刻被质疑的行业里,闯出一条通往AGI的路,这场战役才刚刚开始。

以下为交流会实录(经编辑):

问:数据会不会成为比较大的挑战,怎么判断哪些数据可以用,哪些有价值?

杨植麟:这个问题对于强化学习来讲是一个核心问题,如果是像以前做Next—Token prediction,它是一个静态数据,相对来说,这些技术会更成熟一些。但是对强化学习来讲,所有的学习数据可能都是自己生成的,就会对奖励模型效果提出挑战。

对于这个问题,核心是怎么更好地训练奖励模型,设置奖励的机制,如果做得足够好话,一定程度上是可以被解决的。有点像以前的(pretraining)你还要做很多的对齐工作,我觉得其实对强化学习来说也是一样的。

问:对于强化学习,怎么平衡数据、算力、算法?

杨植麟:我觉得AI的发展就是一个荡秋千的过程,你会在两种状态之间来回切换,一种状态就是算法数据是非常ready,但是你的算力不够。所以你要做更多的工程,把infra做得更好,它就能够持续地提升。我觉得其实从transformer诞生到GPT4,其实更多的矛盾就是我怎么能够Scale,但是你可能在算法和数据上可能没有本质的问题。

今天,当你Scale差不多的时候,你会发现我再加更多的算力,并不一定能直接解决这个问题,核心是,因为你没有高质量的数据,小几十G的token是人类互联网积累了20多年的上限。这个时候要做的事情,就是通过算法的改变,让这个东西不会成为瓶颈。所有的好算法就是跟Scaling做朋友,如果你的算法能够释放Scaling的潜力,它就会持续变得更好。

我们从很早就开始做强化学习相关的东西,我觉得这个也是接下来很重要的一个趋势,通过这种方式去改变你的目标函数,改变你的学习的方式,让它能持续的Scale。

问:这个产品如果一至两周之后放到Kimi探索版里,用户可以选择用这个东西,还是你们会根据用户的提问来分配模型?怎么去平衡成本问题?

杨植麟:这个问题特别好,接下来的版本大概率会让用户自己去选择。早期通过这种方式可以更好地分配或者更好地满足用户的预期。

这里面最终可能还是一个技术问题,两个点,一个点是能够动态地给它分配最优的算力。如果模型足够聪明的话,简单的问题它的思考时间会更短。但是它可能还不是到最优的点,我觉得它还有更优,这是我们通过算法迭代去做的。

长期来讲,第二个点是成本也是不断下降的过程。比如说,今年如果达到去年GPT4模型的水平,可能只需要十几B的参数就能做到。所以我觉得整个行业先做大或者做小,是这样的普遍普世的规律。

问:怎么看待AI创业公司被收购,人才回流大的现象?

杨植麟:这个问题我们没有遇到,但可能有一些别的公司遇到。

我觉得倒也正常,行业发展进入了一个新的阶段,它从一开始有很多公司在做。变成了现在少一点的公司在做,接下来大家做的东西会逐渐不一样,我觉得这是必然的规律。

我们主动选择做了业务的减法,你应该聚焦一些重要的事情,把一个产品做好,做到极致是最重要的。在几个大模型创业公司里,我们始终保持人数最少,保持卡和人的比例是最高的,我觉得这个是非常关键的。我们不希望把团队扩那么大,太大对创新有致命性伤害。如果想把团队保持在一定的规模,最好的方式是业务上做一些减法。

另外一点,我们也根据美国市场的情况去判断,哪个业务最后做大的概率更高,我们聚焦在上限最高的事情,而且跟我们AGI的misson也最相关。

问:多模态我们一直不做的原因是什么?

杨植麟:我们几个多模态的能力在内测。

我觉得AI接下来最重要的是思考和交互这两个能力,思考的重要性远大于交互,不是说交互不重要,我觉得思考会决定上限,交互我觉得是一个必要条件,比如说vision的能力,如果没有vision的能力没法做交互。

我觉得他们两个不太一样,多模态肯定是必要的,但是我觉得是思考决定它的上限。

问:怎么看自己跟豆包的竞争?

相关内容

热门资讯

天舟八号货运飞船发射任务取得圆... 央视网消息(新闻联播):11月15日23时13分,搭载天舟八号货运飞船的长征七号遥九运载火箭,在我国...
互联网演进跨越半世纪,智能化时... 科技产业应该去追寻星辰大海,这一点在今天已经构成了共识。那星辰大海到底有什么意义? 《赶往火星》一书...
通州台湖全国首个5G+元宇宙交... 11月15日,位于通州台湖的北京交响乐团新团址揭牌亮相,建团47年来,北交人终于拥有了属于自己的家,...
原创 旗... 大家好,我是外冷内热的冰河,在当前竞争激烈的手机市场中,消费者对于低价高性能手机的需求日益增长。以往...
老师家长注意!正在流行,已有孩... 最近一段时间, 在中小学生群体中掀起了“谷子”热,这些特色小物件深受孩子们的喜爱和追捧。“谷子”,是...
2024“数通链谷”杯第六届长... 2024“数通链谷” 杯第六届长三角区块链应用创新大赛决赛及颁奖活动日前在静安区市北高新举行。此次大...
智能体可以商业化了? 智能体和传统的问答机器不一样,它们能和用户连续对话,一步步深入问题的核心,这是它们的强项。前几天,我...
旗舰配置亲民价,iQOONeo... 大家好,来聊聊一款在双十一期间风头正劲的手机——iQOONeo9S Pro+,这款手机可真是不简单,...
金辰太阳能取得层压机用高温布定... 金融界2024年11月16日消息,国家知识产权局信息显示,秦皇岛金辰太阳能设备有限公司取得一项名为“...
成都武侯一街区实现“互联网+明... 中新网四川新闻11月16日电 “这个太方便了,扫一下二维码就能溯源食材,餐厅证照也一目了然。”在位于...
为什么现在的番茄没味儿?终于有... 为什么如今的番茄不如以前那样有浓厚的番茄味儿了?当地时间11月13日,世界知名学术刊物《自然》发表了...
浪潮信息元脑服务器新品发布,一... 来源:三号女青年 浪潮信息于近日隆重推出了其元脑®服务器第八代算力平台,这一创新力作采用了开放的架构...
中国无人机成功飞越珠穆朗玛峰,... 近日,我国大疆M300携带了30斤的物资,从世界最高峰——珠穆朗玛峰珠峰脚下出发,飞越峰顶,成功将物...
韩国“AI雄心”遇阻 超级计算... 【CNMO科技消息】韩国近年来在人工智能领域大展宏图,试图通过大规模AI计算集群在全球AI竞赛中抢占...
续航长无污染 “重庆造”氢动力... 当前,第十五届中国国际航空航天博览会(下称:珠海航展)正在珠海火热举办。11月16日,记者从两江协同...
智购科技:自动售货机的智能化升... 在科技日新月异的今天,自动售货机也踏上了智能化升级的快车道,从曾经单纯的投币取货机器,摇身一变成为功...
河南楚秣取得一种防止电缆导体松... 金融界2024年11月16日消息,国家知识产权局信息显示,河南楚秣企业管理咨询有限公司取得一项名为“...
Kimi向Open AI发起冲... 来源:市场资讯 来源:华尔街见闻 5天前,炙手可热的AI独角兽公司创始人杨植麟陷入一场仲裁纠纷,他坚...
飞行照相机 拉花机器人……这场... 智能无人机、拉花机器人、工业设计大模型……这两天,在高交会现场,众多参展商拿出自家的“科技牌面”,一...
46台发动机助力“太空快递”按... 中新社西安11月16日电 (记者 张一辰)北京时间11月15日晚,天舟八号货运飞船在长征七号运载火箭...