小米SU7升级
当时,财经评论员万喆给出了一个结论。他说,观察小米造车,一个不能忽视的大背景,是中国新能源汽车市场的日趋成熟和产业的整体积累,无论是产品、技术,还是供应链和配套能力,都具备了很强的竞争力,因此,小米汽车既能看到更多元的需求,又可以站在整个产业转型升级的肩膀上,集成出更强大的制造能力,此时入局,并不算晚。
目前小米大模型已经实现了从一代到二代(MiLM2)的升级迭代。此次迭代不仅扩充了训练数据的规模、提升了数据的品质,更在训练策略与微调机制上进行了深入打磨,增强了技术实力并全面升级了配套的部署技术。小米第二代大语言模型的几个主要升级是:
• 第二代大语言模型丰富了模型的参数矩阵,参数规模同时向下和向上扩充,实现了云边端结合,参数尺寸最小为0.3B,最大为30B;
• 第二代大语言模型在10大能力维度上,相比于第一代模型平均提升超过45%,其中指令跟随、翻译、闲聊等对于智能助手而言比较关键的能力上,效果处于业界前列;
• 第二代大语言模型在端侧部署上支持3种推理加速方案,包括大小模型投机、BiTA、Medusa,并且自研量化方案相比于业界标准高通方案,量化损失降低78%;
• 第二代大语言模型支持的最长窗口为200k(第一代为4k),在长文本评测中,效果处于业界前列。
01 小米自研大模型技术探索与创新
小米大模型团队在预训练、后训练、量化、推理加速等方向做了大量的技术探索和创新,并将部分成果以论文的形式发布出来,推动大模型技术的发展。
在2024年,小米大模型团队发表了11篇论文(5篇ACL、3篇EMNLP、1篇NeurIPS、1篇ECAI、1篇COLING),申请了30+项发明专利,其中部分代表性的工作如下:
• SUBLLM:基于transformer结构,创新性地提出了一种新的模型结构,设计了Subsampling、Upsampling和Bypass等新模块,使得模型能够区分重要token和不重要token,针对重要tokens花更多的算力学习,保持few shot能力不变的同时,训练和推理速度分别提升34%和52%,对标Google Deepmind的mixture of depths工作,兼容现有attention based大模型生态。
• TransAct 大模型结构化剪枝方法:为了在大模型上同时实现高度压缩和较小损失,小米大模型团队设计了 TransAct 剪枝方法。本方法以减小 Transformer 模块内隐藏表征维度为目标,以各神经元的激活值大小为依据,剪除激活值较小的神经元,形成类低秩表示的模块结构,同时保留 LayerNorm 等对扰动敏感的模块间隐藏表征维度。对比之前业界最佳的剪枝方法,TransAct方法剪枝模型的KV Cache下降了50%,推理速度提升了20%(小米14手机测试)。
• INTRADoc注意力机制:通过屏蔽无关文档,让每个token的概率仅取决于同一文档中的上文信息,进而消除了来自之前无关文档的潜在干扰信息,并显著地提高了模型上下文学习、知识记忆、上下文利用能力。
• Mixture of Diverse Size Experts :一种新的MoE结构,名字叫MoDSE,在每一层中设计大小不同的专家结构,并同时引入了一种专家对分配策略,以在多个 GPU 之间均匀分配工作负载。在多个基准测试中,MoDSE 通过自适应地将参数预算分配给专家,在保持总参数量和专家个数相同的情况下,表现优于传统 MoE 结构。
02 MiLM2实力进阶,二代效果全方位提升
二代模型MiLM2系列融合多项前沿技术,实现技术能力升级的同时模型效果全面超越前代,其中,MiLM2-6B模型与MiLM2-1.3B模型经过进一步升级打磨,实力更上一层楼。
小米大模型团队采用自主构建的通用能力评测集Mi-LLMBM2.0,对最新一代的MiLM2模型进行了全方位评估。该评测集涵盖了广泛的应用场景,包括生成、脑暴、对话、问答、改写、摘要、分类、提取、代码处理以及安全回复等10个大类,共计170个细分测试项。以MiLM2-1.3B模型和MiLM2-6B模型为例,对比去年发布的一代模型,在十大能力上的效果均有大幅提升,平均提升幅度超过45%。
小米的「人车家全生态」战略,旨在构建一个涵盖人、车、家等多元化生活场景的超级智能生态系统。在这个系统内,实时交互成为常态,每时每刻都需要精确对接用户千差万别的个性化需求,这对于大模型的生成、闲聊、翻译等能力提出了更高的要求。在这些关键能力上,MiLM2-6B模型的评测成绩十分优异,对比业内同参数规模模型也有较优的效果。
03 MiLM2模型矩阵,云边端结合赋能「人车家全生态」
MiLM2模型矩阵主要在参数规模和模型结构两个方面打造纵深,目的是为了适应多元化的业务场景并在小米生态中挖掘更多的落地场景。
大模型的迭代,也是一个重点突破、打磨模型矩阵的动态过程。在坚持轻量化部署的大原则下,小米自研大模型团队充分考虑了集团内部多元化的业务场景及不同落地场景的资源限制,构建并不断扩充了自研大模型的模型矩阵,将大模型的参数规模灵活扩展至0.3B、0.7B、1.3B、2.4B、4B、6B、13B、30B等多个量级,以适应不同场景下的需求。
• 0.3B~6B:终端(on-device)场景,应用时通常是一项非常具体的、低成本的任务,提供不同参数规模的模型以适配不同芯片及存储空间的终端设备,微调后可以达到百亿参数内开源模型效果。
• 6B、13B:在任务明确、且需要比6B以下参数模型提供更多的零样本zero-shot/上下文学习时,6B和13B是一个可能有LLM涌现能力的起点,支持多任务微调,微调后可以达到几百亿开源模型的效果。
• 30B:云端场景,具备相当坚实的zero-shot/上下文学习或一些泛化能力,模型推理能力较好,能够完成复杂的多任务,基本达到通用大模型水平。
小米自研大模型矩阵不仅包含多样的参数量级,同时也纳入了各种不同的模型结构。在二代模型系列中,大模型团队特别加入了两个MoE(Mixture of Experts,即混合专家模型)结构的模型:
• MiLM2-0.7B×8
• MiLM2-2B×8
两个模型的差异主要体现在训练总参数量、词表大小等方面。MoE模型的工作原理是将多个承担特定功能的“专家”模型进行并行处理,进而综合各模型的输出来提高整体预测的准确度和效率。以MiLM2-2B×8为例,根据评测结果,该模型在整体性能上与MiLM2-6B不相上下、表现出色,而解码速度实现了50%的提升,在保证模型性能不打折扣的同时,提升了其运行效率。
04 「端」「云」并重:4B模型端侧落地,30B模型云端部署
端侧新增4B模型
小米是全球最大的 IoT 设备制造商,不仅需要解决 AI 大模型在终端设备上如何高效部署的问题,攻克存储空间和内存带宽等方面的难题,还需在各类场景中确保用户的隐私和数据安全。去年,小米的大模型团队在端侧部署方面取得了显著进展,使小米成为业界首个在移动设备上成功运行1.3B和6B大模型的公司。随着二代大模型的迭代更新,端侧部署技术也有了新的突破,新的 4B 模型将在端侧发挥更重要的作用。
小米大模型团队创新性地提出了“TransAct 大模型结构化剪枝方法”,仅用8%的训练计算量即从6B模型剪枝了4B模型,训练效率大大提升;同时小米大模型团队自研了“基于权重转移的端侧量化方法”和“基于Outliers分离的端侧量化方法”,大幅降低了端侧量化的精度损失,对比业界标准高通方案,量化损失下降78%。MiLM2-4B模型总共40 层,实际总参数量为3.5B,目前已经实现在端侧部署落地。
• Qwen2.5-3B:Qwen2.5-LLM: Extending the boundary of LLMs (GPQA, BBH, Winogrande, GSM8K, MATH, MBPP-Plus) and OpenCompass (, MULTI-NLI, WorldSense)
• Llama3.2-3B:Evaluate with OpenCompass and Llama-3.2-3B model weight
• Qwen2.5-3B-Instruct结果采用FollowBench和IFEval官方代码测试
云端新增30B模型
MiLM2-30B 模型是小米二代大模型系列中参数量级最大的模型,专为云端场景设计。在云端环境中,大模型面临着多样化和高难度的挑战,需要更高效地遵从并执行用户的复杂指令,深入分析多维度任务,并在长上下文中精准定位信息。针对这些重点目标,大模型团队选择了一系列开源的评测集,对 MiLM2-30B 模型的专项能力进行评估。结果表明,MiLM2-30B 模型在指令遵循、常识推理和阅读理解能力方面均有超越主流竞品的出色表现,具体的评测集和评测结果如下:
• GPT-3.5和GPT-4:FollowBench,IFEval (Zhou et al., 2023)
• Qwen2.5-32B-Instruct结果采用FollowBench和IFEval官方代码测试
• Llama3.1-70B:The Llama3 Herd of Models
• Qwen2.5-32B:Qwen2.5-LLM: Extending the boundary of LLMs (GSM8K, MATH, winogrande) and OpenCompass ()
• Qwen2.5-32B-Instruct结果采用github.com/THUDM/LongBench代码测试得到,包含所有中文和代码测试集
目前,小米第二代自研大模型取得的进步和成果,已经开始渗透到真实的业务场景与用户需求中,不仅帮助集团内部解决了多样化的业务需求、实现工作提效,也已经在澎湃OS、小爱同学、智能座舱、智能客服中开始应用落地。
未来,小米大模型团队将持续探索前沿技术,不断突破自我,以期在云边端结合的框架下,实现自研大模型的全面升级与应用,为用户提供更加智能、便捷、个性化的服务。同时,团队还将紧密围绕「人车家全生态」场景,深入挖掘用户需求,不断优化产品功能,致力于打造一个更加智能、安全、舒适的生活环境,让科技更好地服务于人类生活。
具体来看,此次升级主要内容包括:城市领航辅助“全国都能开”,开启全量推送;实现有路就能开,导航能到的地方,车就能到。人车家全生态场景升级,新增语音车控家,支持一句话多指令。
为了挽回颓势,华为借着重返5G的流量窗口,重新推出全新问界M7。这一波,不仅打爆了市场,更是拯救了华为的汽车业务。和老款M7相比,全新M7智驾技术更成熟了,整车配置也得到了大幅升级,但入门价格却降到了25万左右。相比于老款30万以上的门槛价,全新M7就性价比拉满了。
上市首月,斩获6万个订单,50天后,直接拿下8万个订单,12个月就交付了20万辆。问界全新M7的爆红,几乎是一手带飞了赛力斯。在全新M7火了之后,问界全新M5、问界M9,也都卖飞了。尤其是问界M9,单车均价超过50万,月销竟然突破了1.6万辆。
为什么全新问界M7和问界M9没有掉入网红车的流量陷阱呢?这主要有两个原因:
一是,交付。自从手机厂介入新能源汽车市场以后,预售也被带入汽车行业了。先开发布会,用发布会造势,提前锁定订单。客户下单后,就得等工厂生产,短的等两三周,长则等两三个月。这种预售制,本质上是一种饥饿营销,最早是苹果公司开创,被马斯克引入特斯拉。有特斯拉的成功,各大国产造车新势力就都这么玩了。
可问题是,第一波交付跟不上,销量就会迅速崩盘。一个最典型的案例就是奇瑞与华为联合打造的“智界S7”。在预发布时,智界S7就提前拿下了1万个订单,发布会开完,订单数迅速突破2万辆。就在大家以为,智界S7会复制问界M7的传奇时,销量数据却出乎意料。
不是没有订单,而是奇瑞工厂还在升级改造,根本交付不出来。手握2万订单,月销却长期稳定在2000辆左右,甚至低至1000辆。这数据一出来,没人希望自己成为冤大头,而且等待交付的时间太久,很多订单就被取消了,新增订单也跟不上。
二是,口碑。第一波交付跟上来以后,还要看首批用户的口碑。这批核心用户,是一个爆款车型的基本盘。要是首批交付过后,用户口碑良好,就会迅速出现一个人传人的现象。比如问界M9就是充分吸取教训,发布即交付,拿下订单,马上交车。第一批车主拿到车后,口碑也跟着发酵。一边是既得订单,海量交付,另一边是,车主口碑,持续发酵。它就会形成一个良性循环,在这个过程中,就算有老客户取消订单,但新增订单也完全足以覆盖。
目前,新势力车企能做到发布、交付、口碑发酵、订单大量新增的爆款车型,主要有五款:一是,理想L6、L7。二是,问界全新M7、M9。三是,小米SU7。其中,小米SU7最为典型。
它在发布会后,迅速斩获8万多个订单,随后,迅速开启交付,第一个月就突破1万辆了。因为累计订单太多,中途也有不少用户取消订单,但因为交付规模很大,单款车型,每个月交付都突破1万辆了。即便有不少用户取消订单,可新增订单也完全足以覆盖。就这,还是小米SU7没打折,没降价的情况下,拿下的销量。
为了提高交付,小米中途还升级了一次生产线。到今年10月份底,小米首款SUV也即将亮相,正式上市则定在了2025年。
具体来看,城市领航辅助功能在满足智能驾驶安全里程后即可自动开启,小米汽车 App 现已支持智驾安全里程查询。优化“小路通行”功能。升级后,车辆具备对周围环境精细建模能力,尽可能还原真实路况路情。
得益于AI全面赋能,小米产品用户体验持续增强。2024年7月,我们首次发布声音大模型并将首次搭载在Xiaomi SU7系列上,为车主提供车外唤醒防御功能。同时,我们还升级了小爱同学的多模态识别和理解能力,为用户提供如AI文档问答、AI智能成片等功能。另外,我们还对手机、平板、电视、音箱等产品进行大模型小爱同学全量升级,致力为用户提供更加智能化的体验。
6月及7月,小米SU7先后获推1.2.0版及1.2.3版OTA升级。本月也已推送多次OTA升级,先后带来后排Pad地图选点同步流转至前排大屏、微信分享地址至车机导航、小米手机快速分享地点至车机、可以隔离隐私数据的“代客模式”、弹射模式及Boost 模式下的氛围动效等多项功能。
如果在行驶中,手机端收到OTA升级通知,需注意:
车辆正常行驶时,为保障行驶安全,即使用户在手机端点击【开始升级】,系统也会提示用户推迟升级。
车辆更新前请确保动力电池剩余电量>20%,并处于驻车状态。
请将车辆停放在安全且网络条件良好处。升级过程中车辆无法使用,且升级无法暂停,还请您预留足够的升级时间。
为了保障用户的行驶安全,避免行车过程中打扰用户,车机OTA推送信息会在停车后 > 挂P挡的情况下弹出提示,流程如下:
OTA升级包在有网络的环境下会自动下载。下载完成后,挂P挡停车时车机上会弹窗提示升级。
如果在车辆停在道路时,您误操作选择了升级,将有2分钟时间可以取消。在合适时间希望升级时,可以进入“设置”-“系统”-“版本信息”继续升级。
如果您在车辆行驶过程中点击【开始升级】,为了保证车辆行车安全,小米汽车不会进行升级。
于是乎,小米SU7 Ultra也随之应运而生。作为小米SU7家族中的“超大杯”车型,小米SU7 Ultra相较于小米SU7的前三个版本,在外观设计和性能上都做了很大程度上的升级。
首先就是整车的下压力,一台性能车如何做到“贴地飞行”,下压力是非常关键的因素。小米SU7 Ultra加装了固定的大尾翼,能够让新车的下压力高达735kg,前后大尺寸的扩散器搭配上前后轮开放式轮拱设计,其中前扩散器两侧做成了U型风刀,以至于让整台车的下压力高达2145kg。不仅如此,大面积的碳纤维覆盖也让这台车的重量减重到了1900kg,也就是说,这台小米SU7 Ultra的下压力要比整车的重量还大。
小米SU7 Ultra在动力方面也做了全面的升级,双V8s+V6s三电机全轮驱动,其中小米超级电机V8s的最大马力为578Ps,峰值扭矩高达635N·m综合马力仅高达1548Ps,这数据,比布加迪Chiron的1500Ps还要高,我想小米SU7 Ultra是迄今为止最大马力的四门轿跑了吧。