精选推荐为您推荐活动/内容

热议话题

仰望鼎曜发布会

参与

话题邀请:仰望鼎曜发布会

共 452 个人已加入讨论 立即参与

和新出行鸿蒙社区朋友汇报: 周五问界M8发布会,是重签约后由赛力斯主导的首次发布会,在重庆赛力斯工厂,根据我得到的信息大概率是由华为何刚总主讲,余承东不会讲 PPT,这也是双方都比较合适的选择。 何刚本人也是问界军团的负责人,希望 M8 能有一个务实的价格。

贺磊 点赞 10 评论 5
文章 新出行原创

新出行图文详解 257期:静态体验东风日产 NX7

目前东风日产 N 系列 SUV 仅有主打大空间家用取向的 NX8 一款车型。虽然在上市后收获不错的销量以及市场口碑,但偏家用的定位的确无法满足大部分年轻用户的需

阿迪同学 点赞 10 评论 6
新闻

预售价 32.98-41.98 万元 全新红旗 H9 开启预售

日前,全新红旗 H9 正式开启预售。新车共推出 4 款配置,预售先享价 32.98-41.98 万元。权益方面,全新红旗 H9 可享首发膨胀礼、诚意置换礼、零压

阿迪同学 点赞 11 评论 1

比亚迪仰望鼎曜的官图发一下,几个新出行社区用户关注的问题。 一这是一台闪充纯电车,具体参数还没公布,应该还有黑科技。 二昨晚 208 万价格是限量版,正式量产版应该国内发布,估计在 150 万左右,估计会有五座版。 三随后肯定有 SUV 版的,这是常规套路,比亚迪版的库里南,设计语言应该类似。

9
贺磊 点赞 7 评论 6
文章 新出行原创

新出行图文详解 261期:静态体验仰望鼎曜

作为比亚迪旗下高端新能源品牌,仰望始终以颠覆性技术打造顶级产品矩阵,先后覆盖硬派越野、性能超跑与豪华轿车多个细分赛道。在完成越野与超跑赛道的布局后,仰望正式将产

阿迪同学 点赞 16 评论 16

@余凯_地平线民工 发微博吐槽 网页链接,有的智驾芯片把稠密算力乘以六七倍,叫“等效算力”【图1】。 他自己就没这么夸张。地平线征程 6P 的稠密算力是 280 TOPS,标 560 TOPS,只乘了两倍。因为英伟达 Orin X 也是这么算的,他就把这个叫作“NV 算力”。 我第一反应,大家都不是老实人,都是往高了报,这不是五十步笑百步吗?你可以乘以 2,人家就不能乘以 4?只要胆子够肥,你乘 8 也可以啊! 可仔细一想,乘 2 和乘 6,真的只是胆子大小的区别吗?先别说乘 4、乘 6,光乘 2 这件事也值得查一查。英伟达和地平线凭什么能乘 2 呢? 假设模型有一组权重 [5, 0.01, 7, 0.02],刚好要和 [2, 3, 4, 6] 对应相乘,再把结果加起来【图2】。 ▸ 按稠密方式,四项都算。5×2+0.01×3+7×4+0.02×6=38.15。 ▸ 把第二、第四个权重改成零,只算第一项和第三项。5×2+7×4=38。 这道题里,答案只差了 0.15,乘法从四次减到两次。把小权重改成零,这一步叫剪枝。英伟达的芯片把这个规则做进了硬件【图3】。 权重每四个一组,最多留两个非零值。芯片知道留下的是哪两个位置,就只取对应的数来乘。对符合条件的矩阵乘法,同样的时间里,原来能算完一组,现在理论上能算完两组。于是就得到了两倍稀疏算力。网页链接 征程 6P 的 560 TOPS,官网也注明了是按 50% 稀疏条件折算的【图4】。 但问题来了,哪有这么巧,训练出来的权重每四个恰好有两个零? 这两个零是主动剪出来的。英伟达公开过一种做法。先把稠密模型训好,再把参与剪枝的权重四个一组,每组挑两个绝对值最小的置零。然后固定这些零,再训一遍,让剩下的权重重新调整【图5】。 那剪完到底损失多少,又快了多少? 英伟达拿 ResNeXt-101 做过图像分类实验【图6】。看表里的第二行,原来在 ImageNet 上的分类准确率是 79.3%,剪成 2:4 再训练,报告的准确率还是 79.3%。 这项测试里准确率没降,那速度提升是大是小,都是净赚! 同一颗 A100,FP16 稠密峰值是 312 TFLOPS,稀疏峰值是 624 TFLOPS,正好两倍【图7】。可用 TensorRT 8.0 跑完整个图像分类模型呢?一次处理 8 张图,图上大约快 10%。批量拉到 1024,才接近 20%【图8】。 为什么整网没快两倍?因为能吃到这两倍的,是符合 2:4 条件、又用上稀疏计算的那些层。其余层还得照跑,中间数据也还得读写【图9】。 也有剪了以后,效果补不回来的。我找到一篇 ICLR 2024 的论文,叫《A Simple and Effective Pruning Approach for Large Language Models》,提出的剪枝方法叫 Wanda。它把 LLaMA-7B 剪成 2:4,七项任务的平均准确率从 59.99% 掉到 48.53%。再做全参数微调,回到 56.19%,还差 3.8 个百分点【图10】。 同一篇论文另做了一项速度测试。2:4 的 LLaMA-7B,端到端用时从 312 毫秒降到 251 毫秒,速度约是原来的 1.24 倍【图11】。 那既然每四个能剪掉两个,每四个剪掉三个、每六个剪掉五个,能不能折算成四倍、六倍? 单看乘法次数,可以这么算。模型这头也有个取舍。同一个网络里剪得更多,损失更大。 但如果换成一个更大的网络再剪,最后留一样多的权重,能不能把效果补回来?另一篇 ICLR 2024 的论文就比了这个。 假设两边最后都只留 100 个非零权重。按 2:4 剪,可以从一个有 200 个权重位置的模型开始。按 1:4 剪,可以从一个有 400 个位置的模型开始。起步的网络更大,剪下去的比例也更高。最后都留下 100 个,哪个效果更好【图12】? 看图,在横轴上找同一个点,两边留下的非零权重就一样多。紫色是 2:4,棕色是 1:4。线越低,验证损失越小。这两条线挨得很近【图13】。 论文表 1 把差距算了出来,在这组 T5 实验里,留下同样 100 个非零权重。2:4 的效果大约要用 156 个权重的稠密模型才能追上,1:4 则要 162 个把稠密的 100 当基准。 第一步从 100 到 156,等效模型规模多了 56%。第二步从 156 到 162,再多的只有约 3.8%。这两个百分比说的是,达到同样的验证效果,稠密模型得做多大。 读完我倒愿意收回“五十步笑百步”这句。余凯这次的质疑有道理。毕竟2倍稀疏的提升立竿见影,也有理论依据。但2倍稀疏到4倍、6倍稀疏,究竟有多大提升、难道只是为了追求一个更大的TOPS显得好看?目前没有定论,需要进一步的研究论证! 就这笔账来说,余凯和黄教主倒还真算老实人。#地平线HSD##AI算力#DeepSeek

13
张抗抗KK 点赞 2 评论 2

「仰望鼎曜」,社区朋友都要知道 车长 5,600mm 车宽 2,030mm 车高 1,590mm 轴距 3,500mm 对开门设计 四轮电机 易四方 辅助驾驶首搭比亚迪自研 4nm 璇玑 A3 智驾芯片 第二代刀片电池,CLTC 工况续航超过 1,000 公里 208万,定金30万!

10
阿平同学 点赞 5 评论 3

今天晚上九点左右开始,我在新出行社区会持续发帖,图文直播仰望行政旗舰轿车鼎曜的发布会,大家可以多多关注,新出行也会在今晚第一时间发出来这台车的图文详解。 大家可以随时进新出行仰望社区关注动态。

贺磊 点赞 14 评论 4

新出行刚得到消息:问界 M8 的 13 号上市发布会的地点是重庆赛力斯工厂,那应该就是赛力斯主导了,我估计主讲人不会是余承东总了。 重新签约后形式和合作模式估计和之前还是有变化。

贺磊 点赞 16 评论 10