屏幕发黄是什么原因| jackjones是什么品牌| 沙悟净是什么生肖| 气胸吃什么药| 潘多拉属于什么档次| 蝴蝶的翅膀像什么| 中国国酒是什么酒| 什么人不能吃西洋参| 长癣是什么原因引起的| 5月23日是什么星座| 潜血十一是什么意思| 维生素b补什么的| 埋汰是什么意思| 十一朵玫瑰花代表什么意思| 心仪什么意思| 秉承是什么意思| 肠子疼是什么原因| 卡卡西是什么意思| 4月份有什么节日| 睡觉后脑勺出汗多是什么原因| 份量是什么意思| 三和大神什么意思| 不自觉摇头是什么病| 榴莲什么季节成熟| 脚后跟干裂起硬皮用什么药| 困境是什么意思| 百香果有什么营养| 糖丸是什么疫苗| 车仔面为什么叫车仔面| 喝苦丁茶有什么好处| 无偿是什么意思| 飞机打多了会有什么后果| 什么牌子的指甲油好| jw是什么意思| 女人吃生蚝有什么好处| 胆囊萎缩是什么原因| 梦见自己理发是什么意思| dvf是什么品牌| 婴儿为什么喜欢趴着睡| 全身皮肤瘙痒是什么原因引起的| 以备不时之需什么意思| 志趣相投是什么意思| 提携是什么意思| 早期流产是什么症状| 夫妻合葬有什么讲究| 脑动脉硬化是什么意思| 母后是什么意思| 三叉神经痛挂什么科| 共济失调是什么意思| 吃驼奶粉有什么好处| 心跳过缓吃什么药| 什么是钓鱼网站| 洁面慕斯和洗面奶有什么区别| 梅西踢什么位置| 附件炎有什么症状| 鲍温病是什么病| 尿道口有烧灼感为什么| dsa是什么| 热休克蛋白90a检查高是什么原因| 不生孩子的叫什么族| 稷是什么意思| 朱允炆为什么不杀朱棣| 嗜酸性粒细胞是什么| 歧途什么意思| 活性炭是什么东西| 半月板后角变性什么意思| 孩子胆子小用什么方法可以改变| oid是什么意思| 744是什么意思| 木吉他什么牌子比较好| 肿气肿用什么药比较好| 霜打的茄子什么意思| 对乙酰氨基酚是什么药| 卓诗尼牌子是什么档次| 舌吻是什么| 心衰吃什么食物好| 扑尔敏的学名叫什么| qid是什么意思| 破财免灾什么意思| 天伦之乐是什么意思| 什么的同学| 没胃口吃点什么好| 什么时间人流| 嘴巴下面长痘痘是什么原因| 做飞机需要注意什么| 阳历6月21日是什么星座| 博士和博士后有什么区别| 梦见两个小男孩是什么意思| 唇钉是干什么用的| 大黄是什么| 大健康是什么意思| 何五行属性是什么| 84年属鼠是什么命| 白袜子是什么意思| 幼儿贫血吃什么补血最快| cos是什么| 血糖高的人可以吃什么水果| 什么的饰品| 上睑下垂是什么原因造成的| 防冻液红色和绿色有什么区别| 屈原是什么诗人| 兰桂齐芳是什么意思| 王五行属性是什么| 日代表什么生肖| 尿味大是什么原因| 人肉搜索是什么| 六月十五是什么星座| 从容面对是什么意思| jeans是什么意思| 什么水果对皮肤好祛痘| 耵聍是什么东西| 滨海新区有什么好玩的地方| 生地是什么| 恶性循环是什么意思| 什么叫欲擒故纵| 充气娃娃什么感觉| 男性硬下疳是什么样子| 湿热泄泻是什么意思| 高原反应吃什么药| 麻疹的症状是什么| 什么病不能吃核桃| 巡抚相当于现在的什么官| 做梦梦到鱼是什么意思| 绿豆不能跟什么一起吃| 什么叫皈依| 一什么之什么成语| 1977年是什么年| 咳嗽有什么特效药| 穿刺检查是什么意思| 手心脚心出汗是什么原因| blanc什么意思| sparkling是什么意思| 穿刺是什么意思| 角瓜是什么瓜| 伪骨科是什么意思| 2012年是什么年| chilli是什么意思| 言音读什么| 跖围是什么意思| 紫字五行属什么| 开救护车需要什么驾照| 直肠给药对小孩身体有什么影响| 虾和什么不能一起吃| hds是什么意思| 照看是什么意思| 精子有点黄是什么原因| 总胆固醇偏高是什么原因| 中气不足是什么意思| 昊是什么意思| 孕妇过敏性鼻炎可以用什么药| 蚊香灰有什么作用| 大姨妈来吃什么水果好| 夜晚尿频尿多是什么原因| 情人和小三的区别是什么| 兵员预征是什么意思| LC什么意思| ntr什么意思| 张郃字什么| 格林巴利综合症是什么| 映景是什么意思| 鸦雀无声是什么意思| 马车标志是什么品牌| 中老年喝什么奶粉好| 什么力气| 喝葡萄糖有什么功效与作用| 绿豆有什么功效| tin是什么| 头痛是什么原因| blm是什么意思| 什么思而行| 繁字五行属什么| 6月17日是什么星座| 病毒性感冒咳嗽吃什么药效果好| 工字可以加什么偏旁| 机是什么生肖| 建设性意见是什么意思| 羊水多对胎儿有什么影响| 外阴白斑挂什么科| 心肾不交吃什么中成药| 人中长代表什么| 黄精什么味道| 医学ace是什么意思| 脚上长痣代表什么| 肾虚型脱发是什么样子| 看皮肤挂什么科| 小赤佬是什么意思| 30岁属什么| 地皮菜是什么菜| 女人什么时候最想男人| 草莓什么时候种植最好| 5月31日什么星座| 慢生活是什么意思| 血氨低是什么原因| 什么食物补血效果最好最快| 疤痕憩室是什么意思| 淮山是什么| 壁虎吃什么| 氩弧焊对身体有什么危害| 胃疼看病挂什么科| 维生素c是补什么的| 蕾丝边是什么意思| 榴莲壳有什么作用| 咳嗽喉咙痒吃什么药| polo villae是什么档次| 什么充电宝可以带上飞机| MECT是什么| 蜗牛的触角有什么作用| 胃不好可以吃什么| 梦见骨灰盒是什么征兆| 低血压高是什么原因| 脑溢血是什么原因| 蜂蜜不能和什么一起吃| 什么颜色最吸热| 强直性脊柱炎什么症状| 为什么一吃饭就拉肚子| 好好活着比什么都重要| 怀孕可以吃什么水果| 南宁有什么特产| c表示什么| 荔枝什么品种好吃| 钾高是什么原因造成的| 狗到家里是什么预兆| cpu是什么意思| 头不由自主的轻微晃动是什么病| 吃什么可以健脾养胃| 孕妇便秘吃什么药| 谷丙转氨酶是什么| 吃桃胶有什么作用| 胃反酸吃什么药最好| 平舌音是什么意思| 脚出汗多是什么原因怎么办| 包装饮用水是什么水| 尿频尿多吃什么药好| 羊肚菌为什么那么贵| 吃什么会死| 男性生殖系统感染吃什么药| 难为你了是什么意思| 前列腺增大是什么原因| 政字五行属什么| 庭长是什么级别| 凝胶是什么| 排卵期出血有什么症状| 血小板分布宽度偏低是什么原因| 巡警是做什么的| 体检需要带什么| 腹部包块是什么样子的| 厚黑学讲的是什么| 梦见别人家盖房子是什么意思| 这是什么踏板| 一句没事代表什么意思| 来大姨妈能喝什么饮料| 李倩梅结局是什么| 为什么会尿频尿急| 梦见好多死鱼是什么意思| 晚上睡不着觉是什么原因| 吸烟有害健康为什么国家还生产烟| 后卫是干什么的| 感冒为什么会全身酸痛无力| 婚检检查什么项目| 验尿白细胞高是什么原因| 两个人能玩什么游戏| 为什么庙里不让孕妇去| 欧皇是什么意思| 脾大是什么原因| 百度

中国工程院院士、清华大学计算机系教授郑纬民:做好模型推理要掌握四大关键

姬晓婷
中国工程院院士、清华大学计算机系教授郑纬民会上发表演讲。他表示,大模型推理引擎是人工智能产业竞争的关键,做好模型推理需要掌握好算子优化、模型量化、异构调度、并行优化四大关键点。
百度 要以学习宣传贯彻全国两会精神为契机,切实做好宣传思想文化战线大调研工作,发扬唯实求真精神,广泛深入调查研究,以大调研推动大落实、促进新发展。

本文来自微信公众号“中国电子报”,【作者】姬晓婷。

7月27日,世界人工智能大会分论坛“芯节点·新突破——协同创新聚力加速智算破局”主题论坛在上海举行。中国工程院院士、清华大学计算机系教授郑纬民会上发表演讲。他表示,大模型推理引擎是人工智能产业竞争的关键,做好模型推理需要掌握好算子优化、模型量化、异构调度、并行优化四大关键点。

微信图片_20250729111807.jpg

关键点一:算子优化

算子优化就是对大模型中的单个算子(如Conv卷积、MatMu矩阵乘法等)做性能改造,使同一个算子在给定硬件上跑得更快、占用内存更少、功耗更低。例如,将“卷积”这个算子从普通C语言替换为汇编级Winograd+SIMD+缓存分块,就是一次算子优化。

算子优化主要有两种实现方案:其一,图层优化,包括不等价交换,用可控误差换性能;基于表达式交换,用代数/符号规则在图层级别做等价化简;张量属性变换,通过调整张量的形状、步长等消除冗余内存搬移或者提高并行度等。其二,算子层优化,即采用计算访存重叠、异步流水调度等技术进行算子优化。

关键点二:模型量化

模型量化就是将模型中的浮点参数(如32位FP32)转换为低比特整数(如8位INT8)的技术,目的是缩减模型体量、降低计算量、提升推理速度,同时尽量保持模型精度。在模型规模急剧增加、低精度计算单元越来越多样的背景下,模型量化是减少内存需求和提升推理性能的有效途径。

当前模型量化主要有两种方案:

其一,单一精度量化,直接将模型中的高位宽参数替换为低比特,例如将16位浮点数直接替换为8位整数,这一方式以“极简部署”换“精度弹性”,在硬件支持单一格式或对精度不敏感时是首选。

其二,混合精度量化,在同一网络里按层、张量或通道分别使用两种及以上位宽(如INT8+FP16、INT4+INT8、FP8+FP16+FP32等),而不是“一刀切”成单一低比特。

但混合精度推理的发展也面临着挑战,混合精度库开发周期长,历时超过一年;代码量大,超过1万行;算子性能差,相较于单一精度推理,性能下降70%。导致现有的混合精度推理利用率仍较低。

关键点三:异构调度

异构调度指在包含多种不同类型计算单元(CPU、GPU、FPGA、AI加速器等)系统中,将任务或子任务动态、合理地分配到最合适的处理器上,同时满足性能、功耗、资源利用率或实时性等多重目标的一种资源管理技术。该技术的目标是让正确的任务在正确的时间跑到正确的芯片上,例如将“跑得快但耗电高”的GPU留给矩阵乘法,把“省电但慢”的CPU小核留给控制逻辑。

模型推理可大致分为两个过程:一是P过程(prefill,预填充),二是D过程(decode,解码)。前者预处理负载请求的所有token,读取并“理解”用户输入的上下文,这一过程是计算密集型的;D过程则是和访存密集相关。

P过程与D过程所需的负载不同,如果能将P过程和D过程拆成两个独立的流水线,分别在不同的硬件上跑,且能实现互不干扰,推理计算的整体性能就提高了。

关键点四:并行优化

并行优化即把深度学习任务拆成多条独立或半独立的计算通路,让他们在同一个时刻被多个计算单元并行执行,从而在“时间”或“空间”维度上换取整体吞吐或延迟提升的一系列工程手段。简单理解,这就相当于“把1个人干100天的活,拆成100个人1天干完”。

当前,并行优化面临着两大挑战:

其一,由于推理场景多样化,且不同推理场景的负载模式不同,固定的并行策略无法适应动态推理场景。例如,科研论文摘要、财报分析等,输入内容长,则Prefill占优,属于计算密集型任务;深度思考,输出文本长,则Decode占优,属于访存密集型。针对这些不同的应用场景,需要制定不同的并行策略。

其二,由于大模型服务场景存在明显的潮汐特性,不同时段的系统压力不同,静态的推理系统也无法适应动态服务场景。具体来看,白天时段使用人数多,请求量大,系统压力大,存在显存缺口;凌晨时段使用人数少,请求数量小,系统压力小,存在显存空闲。

因此需要采用动态的并行策略,通过并行策略自动调整减少算力浪费。例如,在请求较多时,采用张量并行+流水线并行的策略,吞吐量更大;在请求较少时,Attention(注意力机制模型)部分采用数据并行,MoE(混合专家模型)部分采用专家并行策略的吞吐量更高。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论
速度等于什么 身价是什么意思 王是什么生肖 精索静脉曲张有什么症状 铁观音是属于什么茶
33朵玫瑰花代表什么意思 日在校园讲的什么 ys是什么意思 左手虎口有痣代表什么 balco是什么牌子手表
老师的老公叫什么 道貌岸然是什么生肖 闭口是什么样子 大暑吃什么 制动什么意思
十八岁成人礼送什么礼物 思利及人是什么意思 意见是什么意思 tf口红属于什么档次 王字加一笔是什么字
荆条是什么意思hcv8jop2ns5r.cn 委屈什么意思hcv8jop9ns5r.cn 郑中基为什么娶余思敏hcv8jop1ns2r.cn 什么米好吃又香又软hcv9jop3ns1r.cn 身体出油多是什么原因weuuu.com
骨穿刺主要检查什么病hcv8jop3ns8r.cn 侯字五行属什么hcv8jop0ns3r.cn 吃什么可以生精最快hcv7jop9ns9r.cn 建议是什么意思hcv7jop6ns0r.cn 腰间盘突出是什么症状hcv9jop0ns0r.cn
夏天的诗句有什么hcv9jop0ns3r.cn 舌加氏念什么hcv9jop8ns1r.cn 淋巴细胞偏低什么意思hcv9jop6ns1r.cn 心脏右束支传导阻滞是什么意思baiqunet.com 生酮是什么意思hcv7jop7ns2r.cn
眼睛总跳是什么原因hcv8jop1ns4r.cn 如法炮制是什么意思hcv7jop5ns5r.cn 吃肝补什么hcv8jop5ns2r.cn 一个月一个非念什么hcv9jop2ns7r.cn 诸事皆宜是什么意思hcv8jop1ns9r.cn
百度