正在播放JUY543暴雨夜憧憬：如何高效进行煤炭交易
更新时间： 浏览次数： 619
一季度，在以习近平同志为核心的党中央坚强领导下，各地区各部门认真贯彻落实党中央、国务院决策部署，坚持稳中求进工作总基调，完整准确全面贯彻新发展理念，加快构建新发展格局，扎实推动高质量发展，着力打好宏观政策“组合拳”，政策效应持续释放，生产供给较快增长，新质生产力加快培育，国内需求不断扩大，就业形势总体稳定，国民经济实现良好开局，高质量发展向新向好。
初步核算，一季度国内生产总值318758亿元，按不变价格计算，同比增长5.4%，比上年四季度环比增长1.2%。分产业看，第一产业增加值11713亿元，同比增长3.5%；第二产业增加值111903亿元，增长5.9%；第三产业增加值195142亿元，增长5.3%。
一、农业生产形势较好，畜牧业稳定增长
一季度，农业（种植业）增加值同比增长4.0%。冬小麦播种面积稳中略增，长势总体较好，春耕春播平稳有序推进。据全国种植意向调查显示，稻谷、玉米意向播种面积有所增加。一季度，猪牛羊禽肉产量2540万吨，同比增长2.0%，其中，猪肉、牛肉、禽肉产量分别增长1.2%、2.7%、5.1%，羊肉产量下降5.1%；牛奶产量增长1.7%，禽蛋产量下降0.1%。一季度末，生猪存栏41731万头，同比增长2.2%；一季度，生猪出栏19476万头，增长0.1%。
二、工业生产增长加快，装备制造业和高技术制造业较快增长
一季度，全国规模以上工业增加值同比增长6.5%，比上年全年加快0.7个百分点。分三大门类看，采矿业增加值同比增长6.2%，制造业增长7.1%，电力、热力、燃气及水生产和供应业增长1.9%。装备制造业增加值同比增长10.9%，比上年全年加快3.2个百分点；高技术制造业增加值增长9.7%，加快0.8个百分点。分经济类型看，国有控股企业增加值同比增长4.2%；股份制企业增长7.2%，外商及港澳台投资企业增长4.0%；私营企业增长7.3%。分产品看，新能源汽车、3D打印设备、工业机器人产品产量同比分别增长45.4%、44.9%、26.0%。3月份，规模以上工业增加值同比增长7.7%，比1-2月份加快1.8个百分点；环比增长0.44%。3月份，制造业采购经理指数为50.5%，比上月上升0.3个百分点；企业生产经营活动预期指数为53.8%。1-2月份，全国规模以上工业企业实现利润总额9110亿元，同比下降0.3%，降幅比上年全年收窄3.0个百分点。
三、服务业较快增长，现代服务业增势良好
一季度，服务业增加值同比增长5.3%，比上年全年加快0.3个百分点。其中，信息传输、软件和信息技术服务业，租赁和商务服务业，交通运输、仓储和邮政业，批发和零售业，住宿和餐饮业增加值分别增长10.3%、10.2%、7.2%、5.8%、5.1%。3月份，全国服务业生产指数同比增长6.3%，比1-2月份加快0.7个百分点。其中，信息传输、软件和信息技术服务业，租赁和商务服务业，批发和零售业，住宿和餐饮业生产指数分别增长9.9%、9.3%、7.7%、6.0%。1-2月份，规模以上服务业企业营业收入同比增长8.2%，比上年全年加快1.0个百分点。3月份，服务业商务活动指数为50.3%，比上月上升0.3个百分点；服务业业务活动预期指数为57.5%，上升0.6个百分点。其中，水上运输、航空运输、邮政、电信广播电视及卫星传输服务、货币金融服务等行业商务活动指数位于55.0%以上较高景气区间。
四、市场销售增速回升，以旧换新相关商品销售增长较快
一季度，社会消费品零售总额124671亿元，同比增长4.6%，比上年全年加快1.1个百分点。按经营单位所在地分，城镇消费品零售额108057亿元，同比增长4.5%；乡村消费品零售额16614亿元，增长4.9%。按消费类型分，商品零售额110644亿元，增长4.6%；餐饮收入14027亿元，增长4.7%。基本生活类和部分升级类商品销售增势较好，限额以上单位粮油食品类、日用品类、体育娱乐用品类商品零售额分别增长12.2%、6.8%、25.4%。消费品以旧换新政策继续显效，限额以上单位通讯器材类、文化办公用品类、家用电器和音像器材类、家具类商品零售额分别增长26.9%、21.7%、19.3%、18.1%。全国网上零售额36242亿元，同比增长7.9%。其中，实物商品网上零售额29948亿元，增长5.7%，占社会消费品零售总额的比重为24.0%。3月份，社会消费品零售总额同比增长5.9%，比1-2月份加快1.9个百分点；环比增长0.58%。一季度，服务零售额同比增长5.0%。
五、固定资产投资稳中有升，高技术产业投资增长较快
一季度，全国固定资产投资（不含农户）103174亿元，同比增长4.2%，比上年全年加快1.0个百分点；扣除房地产开发投资，全国固定资产投资增长8.3%。分领域看，基础设施投资同比增长5.8%，制造业投资增长9.1%，房地产开发投资下降9.9%。全国新建商品房销售面积21869万平方米，同比下降3.0%，降幅比1-2月份收窄2.1个百分点；新建商品房销售额20798亿元，下降2.1%，降幅收窄0.5个百分点。分产业看，第一产业投资同比增长16.0%，第二产业投资增长11.9%，第三产业投资增长0.1%。民间投资增长0.4%；扣除房地产开发投资，民间投资增长6.0%。高技术产业投资同比增长6.5%，其中信息服务业、航空航天器及设备制造业、计算机及办公设备制造业、专业技术服务业投资分别增长34.4%、30.3%、28.5%、26.1%。3月份，固定资产投资（不含农户）环比增长0.15%。
六、货物进出口保持增长，贸易结构继续优化
一季度，货物进出口总额103013亿元，同比增长1.3%。其中，出口61314亿元，增长6.9%；进口41700亿元，下降6.0%。民营企业进出口增长5.8%，占进出口总额的比重为56.8%，比上年同期提高2.4个百分点。机电产品出口增长8.7%。3月份，进出口总额37663亿元，同比增长6.0%。其中，出口22515亿元，增长13.5%；进口15148亿元，下降3.5%。
七、居民消费价格基本稳定，工业生产者价格下降
一季度，全国居民消费价格（CPI）同比下降0.1%。分类别看，食品烟酒价格下降0.7%，衣着价格上涨1.2%，居住价格上涨0.1%，生活用品及服务价格下降0.4%，交通通信价格下降1.9%，教育文化娱乐价格上涨0.7%，医疗保健价格上涨0.3%，其他用品及服务价格上涨6.0%。在食品烟酒价格中，鲜菜价格下降5.9%，粮食价格下降1.4%，鲜果价格下降0.1%，猪肉价格上涨8.1%。扣除食品和能源价格后的核心CPI同比上涨0.3%。3月份，全国居民消费价格同比下降0.1%，降幅比上月收窄0.6个百分点；环比下降0.4%。
一季度，全国工业生产者出厂价格同比下降2.3%。其中，3月份同比下降2.5%，环比下降0.4%。一季度，工业生产者购进价格同比下降2.3%。其中，3月份同比下降2.4%，环比下降0.2%。
八、就业形势总体稳定，城镇调查失业率稳中略降
一季度，全国城镇调查失业率平均值为5.3%。3月份，全国城镇调查失业率为5.2%，比上月下降0.2个百分点。本地户籍劳动力调查失业率为5.3%；外来户籍劳动力调查失业率为4.9%，其中外来农业户籍劳动力调查失业率为5.0%。31个大城市城镇调查失业率为5.2%。全国企业就业人员周平均工作时间为48.5小时。一季度末，外出务工农村劳动力总量18795万人，同比增长1.1%。
九、居民收入平稳增长，农村居民收入增长快于城镇居民
一季度，全国居民人均可支配收入12179元，同比名义增长5.5%，扣除价格因素实际增长5.6%。按常住地分，城镇居民人均可支配收入15887元，同比名义增长4.9%，实际增长5.0%；农村居民人均可支配收入7003元，同比名义增长6.2%，实际增长6.5%。从收入来源看，全国居民人均工资性收入、经营净收入、财产净收入、转移净收入分别名义增长5.9%、5.7%、2.7%、5.5%。全国居民人均可支配收入中位数9939元，同比名义增长5.0%。
总的来看，一季度，随着各项宏观政策继续发力显效，国民经济起步平稳、开局良好，延续回升向好态势，创新引领作用增强，发展新动能加快培育壮大。但也要看到，当前外部环境更趋复杂严峻，国内有效需求增长动力不足，经济持续回升向好基础还需巩固。下阶段，要坚持以习近平新时代中国特色社会主义思想为指导，坚决贯彻落实党中央、国务院决策部署，坚持稳中求进工作总基调，完整准确全面贯彻新发展理念，加快构建新发展格局，扎实推动高质量发展，实施好更加积极有为的宏观政策，做大做强国内大循环，充分激发各类经营主体活力，积极应对外部环境的不确定性，推动经济运行稳中有进、持续向好。
演讲嘉宾｜张泽华
编辑｜李忠良
策划｜AICon全球人工智能开发与应用大会
在京东广告的大模型应用架构中，召回环节至关重要。传统召回方式在规则灵活性和用户需求捕捉上存在局限，而大模型带来了新的契机，但也面临训练成本和隐私保护的挑战。京东广告的生成式召回体系包括：基于世界知识和电商平台的数据体系、多模态商品内容理解与用户意图识别，以及高效的生成式模型训练和推理架构。在实践中，通过商品内容语义量化、生成式商品解码召回和模型推理性能优化，显著提升了召回效率。
在InfoQ举办的AICon全球人工智能开发与应用大会上京东算法总监张泽华做了专题演讲“京东广告大模型应用架构实践”，演讲将分享京东广告在大模型应用实践中的解决思路与经验教训，期待为广告技术从业者带来启发。
内容亮点
了解具备普适性的生成式推荐算法大规模应用方法，并借鉴推理优化和业务优化的示范性实践，提升自身推荐系统的效果和效率
以下是演讲实录（经InfoQ进行不改变原意的编辑整理）。
大模型时代广告领域
发展的契机和挑战
京东在过去一段时间里，在大模型浪潮下进行了诸多探索和实践，涉及算法和工程方面。
回顾过去一年半行业趋势，国内大部分广告平台都大力投入到基于大语言模型或生成式技术相关的产品及技术升级，涵盖B端和C端产品。大模型落地实践刚开始时较为分散，但逐渐出现收敛趋势，主要体现在训练和推理方面。同时，工业级别应用层面的范式也在逐步收敛。
在电商领域存在一些痛点，如知识融合问题，传统推荐系统难以有效容纳场景化知识，需外挂大量词表信息及业务自反馈信息。而大语言模型时代到来后，对电商用户和商品的理解能力可在大模型加持下得到提升。此外，基于大语言模型或生成式技术的scalinglaw（扩展定律）让广告算法系统焕发生机。
产业界使用大语言模型主要有三大目标：一是大幅提升人货匹配效率，尤其在搜索、推荐等核心链路模型中，通过提升人货匹配效率带动CTR（点击通过率）、CVR（转化率）、GMV（商品交易总额）及广告收入等核心业务指标上涨；二是借助其知识理解和融合能力；三是满足多模态信息接纳需求，发挥大语言模型在文字、视频、语音、图片等多种模态下的理解能力。
京东希望找到一种在应用级别、一定时间内具有scalinglaw趋势的算法演进路线，且该路线能适用于较多场景，同时以低成本获取高性能。
生成式算法体系
在典型的广告算法体系中，生成式技术主要作用于以下场景。从经典广告系统的链路来看，从生成式的角度可以划分为三个阶段：第一个阶段是召回和粗排阶段，这本质上是一个信息检索类问题。其核心是如何“无中生有”，从海量信息中找出对用户可能有用或感兴趣的信息，形成一个庞大的候选集合。第二阶段是精排阶段。CTR（点击通过率）和CVR（转化率）是典型的精排问题。精排模型打出的分数常用于排序，本质上是在进行信息过滤，筛选出更符合用户需求的内容。第三阶段是信息补足阶段。对于已经排在较前位置的商品或信息流广告，进一步引入多模态理解能力，包括创意和排序机制的优化，即重排。重排可以视为在上下文场景下的二次排序，进一步提升广告效果。
在讨论生成式技术或大语言模型时，离不开其对应的数据体系。数据体系需要解决两个核心问题：一是用户行为如何在生成式技术浪潮中进行二次定义；二是在电商广告场景下，如何将知识融入生成式AI模型或算法中。
对于用户行为，传统上是通过人、货、场三个维度进行定义。在生成式场景下，除了这三个维度，还会包含用户画像类信息。对于电商知识类信息，除了商品、货品等结构化信息，还存在大量未被很好结构化的信息，例如用户随手拍的评论图片，其语义化信息尚未被充分利用。
在电商广告场景下，经过比较和分析，认为SemanticID（语义ID）是当前场景下更适用的表征解决方案。在数据表征的基础上，算法建设涉及几个关键步骤。首先是商品的量化表示，通过SemanticID的方式进行表征。其次是让大语言模型或生成式算法对这些表征后的信息具备理解能力和推理能力。
关于编码和表征，引用了一篇经典文章的观点，探讨了Sid是如何通过类似残差信息的表达方式进行表征的，这与Google的相关研究相对应。即通过某种编码的codebook方式来表达信息。在将信息注入大语言模型（无论是开源获取的还是从零开始训练的）时，面临两个关键问题：一是这些数据如何训练；二是如何让训练的数据有效表征其含义，即DPO。
生成式算法工程实践
我们来看一下在具体实践中遇到的算法和工程上的挑战。
首先，我们今天主要讨论的环节是召回，但实际上我们的的工作已经覆盖了排序、创意甚至重排阶段。在将生成式AI或大语言模型应用于推荐系统时，我们遇到了两个极具挑战性的问题。第一个挑战是工业场景下的规模问题。随着业务的发展，模型的规模越来越大。在广告系统中，延迟是一个关键问题。如果推理延迟超过100毫秒，结果将不会被采纳，被认为是毫无意义的。为了实现高性能和低延迟的推理，我们需要付出巨大的计算成本，而我们希望这种成本越低越好。目前，许多大语言模型的工作是基于开源模型进行SFT（监督微调）或PT（预训练）后直接使用。然而，随着我们对业务的深入理解和算法应用的灵活性提升，我们发现仅仅借用他人的模型结构已经无法满足我们的需求。我们需要对模型结构进行改造，并且发现单纯的生成式模型无法很好地解决判别型问题。这意味着未来的应用场景需要生成式和判别式模型进行联合学习和推理。
第二个挑战是低延迟和高吞吐的要求。我们给出一个典型的参考数据：百万token的推理成本必须低于1元人民币。如果高于这个成本，在大多数工业场景下，成本将变得不可控，模型很可能只能停留在实验阶段，无法大规模落地。这两个挑战共同导致了一个问题：我们需要进行极致的性能优化，才能让这样的模型或算法真正在线应用。
在进行大规模工业化性能优化时，我们发现算力或推理优化主要由三个方面决定：首先是裸算力，其次是存储性能或存储吞吐量，第三是训练和推理过程中的IO问题。这三者存在木桶短板效应，即任何一个环节的短板都将决定我们在应用中的性能上限。
针对低延迟和高吞吐的极致性能优化，我们的优化思路分为三个层面：首先是在单节点优化上，我们希望实现极致的性能释放；其次，当任务变为分布式时，我们希望实现软硬协同的分布式高性能推理；最后，在整个全链路上，我们希望寻找其他可以优化的资源或耗时空间，例如层次化推理和同层次化算力的优化。
在优化手段方面，业内已经有许多相关工作，包括基于算子和图的优化、深度学习编译器的优化，以及推理模式的优化，如各种缓存模式（KVCache、LayerCache等）和推理范式的优化（例如PD分离）。总结来说，单节点上的推理算力释放主要分为两部分：一是单纯的推理优化，二是从服务层级进行优化。在单节点推理优化方面，主要涉及量化、Tensor并行和各种Attention技术；在服务层级优化方面，主要关注调度层面，如连续批处理（continuousbatch）和负载均衡。
单节点算力释放
为了降低单节点推理的无用功计算，我们通常会采用一些优化方式，例如多查询（Multi-Query）注意力机制等。这些方法在业内已经被广泛应用，例如基于英伟达GPU的解决方案，虽然在一定程度上有效，但仍然无法完全解决工业场景下的问题。
在优化手段方面，量化技术是一个重要的方向。从半精度到FP8，甚至更低比特的量化技术，虽然在推理性能上追求极致，但在实际应用场景中，如广告推荐或搜索，过低的精度可能导致无法达到预期效果。Tensor并行则是一种计算层面的资源分配优化，通过将任务拆分，降低单卡负载，从而降低延迟并充分利用性能。
在注意力机制的优化方面，FlashAttention和PageAttention等技术已经被广泛应用于开源模型中。通过采用这些优化手段，例如batching和注意力技术，可以显著提升推理效率。公开资料显示，平均推理延迟可以降低到原来的1/5左右，吞吐量提升的同时，成本可以降低约一半。
特别地，我们推荐一种batching策略——DynamicLatencyBatchingSwitch。传统的ContinuousBatching虽然可以填充推理过程中的空闲时间，但在低延迟场景下，简单地将任务插入到空闲位置可能会导致累积延迟超标。动态延迟batching的核心思想是，在保证每个推理请求不超过最大延迟的前提下，通过智能调度，将任务分配到更合适的批次中。例如，当发现某条推理链路如果继续插入任务会导致延迟超标时，系统会将其切换到更早结束的批次，从而确保下一个任务可以更早进入推理状态。
分布式算力释放
在分布式场景下，软硬协同的优化思路虽然简单，但在工业场景下的大规模实现具有挑战性。由于请求的长度（requestlength）不同，不同集群和节点的处理能力也各异。因此，我们倾向于将计算量大的任务分配到计算能力更强的节点上。然而，难点在于负载均衡。并非所有广告或推荐请求的价值都相同，如果某次请求对系统的价值更高，我们会优先处理。因此，在负载均衡策略上，我们会进行基于请求价值的粗粒度预估，将高价值请求分配到专用计算节点上优先处理，而低优先级的请求可能会被抛弃或采用传统算法和模型处理。
在调度层面之外，我们还尝试了以下三项已被验证有价值的工作：
生成式推理集群：在集群层面，我们进行了以下优化：
大模型的集群化推理；
小批量（smallbatch）适配能力；
PD分离，prefill（预填充）和decode（解码）这是业内常见的优化手段。
KVCache池化：许多企业希望减少计算资源的浪费，同时保证计算精度和效果。KVCache池化是应对集群化推理的有效解决方案，能够避免从零开始推理每条请求，从而提高效率。
判别式场景的集群化处理：在广告场景中，无论是搜索还是推荐，结果的相关性是一个关键问题。对于判别式任务，我们设置了单独的集群进行路由化处理。
为了实现集群化模型的分布式并行推理，我们采用了以下方法：
模型拆图：将模型中的多个block（既有CPU计算密集型部分，也有GPU计算密集型部分）根据计算负荷和价值进行拆分。拆图后，将不同部分分别进行服务化部署。通过这种方式，可以优化集群的计算资源利用率。拆图前，由于模型块的差异，集群的资源利用率存在较大差异；拆图并并行计算后，利用率趋于平衡，避免了某些资源过度使用或浪费。
多级缓存：针对IO瓶颈问题，我们利用CPU管理的RAM和GPU的HBM（高带宽存储器）构建了多级缓存。这种多级缓存减少了多机之间的通信，使系统能够更快地获取预计算结果，从而实现更低的延迟和更高的吞吐量。
在训练过程中，我们发现了一些有效的解决方案。对于更复杂的生成式AI训练（超出简单的大语言模型范畴），全参数GPU同步训练在特定应用场景下能够显著提升训练速度。
在分布式推理的调度器设计中，我们面临的业务应用场景不仅包括生成式算法模型，还涉及语义理解层面的相关性以及典型的排序任务（如CTR、CVR等）。这些任务通过不同层级的调度器进行请求划分和调度。
全链路算力释放
为了维持低延迟和低资源消耗的推理，我们希望从其他环节“偷”一些资源或耗时空间。具体方法如下。
端计算与预计算：我们将相当一部分计算下沉到用户手机端（设备端），采用端计算模式进行大量预计算工作。在用户发起请求的瞬间，我们利用召回到排序之间的这段时间进行前置计算，这部分耗时空间约为30~100毫秒，具体取决于不同业务场景。
近线计算：对于一些信息，我们只需要在一定时间内保证其最新即可，因此可以通过近线计算的方式提前算好，然后在线上进行查询或直接使用。
离线计算：对于计算极其复杂且在较长时间内不会变化的任务，我们采用离线计算的方式。
通过以上层次化的划分，结合软硬件的定制化优化，我们将原本100毫秒的计算延迟拆分为多个几十毫秒的小块，这些小块已经完成了预计算。因此，真正留给实时推理和计算的任务变得相对简单，从而能够在百毫秒以内完成在线生成式AI的推理。进一步地，我们是否可以更彻底地“偷”资源呢？答案是可以。在每个环节（如检索、排序等）中，我们都可以利用层次化的算力设计和动态协调机制，实现更加负载均衡的算力配置。
在整个算法和全链路设计中，贯穿了两条核心思想：
重新定义算力边界：我们将单环节的推理任务拆分到多个环节，重新定义了算力的边界以及模型需要计算的内容。
多层次任务定义与优化：我们将复杂的计算任务定义到多个层次上，通过硬件升级、调度层面升级以及流程层面升级，带来实际算力的提升。这样既能够保持全链路推理在百毫秒以内，又能够支撑一定程度的ScalingLaw，以应对不断增长的计算需求。
算法建模灵活度问题
在算法研发过程中，算法工程师们拥有大量富有创意的想法。根据不完全统计，一个典型的业务算法工程师在一个季度内至少希望进行两次上线评审，背后可能涉及近10次想法的尝试。如果一个公司或团队有几十甚至上百名算法工程师，算法的灵活性问题就显得尤为突出。在这种情况下，如何在有限的耗时空间和硬件资源下，支撑灵活的算法定制，成为了一个亟待解决的棘手问题。具体而言，如何让生成式模型和判别式模型进行联合建模、训练和推理，是我们当前面临的一大挑战。我们主要的解决方案是基于Python和TensorFlow进行构图，以实现联合训练和推理。
在召回层面，虽然可以通过生成式技术（例如SemanticID）对商品进行表征，根据用户的历史行为（如浏览、点击等）预测其未来可能感兴趣的商品，但这只是最基础的检索问题。检索结果还需要进行相关性判断，并进入粗排环节进行打分和排序。在这个过程中，如果发现相关性已经失衡，那么可能根本不需要进行粗排打分，甚至某些类目下的商品或推荐项也无需生成。这种将生成式和判别式算法链路耦合后的结构剪枝，即推理过程中的剪枝，已被实验验证可以显著提升召回率和准确率，甚至达到两位数的提升。这种效果非常明显且令人震惊。
为了实现召回和粗排一体化（召排一体），业界最典型的做法是先召回一个大集合，再进行过滤和粗排，形成三个环节。但如果将这三个环节合并为一个，即召回加粗排一体，会面临哪些问题呢？
以典型的稀疏模型（如粗排或精排的CTR模型）为例，其稠密部分的计算量相对较小（约0.5TFlops），但embeddingtable占比巨大。而典型的生成式模型，其Dense部分非常庞大，对算力要求极高，但embedding等外挂信息相对较少。如果希望将这两种模型进行耦合或联合建模，数据是否充足是一个关键问题。下图引用了一张开源公开文章中的截图，显示高质量语料数据被认为已接近耗尽，预计耗尽的时间点在2028年左右。然而，在我们的业务场景中，用于训练最典型的稀疏模型的数据仍然非常充足。如果仅关注生成式模型，数据耗尽的风险确实存在。但如果考虑生成式与判别式模型的联合建模，数据空间仍然较为充裕。无论是生成式模型还是判别式模型，其参数增长的势头并未减缓，反而仍在加速增长。
如果简单地将两者耦合进行推理，会立即遇到一个明显的问题——“撞墙”。目前主流的大语言模型，无论是在Google的TPU、英伟达的GPU还是AMD的MI推理芯片上运行，其推理的token吞吐量似乎都集中在较低水平，主要受限于HBM（高带宽存储器）的瓶颈。随着参数增长、数据量和模型结构的扩大，推理环节已经成为制约因素。在这种情况下，单纯依靠硬件提升已无法满足联合训练和推理的需求。
我们提出采用分而治之的分层思想来解决这个问题。业界常用的硬件解决方案及其对应的技术栈为我们提供了分层的空间。我们的分层逻辑包括定制化和优化两个层面，最上面是业务层面。通过通信、建模和数据的三层解耦，我们可以找到三者之间的有机平衡关系。这意味着通过利用局部计算特性，HBM的通信问题得到了一定程度的缓解。
生成式&判别式联合推理能力
在生成式和判别式联合推理能力方面，我们以基于TensorFlow的CTR（点击通过率）和CVR（转化率）排序模型（即典型的稀疏模型）为例，同时结合像LLaMA等典型的大语言模型。我们的目标是将这两者耦合在一起，这种耦合并非简单的分步推理（即上一步推理完成后再进行下一步），而是通过直接共享hiddenstate（隐藏状态）来驱动整个图的共享，从而实现整个推理过程的封装。
在推理过程中，我们同时采用多引擎进行推理：一方面通过TensorFlow的Graphengine进行触发和驱动，另一方面驱动TensorRTengine推理引擎。最终，我们实现了生成式和判别式模型的有机结合，并且避免了“撞HBM的墙”，能够在业务场景中真正实现推理。
总结我们所做的工作：
我们基于TensorFlow和Python重写了生成式的推理流程和建模能力。
我们采用基于TensorFlow的图调度框架和自定义TensorFlow算子，实现了生成式的推理，并将其耦合到传统的稀疏模型上。
在这个过程中，我们大量复用了TensorFlow以及业务历史上积累的成百上千个业务算子。
离线建模和在线推理不再是从离线找到一个开源模型进行SFT，然后直接将SFT的结果用于在线模型，而是离线建模的模型结构与在线推理的模型结构完全一致，实现了高度的一致性。
总结与展望
尽管我们在生成式技术的探索过程中遇到了一些痛点和挑战，但我们仍然认为生成式技术在传统算法领域具有巨大的发展空间。以下是我们对未来工作的展望和规划。
生成式技术的广泛应用与收益
全流程覆盖与显著收益：虽然我们今天主要介绍了召回和粗排环节，但实际上我们已经将召回、粗排、精排、创意出价以及机制策略重排等环节几乎完全用生成式技术重写。这些环节的收益空间均达到了两位数以上，显示出生成式技术在提升业务效率和效果方面的巨大潜力。
电商场景下的模型优化
开源模型的局限性与改进：在典型的电商场景中，直接使用开源的大语言模型虽然有一定的效果，但并不足以满足业务需求。我们希望通过深度改造这些模型，进一步提升其在业务上的表现，实现双位数的性能提升。这表明在特定领域内对模型进行定制化优化是实现业务增长的关键。
算法与工程的协同设计
Co-Design的重要性：算法和工程的Co-Design是推动大语言模型或生成式技术在实际场景中落地的关键。通过算法和工程的紧密结合，我们可以更好地优化模型的性能，使其更适合实际业务需求，从而加速技术的落地和应用。
未来发展方向
领域特性数据与基座模型：电商场景中的数据具有独特的领域特性，与公域数据有所不同。我们期待在未来一段时间内能够出现更强大的电商领域理解基座模型，以更好地支持生成式技术在电商场景中的应用。
生成式与判别式模型的深度融合：我们希望进一步完善生成式与判别式模型的联合建模和推理，使其更加全面和强大，甚至能够实现“allinone”的解决方案。这将有助于提升模型的整体性能和效率，更好地满足业务需求。
嘉宾介绍
张泽华，现任京东集团算法总监、京东零售算法通道委员，IEEE国际标准工作组副主席，并于中国计算机学会担任标准工委执行委员、大数据专委委员。专注广告算法领域在零售业务的研发实践，推动广告核心场景算法效率增长，带领团队自研大规模分布式生成式广告算法推理能力，取得数倍推理加速效果。迄今申请发明专利7项，并先后在国际顶级学术期刊会议CIKM、NIPS、AAAI等发表论文7篇。牵头国内行业标准制定2项，参编14余项。
活动推荐
AICon2025强势来袭，5月上海站、6月北京站，双城联动，全览AI技术前沿和行业落地。大会聚焦技术与应用深度融合，汇聚AIAgent、多模态、场景应用、大模型架构创新、智能数据基建、AI产品设计和出海策略等话题。即刻扫码购票，一同探索AI应用边界！
新闻结尾 正在播放JUY543暴雨夜憧憬：如何高效进行煤炭交易的相关文章 聊城大学东昌学院通报教师武某某被举报：解除劳动关系，报请撤销其教师资格的相关文章23年前的偶像剧男演员撞脸全红婵
金湘军被查，山西省委表态：坚决拥护党中央决定
河北廊坊永清县 4.2 级地震
雀巢：鲸尾！！你以后都穿这样上班吧… ❤【二次元爆改08】
为什么日本出不了 DeepSeek
八年至今，网易史上最听劝的一次！难道要重回巅峰了？足