16个月后,中国大模型的最佳实践是什么?

资讯 » 新科技 2024-08-05

作为同时具备实体企业属性和数字技术能力的新型实体企业,京东内部的供应链场景恰是大模型应用最好的“试验田”。从实验室到具体场景,从技术到供应链,AI应用的范例正在出现。

作者| 皮爷

出品|产业家

大模型已经成为一项时代技术。在基础设施建设几年后,人们的关注点转向应用落地问题。而京东在国内技术企业中,拥有电商、物流、健康、科技等丰富的供应链场景,成为大模型技术落地应用的沃土 。

大模型在京东的落地实践,也更在成为人们关注的话题点之一。

在2024京东云上海峰会上,京东就展示了大量大模型应用产品和落地案例。包括言犀数字人3.0平台、智能编程助手JoyCoder、言犀智能体平台,以及小哥终端智能助手、智能导购助手、OA助手、智能医生助手等对应场景的智能体。

做大模型应用的企业不在少数。但能让大模型应用在产业场景里真正跑起来,融入工作流程,产生实际价值,则对千行百业都有珍贵的借鉴意义。这些大模型应用从京东零售、物流、健康、金融等无数真实场景中“长出来”,打磨完善后又在以京东云为窗口,逐渐开放给外界。

实际上,对于京东,外界一直有所期许。在所有技术企业中,京东是少数具备丰富供应链场景和数据的,能够为大模型应用生长提供土壤。京东以言犀大模型驱动的应用,具备“产业原生”得天独厚的优势。而近期,在去年JDD大会发布言犀大模型后,京东又阶段性地交出了大模型应用的答卷。

“敢为人后,慢即是快。”京东没有让大模型频繁刷榜,在新闻热搜里争第一,而是在内部供应链场景让大模型应用持续生长。京东云宣布:大模型应用在内部超100个AI场景全面铺开,已经有超35万京东自有配送员、超23万商家、超5万副主任级别以上医生、超2万采销运营、超1万研发人员得到了大模型应用的支持。

“大模型 要用起来,才能活起来。” 京东集团技术委员会主席、京东云事业部总裁曹鹏表示,京东供应链是大模型应用的超级孵化器,京东云持续将孵化成熟的大模型应用打磨、沉淀成产品,为客户提供服务。

一 、“产业窗口”里的京东大模型

京东云言犀大模型落地应用、“撞线”大规模商业化的标志,就是言犀数字人直播的618战绩:首秀1小时,“采销东哥”AI数字人直播间观看量超过2000万人次,带货GMV超5000万元。这改变了直播电商的范式,几乎成了电商观察必谈的话题。

数字人,是京东言犀大模型被看见的第一个窗口。

不仅在采销直播间实现了傲人战绩,言犀数字人也已经开放给平台商家,服务超5000家品牌,带动GMV超过百亿元。言犀数字人集成了京东言犀大模型、声音处理和多模态交互等全方位能力,已经转化为平台商家们实实在在的销售业绩。

在最广为人知的言犀数字人直播之外,其他场景下,大模型应用也在遍地开花。

去年12月,京东健康就与温州医科大学附属第一医院达成战略合作,双方将共建“未来医院智慧服务”。而双方合作的底座之一正是“京医千询”大模型。

“京医千询”是基于言犀大模型训练,面向医疗场景专项训练的行业垂直大模型。其可以帮助医院完成AI前置处方审核、医生辅助诊疗,以及面向患者的前端AI智能诊疗等等。其中,“AI前置处方审核系统”就于今年在北京海淀区全面落地,有近百家基层医疗卫生机构使用,日均审核处方超过2万张。

服务于物流场景的“小哥智能终端助手”,则已经装进了超过35万京东自有配送员的手持设备。无论是查询物流规范,还是输入揽件信息生成订单、派送时给顾客发去短信,都能极大提高快递小哥的效率。

在零售营销场景,AIGC营销工具“京点点”就能帮助商家一键生成商品图片,能撰写商品文案、短视频脚本等。在金融营销场景,则用上了言犀大模型与部分专有场景营销模型的“组合拳”。原本需要14天准备的营销活动,现在1天就能上线。

在技术研发场景,智能编码助手JoyCoder也能帮助研发工程师自动完成过去需要手动调试的代码转换,对源代码的识别率达到90%以上,转换的代码可用率达到80%,生成代码采纳率超过35%,研发整体提效30%。

从京东云峰会我们能清晰地观察到:不同于其它大模型频繁刷榜、在底层技术指标“钻牛角尖”,京东言犀大模型则扎向了企业内部场景,以及平台伙伴的供应链流程上。

京东的大模型为何可以率先扎根产业场景,结出丰硕的果实?

二、产业为王:A I的第一性原则

大模型应该如何发展,不同企业有各自的思路。很多企业是卷技术研发、“拿着锤子找钉子”,希望强化通用大模型的能力,也能提升应用能力;而京东为代表的另一些企业,则本身拥有产业场景,能让大模型技术进步与产业应用互相促进、形成飞轮。

京东的言犀大模型,在底层训练时就融入了30%的供应链原生数据,这些数据来自于京东自营电商的商品SKU、5000万工业品SKU、超800万家活跃企业客户以及全国超2000个产业带的真实需求。这使得它能更好应对产业需求。

如果说言犀大模型是更适合产业应用的“大脑”,那么智能体就连接起灵活的四肢,让人们构建大模型应用时更加低门槛和灵活。

这次京东云峰会发布的言犀智能体平台就能帮助人们快速搭建智能体。和许多智能体平台不同的是,在搭建环节,言犀智能体平台不仅能调用底层的产业能力模块,还会给出细分领域的行业知识增项,每个智能体都相当于一个行业专家。

举例来说,人力资源部门员工制作培训课程,原本需要剪辑视频,在反复观看、频繁沟通下,辅以专业知识,每周最多剪辑完2个。而利用言犀智能体平台,员工在2天内就能搭建起AI视频剪辑应用,完成智能剪辑工作。

京东云表示,在言犀智能体平台上,活跃的智能体已经超过3300个,沉淀的行业解决方案则更是超过100个。

同样还有健康和物流。在对应产业数据的训练和微调下,不论是其基于底层京东言犀大模型进行MaaS模型层面的深度开发(蒸馏、剪枝、拉升等),还是基于RAG或者智能体层面的调试,都可以达到更好的实用效果。

此外,不论是对内还是对外,基于不同的需求,京东往往基于“大模型+小模型”共用的灵活方式来解决最终产业问题,比如在健康场景,京东为客户提供多款如2b、14b、22b以及80b等不同的模型来满足AI处方、诊疗、患者服务等不同场景的需求,再比如在物流场景,在京东内部,采取的也更是“NLP+传统大模型”的方式进行产品设计。

也可以说,从产业数据底层、产业需求底层发散出来的优势也恰构成着如今京东交出具有灵活性、实战性AI产业应用和服务模型的底层支撑。

三、京东云大模型的落地“启示录”

在京东这家既具备底层通用大模型能力,又涉足多元产业场景和复杂协同的企业里,AI已经成为被广泛使用的底层能力。

“最开始发布言犀智能体平台的时候,我们还有点担心,是不是会有人使用、能否满足集团同事们的需求。”言犀智能体平台负责人告诉我们。但业务人员利用智能体辅助自己工 作 的热情,以及调用智能体、构建工作流的次数,都大大超过预期。

这些智能体的数据来自真实的业务积累,应用在业务场景中磨练,工作流凝聚了业务人员的行业Know-How。可以说,智能体正将京东许多场景的产业知识汲取出来,固化到应用里,成为可以分享和组合的能力。

涌现的不仅是智能体层面的AI应用,在健康、物流、金融等场景之外的其它供应链细分节点,如今京东也建立了一套完备的AI模型应用体系。

“我们目前会根据业务的需求看是否要调整模型的权重,如果需要调整,我们就会采取MaaS的方式,对模型进行调整;如果不需要,我们就会用RAG等方式帮助业务满足需求。” 京东基础大模型相关负责人告诉我们。

如果把视角放大,则更能清晰感知到的是,在如今的京东内部,一系列包括C端Agent应用、B端模型产品和解决方案等近乎全部京东的业务模型和组织模型正在被AI重构。

而为这些提供支撑的则是京东如今以言犀大模型为底座的强AI平台能力和云平台能力。如今,在言犀AI开发计算平台2.0内,已经内嵌了100多种优化工具,只需一键部署即可释放90%的推理成本。

此外,言犀AI开发计算平台2.0支持全部主流国产化AI算力,支持vGPU;同时,全面升级的云海3.0也更是无限支持千亿级参数AI大模型,基于融合超低延时RDMA网络及软件架构优化,4K随机写IOPS达到1000万级,平均延迟在100微秒级。

这些强底层能力在构成着如今京东在内部的无数业务重构的同时,也更在成为着京东云将内部的AI实践产品向外部释放的支撑和底气。

如今,伴随着越来越多的实践,这些产品仍在进化。比如在这次峰会上京东云言犀数字人平台3.0被重磅发布,在之前的AI数字人基础上,引入直播中台模式,同时上线多种行业专属场景,帮助企业更好 地落地数字人。

可以说,京东作为同时具备实体企业属性和数字技术能力的新型实体企业,内部的供应链场景成为大模型应用最好的“试验田”。这些供应链场景,帮助大模型应用填补了从实验室走向供应链的沟壑,让大模型应用能够扎实落地、持续进步。

这既是京东的大模型故事,对中国土壤上的无数正在探索大模型落地的企业,同样是一笔宝贵的范例财富。



免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。由用户投稿,经过编辑审核收录,不代表头部财经观点和立场。
证券投资市场有风险,投资需谨慎!请勿添加文章的手机号码、公众号等信息,谨防上当受骗!如若本网有任何内容侵犯您的权益,请及时联系我们。