7月24日，AspenCore主理的 2025（第六届）国际AI+IoT生态成长年夜会 于深圳南山科兴科学园国际集会中央进行。于年夜会的主论坛 国际AIoT财产成长岑岭论坛 上，深圳理工年夜学计较机科学与节制工程院创院院长、讲席传授，中国科学院深圳进步前辈技能研究院高机能计较中央首席科学家潘毅博士，发表了题为《人工智能（AI）年夜模子乐成落地的六个要素》的主题演讲。 当下，以年夜模子为代表的AI技能正加快向各行各业渗入，于浩繁范畴揭示出巨年夜的运用潜力。但一个要害问题摆于面前 怎样让这些进步前辈技能真正落地运用，实现从理论到实践的超过，这始终是业界存眷的焦点核心。于此配景下，潘毅博士联合自身多年于AI范畴的研究与实践经验，体系梳理了AI年夜模子落地所需的要害要素。 他指出，公共遍及认为，AI的成长依靠在 数据、算法、算力 这三驾马车。然而，跟着技能的前进及运用场景的繁杂化，仅靠这三者已经不足以支撑AI年夜模子的落地。于此配景下，潘毅院士提出了一个更为周全的框架 六驾马车，即年夜数据、优算法、强算力、赋常识、可注释及低能耗。 为了更好地舆解这一框架，潘毅院士起首论述了AI年夜模子的素质：处在深度进修（多层神经收集）的技能年夜框架下，数据是燃料、模子是引擎、算力是动力、常识是资本、注释是底子、能源是基础。基在这一认知，他具体解析了每一个要素的主要性和其对于AI年夜模子落地的要害作用。 潘毅博士指出，年夜数据是AI年夜模子成长的基石。他提到，模子的参数越多，所需的数据量就越年夜。没有充足的数据，模子的参数就没法获得充实练习，精准度也会年夜打扣头。 2022年9月，DeepMind于其发布的Chinchilla论文中提出了Hoffman scaling laws，该定律注解每一个参数需要约莫20个文本token举行练习。例如，一个拥有70亿参数的模子，就需要1400亿个token的练习数据。若每一个token利用int32（四字节）举行编码，那末所需的数据量将高达560GB。 年夜数据不仅范围巨年夜，并且布局多样，涵盖了纯数据、旌旗灯号、图象、文字、动画、语音及视频等多模态数据。 于医疗范畴，年夜数据的运用尤为广泛。经由过程网络及阐发患者的临床数据、基因数据、影像数据等，可以实现临床决议计划的精准化、精准医疗的个性化、慢病干涉干与的有用化以和康健治理的周全化。例如，使用年夜数据阐发技能，大夫可以按照患者的病史、症状及查抄成果，为患者制订越发个性化的医治方案，提高医治效果；同时，经由过程对于年夜量患者的康健数据举行阐发，还有可以提早发明潜于的康健问题，采纳响应的预防办法，降低疾病的发生率。 咱们此刻处在一个拼装备的时代，强算力是AI年夜模子乐成的必须品。 潘毅博士形象地比方道。他经由过程对于比AlphaGo、AlphaGo Zero、AlphaFold及ChatGPT等知名模子的算力需求，进一步夸大了强算力于模子练习中的主要性。 就拿咱们团队自立研发的ShouZhuo来讲，它乐成打败了AlphaGo，这一成就的暗地里，实在反应了强算力的主要性。 潘毅博士先容道。ShouZhuo后续改良的思绪与AlphaGo Zero近似，不外，如果利用一样的算法与数据，仅依赖现有试验室的硬件，完成相干计较年夜概需要1000多年。而AlphaGo于与李世石对于战时，就需要1920个CPU及280个GPU的强盛算力撑持。 再看其他知名模子，AlphaGo Zero若要天生自我棋战的棋谱，预计需要10000张GTX 1080 Ti的算力；AlphaFold练习历程中利用了100至200个GPU，耗时5天；ChatGPT作为当前开始进的年夜语言模子之一，其练习更是需要数万个A100 GPU并行计较。因而可知，它们都高度依靠强算力。 然而，强算力的获取并不是易事，不仅需要年夜量资金投入来采办高机能计较装备，还有患上解决装备散热、能耗等一系列问题。为了减缓算力不足的问题，潘毅博士提出，除了了加年夜算力投资外，还有可以经由过程开发专用模子及改良算法来实现。例如，针对于特定范畴开发专用模子，如BioGPT、PoemGPT、DrugGPT等，可以或许更精准地处置惩罚特定类型的数据，提高计较效率；同时，经由过程改良算法，优化模子的练习历程，削减没必要要的计较量，也可于必然水平上减缓算力压力。 面临算力限定，优算法成了晋升模子练习效率及精度的要害。潘毅博士先容了多种优化算法的要领，包括削减维度、采用新奇算法架构（如跨层架构）、冰冻层技能及梯度加强技能等。他以癫痫疾病猜测为例，具体展示了怎样经由过程削减数据维度及采用新奇架构来缩短练习时间并提高猜测精度。 于传统的癫痫疾病猜测模子中，因为需要处置惩罚年夜量的脑电旌旗灯号数据，模子的练习时间往往很长，并且猜测精度也不高。而经由过程采用数据降维技能，将高维的脑电旌旗灯号数据转换为低维的特性向量，同时采用跨层架构的神经收集模子，可以有用地削减模子的参数数目及计较量，从而缩短练习时间；同时，跨层架构还有可以更好地捕获数据中的特性信息，提高模子的猜测精度。 此外，潘毅博士还有提到了DeepSeek模子于技能上的再立异，如Transformer架构、自监视进修、混淆专家模子等。Transformer架构经由过程引入自留意力机制，可以或许更好地处置惩罚长序列数据，提高模子的上下文理解能力；自监视进修则可让模子于无标签数据长进行预练习，从而削减对于人工标注数据的依靠，降低数据获取成本；混淆专家模子（MoE）则将多个专家模子组合于一路，按照输入数据的差别特色，选择适合的专家模子举行处置惩罚，提高了模子的顺应性及机能。这些技能的立异为模子机能的晋升提供了有力撑持。 潘毅博士将AI体系的成长分为三代：第一代是常识驱动，重要依赖人工编写的法则及常识库来举行推理及决议计划；第二代是数据驱动，经由过程年夜量的数据举行模子练习，让模子主动进修数据中的模式及纪律；而第三代则是常识驱动与数据驱动的联合，将人类的常识及经验融入到数据驱动的模子中，使模子具备更强的归纳能力及逻辑推理能力。 他夸大，于第二代AI体系中融入先验常识可以显著晋升模子的机能。经由过程数据加强、丧失项正则化及常识图谱等要领，可以将人类常识注入到模子中，削减练习数据量并提高正确率。例如，于图象分类使命中，使用图卷积层将类相似性信息整合到卷积神经收集模子中，可让模子更好地舆解差别种别之间的相似性及差异性，从而显著提高分类精度。于天然语言处置惩罚范畴，经由过程引入常识图谱，可让模子更好地舆解文本中的语义信息，提高问答体系、呆板翻译等使命的机能。 AI可注释性是当前研究的热门之一。 潘毅博士指出，传统的深度进修模子往往被视为黑盒，模子的内部决议计划历程难以注释，这使患上模子于一些对于安全性要求较高的范畴，如医疗、新药研发及主动驾驶等，的运用遭到了限定。于医疗范畴，大夫需要相识模子是怎样做出诊断决议计划的，以便对于诊断成果举行评估及验证；于新药研发中，研究职员需要知道模子是怎样猜测药物的有用性及安全性的，以便对于药物举行优化及改良；于主动驾驶范畴，搭客需要相识主动驾驶体系于碰到繁杂环境时是怎样做出决议计划的，以便加强对于主动驾驶技能的信托。 为相识决AI模子的可注释性问题，潘毅博士先容了本身于卵白质布局猜测及药物靶标发明方面的研究结果。他经由过程法则天生及决议计划树等要领，将繁杂的模子决议计划历程转化为可理解的法则及流程，提高了AI模子的可注释性。这些研究不仅有助在理解模子的决议计划历程，还有可以削减生物试验次数并降低研发成本。例如，于药物靶标发明中，经由过程提高模子的可注释性，研究职员可以越发正确地找到药物作用的靶点，从而加速新药的研发进程。 于 双碳 方针引领下，降低计较能耗成了AI年夜模子成长的主要标的目的。潘毅博士提到，数据中央作为AI年夜模子运行的重要场合，已经成为重要的碳排放源之一。跟着AI年夜模子的不停成长及运用，数据中央的能耗问题日趋凸起，鞭策 绿色计较 十分要害。 为了权衡计较机体系的能效比，潘毅博士提出了新指标FLOPSJ（每一秒每一焦耳浮点运算次数）及TPSJ（每一秒每一焦耳令牌天生数）。这些指标可以从能耗及机能两个维度对于计较机体系举行综合评估，有助在指导研发职员开发低能耗、高机能的计较机体系。 此外，他还有先容了零一万物推出的最新旗舰模子Yi-Lightning。该模子不仅于机能上逾越GPT-4o（2024-05-13），冲上UC伯克利年夜模子竞技场总榜第6名，还有将每一百万token的价格打到了0.99元人平易近币的极低程度，不到该版本GPT-4o的3%。这充实揭示了低能耗模子的经济潜力，既为AI年夜模子的广泛运用提供了成本上风，也为实现绿色计较方针提供了有利的摸索。 潘毅博士提出的 六驾马车 框架，为AI年夜模子从理论走向实践提供了体系性的要领论。这一框架不仅涵盖了传统 三驾马车 的焦点要素，更经由过程引入 赋常识、可注释、低能耗 三个要害维度，回应了当前AI落地历程中面对的焦点挑战。 将来，跟着多模态数据的连续增加、专用芯片的成长、算法布局的立异、常识指导机制的完美、模子透明度的晋升以和绿色计较理念的深切，AI年夜模子有望于医疗、制造、教诲、交通等多个范畴实现更广泛、更深切的运用。 潘毅博士的演讲不仅为业界提供了清楚的技能路径，也为学术界指了然研究标的目的。于AI技能从 可用 走向 好用 的要害阶段，这六大体素将成为鞭策年夜模子真正落地、实现价值闭环的主要支撑。
截至
