当下国内大模型行业内卷进入白热化阶段,各家厂商争相更新版本、冲刺评测榜单分数,模型蒸馏已经成为行业内快速拉高模型能力、压缩研发周期的通用捷径。就在行业普遍走捷径提速的时候,字节跳动创始人张一鸣罕见出面,在 Seed 大模型团队内部会议给出明确战略态度:字节跳动宁可在短期赛道竞争当中落后竞品,也不会依靠蒸馏技术拔高模型实力,坚持底层技术原生自研道路。
很少插手大模型团队日常管理的张一鸣,这次专门针对内部长久以来的路线争论定下规则,字节内部全面禁止蒸馏外部模型,无论是海外闭源大模型,还是市面上流通的开源权重模型,全部纳入管控范围,团队还上线 API 监测机制,从技术层面杜绝工作人员使用第三方模型输出数据训练自家模型。在各大厂商争相追求榜单排名的环境之下,字节跳动这条反行业潮流的路线,揭开了 AI 长跑赛道短期红利和底层技术根基之间的艰难取舍。
一、看懂大模型蒸馏:行业普遍存在的速成捷径
很多外行并不清楚蒸馏技术的运行逻辑,通俗来讲蒸馏就是学生模型模仿老师模型:企业调用成熟头部大模型大量的回答、推理逻辑、代码答案、文本输出内容,当作训练数据集,用来喂养自家的小型模型。借助成熟模型沉淀下来的思维范式,新模型可以跳过漫长的数据训练、底层架构试错环节,短时间之内跑分、对话效果快速追赶头部选手,大幅节省算力成本、训练周期与研发投入。
放在现实当中,蒸馏类似学生直接照搬尖子生的参考答案,试卷分数可以快速提升,但是独立思考、底层解题能力没有得到锻炼。现如今蒸馏已经成为 AI 行业公开的提速手段,不少新入局厂商依靠蒸馏头部模型快速上线产品、抢占市场;不过该技术也暗藏版权纠纷、技术空心化、海外地缘风险。此前海外 AI 企业已经公开控诉国内厂商蒸馏闭源模型,行业捷径背后潜藏着大量隐患。
二、字节跳动严令禁止蒸馏,背后三层深层考量
1、技术层面:捷径会扼杀原生底层创新
张一鸣在内部讲话当中明确提出,蒸馏得到的只是表层的模仿能力,会掩盖团队架构设计、预训练数据、算法框架当中存在的短板,长期依赖捷径,团队很难沉淀属于自身的原创技术思路。大模型比拼终究是长跑,榜单分数只是短期纸面成绩;如果一直复刻别家模型的思维逻辑,研发团队会慢慢丧失独立探索的能力。字节愿意承受短期落后的代价,逼迫团队从零打磨预训练框架、数据体系、多模态底层架构,掌握完整可自主掌控的技术链路。字节跳动 CEO 梁汝波也在全员年会上呼应该战略,Seed 大模型坚持自研路线,接受短期差距,优先夯实底层技术根基,研发团队需要保持延迟满足的心态,深耕基础技术建设。
2、风险层面,规避版权争端与地缘陷阱
蒸馏海外闭源大模型本身已经触碰平台用户协议红线,海外多家 AI 企业已经公开起诉、警告蒸馏行为,一旦被定性为数据窃取,企业将会面临高额赔偿、海外业务受限。结合 TikTok 过往海外市场遭遇地缘打压的经历,字节管理层十分清楚,核心 AI 技术命脉不能够建立在国外模型的输出之上。即便是风险更低的开源权重模型,字节同样选择全面禁止蒸馏,根源在于不想让自家模型的底层逻辑受制于外部开源项目框架,避免后续技术发展被别人的框架束缚住手脚。
3、商业战略:打造字节专属的 AI 技术护城河
如今国内 AI 赛道竞争节奏飞快,每隔几天就会有全新大模型版本对外发布,评测榜单跑分、参数大小、宣传噱头成为很多企业比拼的核心指标。蒸馏、二次微调、套用开源框架成为快速冲高分数的手段。很多团队把精力放在跑分优化,而非底层算法创新。当整个行业沉迷速成捷径,很容易出现技术同质化,国内大模型陷入表层内卷,很难诞生具备原创性的底层架构突破。张一鸣这次发声,本质也是提醒内部团队跳出内卷陷阱,把目光放在十年维度的长期技术竞争当中。
四、拒绝蒸馏,对整个 AI 行业带来的启示
1、区分短期跑分红利和硬核技术实力
蒸馏可以换来一时好看的测试成绩,但是模型的推理深度、长文本稳定性、多模态原生能力、安全可控性,只能依靠长期预训练打磨。榜单只能够代表浅层能力,硬核科技比拼的是底层架构、数据集、算力调度、算法创新的综合实力。
2、国产 AI 想要掌握话语权,必须坚持原生自研
“宁可落后,绝不蒸馏”,并不是字节放弃赛道竞争,而是主动放弃速成捷径,选择一条难度更高、回报周期更长的原生自研道路。大模型行业的比拼从来都不是一场短跑竞速,而是一场横跨十几年的技术马拉松。短期榜单的输赢只是一时得失,能够牢牢握住底层算法、独立架构、自主数据集,才是 AI 企业长久立足的核心底牌。在遍地捷径的行业环境之下,字节跳动这次的长期主义选择,也为国内 AI 从业者提供全新的思考方向。