这项由南华理工大学、StepFun公司、中科院自动化所、南洋理工大学以及香港中文大学联合完成的研究发表于2026年3月，论文编号为arXiv:2603.08652。对于想要深入了解这一突破性成果的读者，可以通过该编号查询完整论文。

当你想要一台AI来画一幅复杂的图画时，通常的做法就像直接对着一张白纸开始作画。但是，如果让AI先用代码写出详细的"绘画说明书"，然后按照这个说明书来画，会发生什么呢？研究团队发现，这种看似绕远路的方法，竟然能让AI生成的图像质量大幅提升，特别是在处理复杂布局和文字内容时效果尤为显著。

这个发现颠覆了我们对AI图像生成的传统认知。就好比一个厨师做菜，与其直接凭感觉下锅炒制，不如先写出详细的食谱步骤，标明每种调料的用量和火候时机，最后按照食谱制作出的菜肴往往更加完美。研究团队将这种方法命名为CoCo，意思是"代码作为思维链"，让AI通过编写可执行的代码来进行"思考"，然后基于这种思考结果来生成图像。

在传统的AI图像生成过程中，模型往往直接从文字描述跳跃到最终图像，中间缺乏明确的规划步骤。这就像让一个建筑师不画设计图就直接盖房子，虽然有时能成功，但面对复杂的建筑要求时往往力不从心。特别是当需要精确的空间布局、复杂的文字排版或者科学图表时，这种直接生成的方法经常会出现布局错乱、文字模糊甚至内容错误的问题。

研究团队的解决思路非常巧妙。他们让AI首先根据用户的描述生成一段可执行的代码，这段代码详细描述了图像的结构布局、元素位置和文字内容。然后，这段代码会在一个安全的环境中运行，生成一个结构清晰但视觉效果相对简单的"草图"。最后，AI会基于这个草图进行精细化处理，添加视觉细节和艺术效果，最终产出高质量的图像。

一、代码思维链的工作原理

整个CoCo系统的工作流程就像一个经验丰富的设计师的创作过程。当接到一个设计任务时，设计师不会立即开始绘画，而是先在脑中或纸上列出详细的设计要素清单：哪些元素放在哪里、用什么颜色、多大尺寸、如何排版等等。这个清单就相当于CoCo系统生成的代码。

具体来说，当用户输入"一个显示数学函数y=x?的2D图表，包含蓝色抛物线、标记原点O、红色直线y=-x穿过O点、虚线辅助线相交于P点，并标注区域A和B"这样的复杂描述时，传统的AI可能会生成一个布局混乱、标记错误的图像。但CoCo系统会首先生成类似这样的代码思路：创建一个坐标系，绘制蓝色的抛物线，在原点位置添加"O"标记，绘制红色的直线，计算交点位置并标记为"P"，最后在指定区域添加"A"和"B"标签。

这段代码随后在一个沙盒环境中执行，就像在一个安全的测试车间里先制作产品原型一样。这个环境确保代码运行的安全性和稳定性，避免任何潜在的系统风险。代码执行后会产生一个结构准确但视觉效果简朴的草图，就像建筑师的结构图，虽然不够美观，但每个元素都在正确的位置上。

接下来是最关键的精细化阶段。AI会同时查看用户的原始描述和这个结构准确的草图，就像一个艺术家拿到了详细的素描稿，开始添加色彩、质感和细节效果。这个过程中，AI既要保持草图中准确的结构布局，又要大幅提升视觉的真实感和美观度。最终产生的图像既有精确的布局，又具备高度的艺术效果。

二、突破传统生成方式的局限

传统的AI图像生成方法主要依靠自然语言描述来引导生成过程，这种方法就像用口语来指导一个人画画。虽然对于简单的场景描述效果不错，但当涉及到精确的空间关系、复杂的文字布局或者科学图表时，自然语言的模糊性就暴露出明显的不足。

比如说，当你想要一个包含多个数据系列的柱状图时，用自然语言描述"第一个柱子比第二个高一点，第三个最矮，颜色分别是蓝色、绿色和红色"，这种描述对于AI来说就像雾里看花，很容易产生理解偏差。而且，自然语言无法精确表达像素级的位置信息、具体的数值关系或者复杂的几何结构。

更严重的问题是，传统方法在处理包含文字内容的图像时经常出现"文字乱码"现象。这就像让一个不识字的人抄写文章，虽然能模仿字形，但往往写出的都是看似像字但实际上没有意义的符号。特别是在生成海报、标牌、图表标题等需要准确文字信息的图像时，这个问题尤为突出。

CoCo系统通过引入代码这一精确的表达方式，完美解决了这些问题。代码天生具有精确性和可验证性的特点，就像数学公式一样，每一个符号都有确切的含义，不会产生歧义。当AI用代码来描述一个图像的结构时，它能够精确指定每个元素的位置坐标、尺寸大小、颜色数值，甚至是字体类型和文字内容。

这种精确性带来的好处是显而易见的。研究团队的实验结果显示，在结构化图像生成基准测试中，CoCo系统比传统直接生成方法的准确率提升了68.83%。这个提升幅度就像从及格边缘一跃成为优等生，差距之大让人印象深刻。特别是在处理图表、数学图形和包含大量文字的图像时，这种优势更加明显。

三、专门构建的训练数据集

为了让AI学会这种"先写代码再画图"的技能，研究团队面临着一个重要挑战：现有的训练数据并不包含这种代码-草图-最终图像的三元组合。这就像想教一个学生学习烹饪，但市面上只有成品菜肴的图片，没有详细的制作步骤和中间过程的记录。

于是，研究团队决定自己动手构建一个名为CoCo-10K的专门数据集，包含超过10000个训练样本。这个数据集的构建过程颇具匠心，就像组织一支由厨师和美食摄影师组成的团队来制作完整的菜谱大全一样。

数据集的构建分为两个主要部分，每个部分都有特定的功能。第一部分是编辑数据集，主要来源于现有的结构化图表集合。研究团队选择了一些包含图表、数据可视化内容的现有图像，然后对这些图像进行有针对性的修改，比如改变图表类型、调整数据数值或者修改格式样式。这个过程就像拿到一个现成的图表，然后按照新的要求对其进行改造，既保持了整体结构的合理性，又提供了前后对比的训练材料。

第二部分是合成数据集，这是整个项目中最具创新性的部分。研究团队首先设计了大量涵盖科学概念和文字密集型视觉格式的提示词，涉及图表、海报、信息图表和注释图表等多种类型。然后，他们使用先进的语言模型来生成相应的代码，这些代码能够明确指定视觉结构和布局要求。

接下来，这些生成的代码会在沙盒环境中执行，产生初始的程序化可视化图像。这些图像虽然结构准确，但视觉风格相对简单，就像工程制图一样实用但不够美观。最后一步是使用专业的图像编辑模型对这些简单图像进行视觉增强，在保持原有结构的基础上大幅改善视觉效果，最终生成既准确又美观的图像。

这个数据构建过程的巧妙之处在于它自然地模拟了CoCo系统的两阶段生成模式。从可执行代码到中间草图，再到最终精美图像的完整流程为AI提供了丰富的学习材料。通过学习这些样本，AI不仅掌握了如何生成准确的结构化代码，还学会了如何在保持结构准确性的前提下进行视觉美化。

四、令人惊喜的实验结果

研究团队在多个权威基准测试中验证了CoCo系统的效果，结果令人刮目相看。在StructT2IBench这个专门测试结构化图像生成能力的基准上，CoCo系统达到了73.52%的总体准确率，远远超过了之前最好方法的49.58%。这个提升就像从勉强及格直接跳到了优秀水平，差距之大让人印象深刻。

更让人惊喜的是在具体任务类型上的表现。在图表生成任务中，CoCo达到了79.44%的准确率，在表格生成中更是达到了79.15%的准确率。这意味着绝大多数情况下，CoCo生成的图表和表格都能准确反映用户的要求，无论是数据的准确性还是布局的合理性都大大超过了传统方法。

在文字渲染能力的测试中，CoCo同样表现出色。在OneIG-Bench基准测试中，英文文字渲染准确率达到89.5%，中文达到81.1%，总体得分85.3%。这个成绩说明CoCo不仅能准确生成图像结构，在处理复杂的文字内容时也游刃有余，避免了传统方法经常出现的文字乱码问题。

特别值得一提的是，在处理长文本渲染的LongText-Bench测试中，CoCo在英文和中文上都达到了75%以上的准确率。这对于需要在图像中包含大量文字信息的应用场景来说意义重大，比如海报制作、信息图表生成或者教育材料制作等。

研究团队还发现了一个有趣的现象：虽然所有训练数据都是基于固定分辨率制作的，但CoCo系统在实际应用中表现出了很强的适应性。当处理不同类型的内容时，系统会自动选择最适合的画面比例。比如处理海报类内容时倾向于选择宽屏比例，而制作图表或图形时则多选择正方形或接近正方形的比例。这种自适应能力说明系统真正理解了不同内容类型的特点，而不是简单地记忆固定模式。

五、技术实现的巧思

CoCo系统的技术实现充分体现了研究团队的深入思考。整个系统基于一个名为Bagel的统一多模态大语言模型进行改进，这个基础模型本身就具备同时处理文字理解和图像生成的能力，为CoCo的实现提供了良好的技术基础。

系统的训练过程采用了精心设计的损失函数组合。对于代码生成部分，使用标准的交叉熵损失来确保生成的代码在语法和逻辑上都正确无误。对于图像生成部分，则采用均方误差损失来保证视觉质量。这种双重约束机制确保了系统在两个关键环节都能保持高质量输出。

在训练数据的组织上，研究团队采用了巧妙的混合策略。他们发现，纯粹的文本-代码配对数据只需要占总训练数据的5%就足够了，剩余95%应该是文本-草图-最终图像的三元组数据。这个比例的发现颇有意思，说明让AI学会编写代码相对容易，真正的挑战在于如何基于草图进行精细化的视觉改进。

为了验证代码生成的可靠性，研究团队进行了一个简单但重要的测试。他们发现，没有经过专门训练的原始Bagel模型在生成可执行代码方面表现很差，成功率只有9.06%，这意味着大部分生成的代码都无法正常运行。但经过CoCo训练后，代码的可执行成功率达到了100%，这个改进是系统能够正常工作的前提条件。

研究团队还特别注意了安全性问题。所有代码都在严格的沙盒环境中执行，这个环境限制了代码的操作权限，只允许进行图像绘制相关的操作，避免了任何潜在的安全风险。这种设计就像给代码套了一个安全罩，既保证了功能的实现，又确保了系统的安全稳定。

六、广阔的应用前景

CoCo系统的成功不仅仅是学术研究的突破，更预示着AI图像生成技术在实际应用中的巨大潜力。在教育领域，这项技术可以帮助教师快速生成准确的教学图表、示意图和信息图表，特别是在数学、物理、化学等需要大量图形辅助的学科中。传统上制作这些图表需要专业的绘图软件和技能，现在只需要用自然语言描述需求，就能得到专业水准的教学材料。

在商业设计领域，CoCo技术可以大大降低图表制作和信息可视化的门槛。市场分析师可以轻松生成复杂的数据图表，产品经理可以快速制作功能示意图，营销人员可以便捷地创建包含准确信息的宣传材料。这种能力的普及将让数据可视化不再是专业设计师的专属技能。

科研工作中，CoCo系统能够帮助研究人员快速生成论文插图、实验示意图和数据可视化图表。特别是在需要频繁修改和调整图表的情况下，通过修改代码描述来调整图像比传统的重新制图要高效得多。而且，由于整个生成过程基于明确的代码逻辑，图表的准确性和重现性都得到了很好的保证。

在多语言内容制作方面，CoCo系统表现出的中英文处理能力为国际化内容制作提供了便利。无论是制作面向不同语言市场的产品说明书，还是创建多语言的信息图表，系统都能保持文字内容的准确性和布局的一致性。

更有趣的是，这项技术还可能推动"可解释AI"的发展。由于CoCo生成的每一张图像都对应着一段可读的代码，用户可以清楚地了解AI的"思考过程"。如果对生成结果不满意，用户甚至可以直接修改代码中的相关参数，实现精确的定制化调整。这种透明度在传统的AI图像生成中是难以实现的。

当然，目前的CoCo系统主要专注于结构化和文字密集型图像的生成，在艺术创作和自由形式图像生成方面还有改进空间。但研究团队的这个思路为AI图像生成技术指出了一个新的发展方向：通过引入更加精确和可验证的中间表示，可以大幅提升AI系统在特定任务上的表现。

说到底，CoCo系统的核心创新在于重新定义了AI的"思考"方式。与其让AI直接从模糊的文字描述跳跃到复杂的视觉输出，不如先让它用精确的代码语言整理思路，然后基于这个清晰的思路来进行创作。这种方法不仅提升了结果的准确性，更重要的是让整个生成过程变得可理解、可验证、可控制。

这个研究成果提醒我们，有时候"绕远路"反而是通往目标的最佳路径。正如这项研究所展示的，让AI先学会用代码"思考"，再进行图像创作，虽然增加了步骤的复杂性，但显著提升了最终结果的质量。这种思路不仅适用于图像生成，也可能对其他需要精确控制的AI任务有所启发。随着这类技术的不断成熟，我们有理由期待AI在更多专业领域中发挥更大的作用，让人工智能真正成为我们工作和生活中可靠的智能助手。

Q&A

Q1：CoCo系统是如何让AI用代码思考的？

A：CoCo系统让AI首先根据用户描述生成可执行的代码，这些代码详细描述图像的结构布局和元素位置。然后在安全环境中执行代码生成准确的草图，最后基于草图进行视觉美化，产出高质量图像。这就像先写详细食谱再做菜，比直接凭感觉制作效果更好。

Q2：CoCo系统相比传统AI图像生成有什么优势？

A：CoCo系统在结构化图像生成准确率上提升了68.83%，特别擅长处理复杂布局、精确文字和科学图表。传统方法直接从文字跳到图像容易出错，而CoCo通过代码中间步骤确保了布局准确性，避免了文字乱码等常见问题。

Q3：普通人能使用CoCo技术制作图表和海报吗？

A：虽然CoCo目前还是研究阶段的技术，但它展示了让普通人轻松制作专业图表的可能性。用户只需用自然语言描述需求，AI就能生成准确的教学图表、数据可视化图表或宣传材料，大大降低了专业设计的门槛。