一人设计 10 亿图片，这个“设计师”如何演进？

本文内容提炼：

1、如何建立图片数据与用户注意力之间的连接？

2、如何进行结构化规模化的图片生产？

2019 年双十一期间，鹿班面向集团电商场景输送了 10 亿 规模的图片。从提升公域流量效率，到商家私域的表达赋能，随着场景的细分，分人群精细化运营的需求提出，对图片结构化生产，规模化生产在量和质上的要求不断提高。图像生成技术也在不断的演进，本篇将围绕鹿班最近一年的在生成能力上演进以及实践做展开，欢迎探讨交流。

上图是我们有过采访的在平台上卖姜茶的店铺的图片运营经验，可以看到不同场景下的商品图文，在内容和形式是极具多样性，这种多样性不同于海量商品的个性化多样性，这种多样性是对 C 端用户注意力更加精细的吸引，这种多样性是对 B 端商家运营能力的一个新命题。

那么如何满足这种多样性生产？如何建立图片数据与用户注意力之间的连接？如何对商家赋能？下面我会从图片生产的视角切入，尝试回答以上问题。

生产标准-图片结构化

在 C 端的商品分发链路上，得益于结构化的标准定义，使得商品的数据和特征可以被高效的传递收集处理，从而给予模型和算法充分的施展空间。

当尝试将商品图片的数据作为一个整体进特征提取计算时，无论是低层次的显示特征还是高维的语义隐式特征在基于深度神经网络处理后都变成了一个概率问题，但实际我们更希望把概率转换为确定性输入从而更准确的挖掘图片特征与用户行为之间的关联关系。

电商的图片生产除了最开始的拍摄外，更多的会依赖后期的图像处理软件，比如 PS（photoshop）进行图文的创作编辑，根据图像处理软件的图层划分标准，我们对图片进行结构化的分层定义。给图片引入图层（layer）属性，从结构、色彩、文字（内容）三个维度对一张图片进行结构化的描述。通过结构化使得图片自身的属性特征可以被高效准确的传递收集处理，进而使得后续的生成加工成为可能。

为了标准的执行，我们面向商家设计师开发了配套的生产工具，在保持设计师工作流程不变化的前提下，将原来非结构化的单张图片转换为自描述的 DSL 结构化数据，从而在生产的源头保证了图片数据结构化的执行实施。

生产工序-流程编排

当图片有了结构化的定义后，我们将图片的生成转换为成基于人机协作的数据匹配排序问题。为什么是匹配排序？

我们积累了大量的设计数据，相比之前非结构化的设计创意，通过图片结构化我们可以将设计精确解构到每一个图层，每一个元素，每一个文字。进而沉淀了可复用的数据资产。根据用户喜好，商品属性进行图片表达的好中选优，这就转化为一个数据匹配问题。

数据匹配包含两个部分：一是由设计师创作的面向特定场景或商品表达的设计数据，我们称之为模板；二是由用户属性数据以及在浏览商品图片过程中产生的的收藏、点击、购买等用户行为数据。

对于的匹配排序有两层，首先是商品图片和模板的匹配，这层通过定义设计约束进行参数化的求解实现匹配。

比如基于模板的背景色约束商品图片主色区间，根据模板结构布局约束商品图片主体形状等。通过图像检测/识别算法在线提取商品主体的图片特征，结合离线计算的模板特征进行匹配计算。

然后是用户特征与图片特征的匹配计算，在建模时我们把数据划分成三个特征组，分别是用户特征组，商品特征组合和图片特征组，通过 embedding 变换对得到特征向量进行两两交叉预测建模，之所以采用两两分别组合而不采用三组向量联合建模的原因是考虑到对于电商场景，商品特征与用户特征之间的信号更强，如果联合建模训练会导致图片的行为的关系不能有效的被学习到，而通过两两交叉建模，可以针对性的做预测结果的加权。

问题定义清楚后我们依然要面对来自业务的复杂性和快速响应问题，为此我们定义了生产 pipline，将生产流程与生产能力分而治之。面对复杂业务需求提供生产流程编排能力，为提高响应速度提供可插拔的生产算子模型。

► 生产流程-节点编排

将图片设计生产的理念流程化，流程系统化。通过工作流引擎实现生产节点的编排管理，从而让业务方可以灵活的按需求进行生产线的定义组装，满足多场景的生产需求。

► 生产能力-可插拔算子

算子定义了统一的输入输出以及必要的 context，通过对约定输入的计算处理完成效果实现。

图像类算子：图像分割，主体识别，OCR，显著性检测等。

文本类算子：短标题生成，文字效果增强等。

规则类算子：人工干预，流程控制等。

► 通过这套生成引擎，白盒化的对生成能力进行分制管理，面向二方能力的开放友好，同时满足业务集成的灵活性。目前线上共管理了 10 个核心场景，33 个生产节点，47 种算子能力，通过编排组合实现了 10 亿规模图片的分场景矩阵式生成。

本文转载自淘系技术公众号。

原文链接：https://mp.weixin.qq.com/s/OCIo4nY2YVWHU0t5O_-a4g