免费下载案例集|20+数字化领先企业人才培养实践经验 了解详情
写点什么

一人设计 10 亿图片,这个“设计师”如何演进?

  • 2019-12-16
  • 本文字数:1886 字

    阅读完需:约 6 分钟

一人设计10亿图片,这个“设计师”如何演进?

本文内容提炼:

1、如何建立图片数据与用户注意力之间的连接?

2、如何进行结构化规模化的图片生产?


2019 年双十一期间,鹿班面向集团电商场景输送了 10 亿 规模的图片。从提升公域流量效率,到商家私域的表达赋能,随着场景的细分,分人群精细化运营的需求提出,对图片结构化生产,规模化生产在量和质上的要求不断提高。图像生成技术也在不断的演进,本篇将围绕鹿班最近一年的在生成能力上演进以及实践做展开,欢迎探讨交流。



上图是我们有过采访的在平台上卖姜茶的店铺的图片运营经验,可以看到不同场景下的商品图文,在内容和形式是极具多样性,这种多样性不同于海量商品的个性化多样性,这种多样性是对 C 端用户注意力更加精细的吸引,这种多样性是对 B 端商家运营能力的一个新命题。


那么如何满足这种多样性生产?如何建立图片数据与用户注意力之间的连接?如何对商家赋能?下面我会从图片生产的视角切入,尝试回答以上问题。

生产标准-图片结构化

在 C 端的商品分发链路上,得益于结构化的标准定义,使得商品的数据和特征可以被高效的传递收集处理,从而给予模型和算法充分的施展空间。


当尝试将商品图片的数据作为一个整体进特征提取计算时,无论是低层次的显示特征还是高维的语义隐式特征在基于深度神经网络处理后都变成了一个概率问题,但实际我们更希望把概率转换为确定性输入从而更准确的挖掘图片特征与用户行为之间的关联关系。



电商的图片生产除了最开始的拍摄外,更多的会依赖后期的图像处理软件,比如 PS(photoshop)进行图文的创作编辑,根据图像处理软件的图层划分标准,我们对图片进行结构化的分层定义。给图片引入图层(layer)属性,从结构、色彩、文字(内容)三个维度对一张图片进行结构化的描述。通过结构化使得图片自身的属性特征可以被高效准确的传递收集处理,进而使得后续的生成加工成为可能。



为了标准的执行,我们面向商家设计师开发了配套的生产工具,在保持设计师工作流程不变化的前提下,将原来非结构化的单张图片转换为自描述的 DSL 结构化数据,从而在生产的源头保证了图片数据结构化的执行实施。

生产工序-流程编排

当图片有了结构化的定义后,我们将图片的生成转换为成基于人机协作的数据匹配排序问题。为什么是匹配排序?


我们积累了大量的设计数据,相比之前非结构化的设计创意,通过图片结构化我们可以将设计精确解构到每一个图层,每一个元素,每一个文字。进而沉淀了可复用的数据资产。根据用户喜好,商品属性进行图片表达的好中选优,这就转化为一个数据匹配问题。


数据匹配包含两个部分:一是由设计师创作的面向特定场景或商品表达的设计数据,我们称之为模板;二是由用户属性数据以及在浏览商品图片过程中产生的的收藏、点击、购买等用户行为数据。


对于的匹配排序有两层,首先是商品图片和模板的匹配,这层通过定义设计约束进行参数化的求解实现匹配。


比如基于模板的背景色约束商品图片主色区间,根据模板结构布局约束商品图片主体形状等。通过图像检测/识别算法在线提取商品主体的图片特征,结合离线计算的模板特征进行匹配计算。


然后是用户特征与图片特征的匹配计算,在建模时我们把数据划分成三个特征组,分别是用户特征组,商品特征组合和图片特征组,通过 embedding 变换对得到特征向量进行两两交叉预测建模,之所以采用两两分别组合而不采用三组向量联合建模的原因是考虑到对于电商场景,商品特征与用户特征之间的信号更强,如果联合建模训练会导致图片的行为的关系不能有效的被学习到,而通过两两交叉建模,可以针对性的做预测结果的加权。


问题定义清楚后我们依然要面对来自业务的复杂性和快速响应问题,为此我们定义了生产 pipline,将生产流程与生产能力分而治之。面对复杂业务需求提供生产流程编排能力,为提高响应速度提供可插拔的生产算子模型。



► 生产流程-节点编排


将图片设计生产的理念流程化,流程系统化。通过工作流引擎实现生产节点的编排管理,从而让业务方可以灵活的按需求进行生产线的定义组装,满足多场景的生产需求。


► 生产能力-可插拔算子


算子定义了统一的输入输出以及必要的 context,通过对约定输入的计算处理完成效果实现。


图像类算子:图像分割,主体识别,OCR,显著性检测等。


文本类算子:短标题生成,文字效果增强等。


规则类算子:人工干预,流程控制等。


► 通过这套生成引擎,白盒化的对生成能力进行分制管理,面向二方能力的开放友好,同时满足业务集成的灵活性。目前线上共管理了 10 个核心场景,33 个生产节点,47 种算子能力,通过编排组合实现了 10 亿规模图片的分场景矩阵式生成。


本文转载自淘系技术公众号。


原文链接:https://mp.weixin.qq.com/s/OCIo4nY2YVWHU0t5O_-a4g


2019-12-16 18:56643

评论

发布
暂无评论
发现更多内容

花了19998买的学习教程!Android跨进程通信导论,技术详细介绍

欢喜学安卓

android 程序员 面试 移动开发

“公测”成绩亮眼 数字人民币有望重构支付体系

CECBC

数字红包

Task01-产品类JD对比

遠景

产品 字节跳动 产品经理 JD

初探架构,随笔整理

鲁米

软件架构

2021年1月初Java开发从小公司跳槽阿里制胜关键:狂刷17套大厂真题

Java架构追梦

Java 阿里巴巴 架构 面试

UML是表达思想的工具

鲁米

UML

40000美元之后,比特币高位震荡加剧,是买?是卖?还是持有?

CECBC

比特币

量化交易自动炒币软件开发系统

Redis不仅仅是缓存,还是……

码农译站

数据库 redis 缓存 关系型数据库 非关系型数据库

面对疫情,我们正在行动!

anyRTC开发者

uni-app android 音视频 WebRTC 在线教育

ssh连接不上Linux怎么办

HKBGP

Linux

Soul网关源码阅读(七)限流插件初探

Java 网关 限流

张红珊——第一节课作业

zzz

架构的直观展示

鲁米

架构视图 4+1

四,编程范式

鲁米

编程范式

第一章作业

转转

合约跟单系统APP开发|合约跟单软件开发

系统开发

对比:微服务VS单体架构

xcbeyond

微服务 单体架构 28天写作

微众银行区块链:领跑产业应用落地 推进开源生态繁荣

CECBC

区块链技术

Android入门你值得拥有!史上最通俗计算机网络分层详解,含BATJM大厂

欢喜学安卓

android 程序员 面试 移动开发

“战复不胜”的产品经理

产品经理训练营

产品经理训练营 - 第一章 必做作业

Denny-xi

产品经理 产品经理新人如何落地 产品经理训练营

量化策略交易软件开发系统源码

产品实战作业(Job Model)

晓豪

迷茫 产品经理训练营 BTA 邱岳

产品经理训练营 0 期作业第一章作业

郭郭

万字解释!在咸鱼被疯抢的网络协议核心彩板手册已曝光!

996小迁

Java 编程 架构 面试 网络协议

有原则,方得始终!

鲁米

SOLID 设计原则

什么是产品经理?——课程总结

Deborah

Elasticsearch 横向扩容

escray

elastic 七日更 28天写作 死磕Elasticsearch 60天通过Elastic认证考试

Nginx 最常用的两个功能:负载均衡和缓存

码农架构

Java nginx 架构 并发

Docker发布开发团队2021年三个首选方向;工信部印发《工业互联网创新发展行动计划(2021-2023 年)》

京东科技开发者

云计算

一人设计10亿图片,这个“设计师”如何演进?_行业深度_鲍军(推开)_InfoQ精选文章