局部色彩可控的中国山水画仿真生成方法

　　本文针对布局标签图到仿真中国山水画的转换生成问题进行研究，现有的基于条件生成对抗网络( CGAN) 的方法存在色彩和语义失真、网络结构参数量较大的问题. 针对这些问题，提出一种局部色彩可控的中国山水画仿真生成方法. 方法首先提出并设计了一种面向山水画的多语义标签图作为交互方式，根据内容、技法、颜色 3 个语义层次归纳出山水画中对象的类别，相应地设计了面向手绘山水画原作的多语义标签图的分层分割生成算法，用于构造“手绘山水画-多语义标签图”数据对以作网络训练之用; 其次，提出了轻量化的多尺度颜色类别关注的条件生成对抗网络 MS3C-CGAN，引入空间自适应归一化残差块、双线性上采样结构简化并重构原有的 UC-Net 生成器，将生成器的参数量减少了 24. 45% . 对比实验结果表明，本文方法仿真生成的中国山水画更具色彩艺术真实感、语义内容更为准确，同时通过编辑布局标签图可控制生成山水画中植被的色彩，可应用于艺术教育、设计模拟等领域.

局部色彩可控的中国山水画仿真生成方法

　　1 引言

　　中国山水画是中国传统绘画艺术的重要组成部分，以山川自然景观为主要描绘对象. 中国山水画的仿真研究始于上世纪 90 年代，是计算机图形图像领域极具挑战性的课题之一. 以往的仿真工作大多侧重对山水画笔法和局部模型的仿真，近期有文献对其构图和整体艺术风格进行仿真，但是对整体色彩的仿真及控制的研究较少. 而中国山水画的色彩在艺术表现力方面有重要的作用. 本文即着重研究如何在仿真生成山水画的过程中实现对色彩的控制. 对中国山水画色彩仿真及控制的研究有助于该类画作设色技巧的传承与发展，可应用于艺术教育、设计模拟和数字娱乐等领域.

　　随着深度学习的发展，产生了以下两类仿真方法: 1) 采用风格传递思想，通过训练神经网络，赋予用户输入的图像以山水画的艺术风格. Wang 等人[7]、Gatys 等人[8]通过学习获得一个风格网络，当用户输入任意一张图像，神经网络可将其转换成具有艺术风格的图像. 这类方法本质上并不能实现中国山水画的仿真生成，只是使内容图具有了山水画的风格特点，且未涉及中国山水画局部色彩可控的仿真生成. 2) 基于生成对抗网络 ( Generative Adversarial Nets， GAN) 的图像异质转换生成方法，通过学习山水画数据样本在语义布局图约束条件下的分布，进而仿真生成中国山水画.图像异质转换是指不同表现方式、不同来源获得的不同质量的图像之间的转换. Isola [9]等人提出基于条件生成对抗网络 ( Conditional Generative Adversarial Nets，CGAN) 的像素级图像异质转换通用解决方案，用生成方式实现了图像异质转换.语义布局标签图到场景图像的转换是图像异质转换的一种， Park 等人[10]认为在生成器中采用传统归一化层会洗去语义布局标签图的语义信息，因此提出空间自适应归一化( SPatially-Adaptive( DE) normalization，SPADE) ，进而设计了高斯条件生成对抗网络结构( Gaussian Generative Adversarial Network，GauGAN) ，其生成器采用变分自动编码结构，在测试生成器时，其编码器可作为样式指导网络，控制生成图像的风格; Zhang 等人[11]基于 CGAN 思想提出了一个基于样例图的图像异质转换通用框架，生成器可将输入图像转换为具有样例图风格的真实图像. 以上方法都可实现基于语义布局标签图生成复杂场景图像，且都可实现基于样例图的风格( 纹理、色彩) 可控图像生成，但这些网络结构和色彩控制方法都不是针对山水画生成问题设计的.

　　2 本文算法思想分析

　　2. 1 本文算法流程本文算法的基本过程是以多语义标签图为输入，系统利用本文方法训练的 MS3C-CGAN 网络生成布局相仿、多种语义相对应的仿真中国山水画. 如图 1 所示，图中下方为颜色标签与语义的对应关系.

　　2. 2 山水画多语义标签图的设计对中国山水画设色、绘制技法进行分析发现，画家取材于自然场景，运用不同的色彩来表现不同时令的山水风貌，且通常在植被这类景物上着色较为丰富，春季植被的颜色包含红、黄、橙等暖色，展现生机的绿色，并配以中性色( 黑、灰) ; 夏季草木郁郁青青，主要以绿色、青蓝色等冷色为主; 秋季草稀叶疏，色调偏红; 冬季落木萧萧，以青黛色为主，偏黑灰( 中性色) . 画家对远处、近处植被的刻画技法不同，山石上的苔藓、远处的植被技法偏写意，近处的植被刻画较为细致、颜色较为鲜明，本文以写实技法称呼这种相对细致的手法. 由此可见: 山水画色彩构成中植被的色彩是关键的部分，而植被按技法大致可分为写意植被和写实植被; 写意植被通常着色低调，视觉效果上颜色的差异较小，因此不再根据颜色进行细分; 写实植被是展现色彩的主要对象，按颜色又分为中性色植被、暖色系植被、冷色系植被 3 类.因此，本文采用分层思想对山水画中景物进行分类，如图 2 所示，第 1 层按照内容语义分为云水、植被、山石，第 2 层按照技法语义将植被分为写意植被和写实植被，第 3 层按照颜色语义将写实植被分为中性色植被、暖色系植被、冷色系植被.

　　3 MS3C-CGAN 网络结构设计

　　3. 1 改进的生成器设计文献[12]采用 U-Net 的结构，并设计了短连接结构，构建了 UC-Net 生成器. 短连接的具体操作是级联、复用前两层的特征图，该操作增加了卷积核数量，最终使得计算量增加. 本文的目标是用能够实现短连接功能的结构替换短连接，构建出一个更为轻量的生成器. 如图 4( b) 所示，SPADE 残差块相比于传统的卷积模块多了一条旁路特征流，也是特征的复用，但是是以直接相加的方式，未增加卷积的通道数; 其内部的 SPADE 模块通过对标签图进行额外卷积来输出归一化层所需的仿射参数( 如图 4( a) ) ，可实现短连接保留标签图信息的功能.

　　3. 2 损失函数 MS3C-CGAN 网络的训练输入为成对的“手绘山水画 ( x) -多语义标签图( y) ”数据. 该模型的输入还包含一个采样于高斯分布 pz ( z) 的随机噪声 z [15]. 生成器 G 将输入图像( z， y) 转化为生成图像 G( z，y) ，鉴别器 D 鉴别二元组( G ( z，y) ， y) 和( x，y) 的真假. 生成器 G 尽力让鉴别器将( G ( z，y) ，y) 鉴别为真，鉴别器 D 要尽力将真实数据和生成数据区分开，当鉴别器无法区分真实数据和生成数据时，认为生成器 G 达到最优. 研究表明，对抗损失结合传统的 L1 范数损失有助于减少模糊，提高生成图的真实感[16，17]. 因此，本文设计的 MS3CCGAN 网络训练的目标函数如下( 其中 λ 表示正则系数) : L MS3C-CGAN = min G max D [Ex，y∈ground-truth ( logD( x，y) ) + Ey∈ground-truth，z∈p z( z) ( log( 1 - D( G( z，y) ，y) ) ) ]+ λ Ex，y∈ground-truth，z∈p z( z) ( ‖x - G( z，y) ‖1 )

　　4 训练数据集的构建与生成

　　4. 1 山水画数据集的收集与处理 MS3C-CGAN 网络的训练需要大量的“手绘山水画-多语义标签图”数据对. 本文以文献[12]收集的手绘山水画数据集为基础，另外还从国内山水画网站收集同类型的画作来扩充该数据集. 采用图像处理工具祛除新增手绘山水画的题字、水印、非自然景观的物体，筛除数据集中以下几种情况的画作: 1) 山石和植被的纹理细节模糊; 2) 山石部分整体的亮度显著低于植被部分; 3) 云水、山石、植被 3 部分的比例不协调.为便于模型的训练，将手绘山水画裁剪为 256 × 256 大小的图像. 裁剪过程选择那些云水、山石、植被 3 部分比例和谐的情况，最终整理筛选出 1046 对数据.

　　4. 2 多语义标签图的分层分割生成算法本文需要获取手绘山水画的语义内容，以形成“色块—内容”对应的标签图，为此设计了多语义标签图的分层分割生成算法. 山水画中景物交融、虚实结合，尤其是植被细分后的景物之间更为贴近交融，因此在获取多语义标签图时只需提出对象的大致轮廓，在每类内容的边界上允许有一定的误差.

　　5 实验结果分析

　　5. 1 实验环境与参数设置本文训练数据构造在 windows 的 Matlab 环境下实现. MS3C-CGAN 在 tensorflow 环境下实现，硬件配置为 GPU Tesla P100.“手绘山水画-多语义标签图”的训练样本 970 对，测试样本 76 对. 使用 adam 优化器训练 MS3C-CGAN，学习率设置为 0. 0002，正则系数设置为 100，迭代训练 200 次.

　　5. 2 与文献[12]生成效果对比与文献[12]生成效果对比如图 6 所示，文献[12]方法的输入是 3-标签图，本文方法的输入是多语义标签图. 为了验证本文方法的色彩仿真效果，选取带有中性色植被、冷色系植被、暖色系植被的山水画原图，展示本文方法和文献[12]的仿真生成效果对比，如图6( a) -图6( d) 所示，本文方法生成的山水画的色彩更接近原图，更具艺术感; 图 6( e) 展示了本文方法对文献[12]失真问题的改进效果. 原图下半部分两株灌木之间有一片草地，文献[12]生成图中为一汪水，语义内容失真，而本文方法生成图中为植被，语义内容更准确.

　　6 结束语

　　本文针对布局标签图到仿真中国山水画的转换生成问题进行研究，采用分层思想提出并设计了一种面向山水画的多语义标签图，并相应地设计了分层分割算法生成了多语义标签图，构造了“手绘山水画-多语义标签图”数据对用于网络结构的训练; 引入 SPADE 残差块、双线性上采样结构对 MSFF-CGAN 的生成器进行改进，使得其参数量减少了24. 45% ，获得了更为轻量的网络结构 MS3C-CGAN. 实验结果表明，相比于现有方法，本文方法仿真生成的山水画更具色彩艺术真实感，语义内容更为准确. 本文层次设计方式可以推广到其他语义类型，提供了山水画后续标签图的扩展和丰富的一种思路和方法.

　　本文算法也存在一些不足，如生成的植被纹理不够细腻、缺少小舟、人物、太阳等小景，这些不足将在后续工作中采用数据及网络结构增强、多尺度分析、语义分割等方法进行改进和完善; 同时后续还将对山水画的风格进行细分，探索不同风格的特点，以期在网络生成过程中进行选择和控制.

　　References:

　　[1] Lee J. Simulating oriental black-ink painting[J]. IEEE Computer Graphics & Applications，1999，19( 3) : 74-81.

　　[2] Way D L，Shih Z C. The synthesis of rock textures in Chinese landscape painting[J]. Computer Graphics Forum，2001，20( 3) : 123-131.

　　《局部色彩可控的中国山水画仿真生成方法》来源：《小型微型计算机系统》，作者：林锦，陈昭炯，叶东毅

学术指导老师

学术指导老师二维码