吴安波^1,2,3 吴钰秀^1,2,3，孙林辉^1,2,3，张敏¹

1.西安科技大学管理学院   陕西西安 710054

2.西安科技大学能源经济研究中心   陕西西安 710054

3.西安科技大学人因与管理工效学研究中心   陕西西安 710054

基金项目：本文受国家自然科学基金面上基金（71673220）的支持；陕西省教育厅专项科学研究计划-人文社科专项（20JK0232）的支持；西安科技大学哲学社会科学繁荣发展计划重点项目（2019SZ01、2020SZ03）的支持。

摘要：后疫情时代实体零售经济急需复苏，线上线下相结合的新零售模式能够快速获取消费者的情绪与个性化需求，提供良好的购物体验，迎合消费者瞬息万变的需求，已成为零售经济新的增长点。本文在新零售环境下针对消费者的购物心理、购物情绪，基于表情识别技术（动态图像网络、卷积神经网络结构）以及感性工学理论，运用百度AI开放平台、SPSS软件以及主观问卷，识别分析了消费者的人脸表情，推荐了不同外观的产品。研究结果显示：消费者对具有稳重、静态外型的产品更容易产生购买行为，简洁、活泼的外型元素可以让消费者感到愉悦，而个性、多元、复杂、新颖的产品外观让消费者眼前一亮。研究结论为消费者提高购买效率，商家实时、快速、精确的促销推荐提供一定的参考意见。

关键词：新零售；感性工学；深度学习；表情识别

一、引言

社交网络、5G技术与移动互联技术的飞速发展，网络电商零售逐步占有一席之地。根据《2020年中国网络零售市场分析报告》，中国网络零售市场交易规模正经历高速增长，尤其是2020年初新冠疫情的到来促使网络零售行业蓬勃发展^[1]。2020年下半年疫情防控常态化以后，紧接着面临的是实体零售经济的苏醒和恢复，新零售则是一种通过互联网、物联网等数字化技术，把电商的经验以及优势运用到线下的实体零售中，将二者相结合的一种模式^[2]。随着大数据技术及深度学习算法的发展，许多无人零售店、线下便利店的设立与运营，需要新零售朝着更为智能化的方向发展。企业及商家不仅要关注产品本身的质量及产品的营销方案，更要关注并获取消费者的自身喜好。本研究将通过人脸表情识别技术得出到店消费者的情绪，对消费者做出细分，针对不同情绪的消费者提供不同的促销方案。

近几年来，不少学者利用人脸表情识别技术来进行较客观的情绪评价，人脸表情识别技术主要有：主动形状模型^[3]、局部二值模式^[4]、支持向量机^[5]以及微表情识别^[6]等。人脸表情识别技术是依赖于深度学习来完成的，在现今社会已经被广泛的用于语音、文字、图像等识别技术上，深度学习可以根据大量的数据来构建一个模型，对于大量数据里的共性特征进行学习并得出结论，从而对人脸进行识别，得出人的情绪是一个什么状态，Ekman等^[7]指出人类表情主要有7个基本类别，即愤怒、恐惧、轻蔑、悲伤、惊讶、高兴、厌恶；依据情绪对消费者情绪做出细分，对于有着不同情绪的消费者提出不同的促销方案。

随着产品种类多样化、外观造型个性化以及使用场景的多元化，许多消费者的个人自主性逐渐提高，对需要的产品外观提出不同的要求，感性工学就是将人的感性和产品设计相结合，并根据人的喜好以及需求来设计一个产品。Liu等^[8]对于三种促销方式：折扣、广告和口碑的敏感程度做了消费者细分，发现经济型的购买者对于折扣促销最为敏感。苏建宁等^[9]采取了定性定量相结合的方式，分析产品的形态特征以及感性意向的关系，以指导后期的产品设计。李立新^[10]提出感性工学就需要从消费者的生理、心理、个性需要等方面入手来设计产品。程超^[11]进一步研究表明，在产品的外形、包装设计的过程中，将感性工学运用其中可以很好地为企业以及产品设计者提供消费者感性需求的建议。汪群等^[12]在研究中指出“感性”一词，是指消费者在购买产品的过程中，对购买产品的整体外观所产生的心里感觉以及意象。

我国的新零售模式的逐步兴起，现有的新零售的促销研究主要集中在聚集促销，较少文献把人脸表情识别技术应用到新零售环境下的促销方式中。对此，本文在深度学习的人脸表情识别基础上，以笔筒产品为例，利用感性工学理论进行问卷调查，分析得出最符合消费者情绪的笔筒设计构思，并对消费者不同的情绪提出不同的促销方案推荐，以解决现有的新零售模式下企业、商家促销模式单一化问题，给企业、商家提供一种可参考的智能化促销方式。

二、基于卷积神经网络的动态图像网络识别技术

（一）卷积神经网络

动态图像网络识别技术由CNN、VGG、DIN三个主要部分组成。卷积神经网络是深度学习领域中的代表算法之一，它可以让图像直接作为网络的输入，在位移、缩放等识别技术的应用上具有良好的鲁棒性。卷积神经网络主要是由卷积层、池化层、全连接层组成。卷积层主要是用来初步提取图片的特征，卷积层的输出结果越高，就说明了图片与卷积核的匹配程度越高。之后将得到的卷积特征作为池化层的输入来进行池化，池化的主要目的是为了减少过拟合的现象，降低卷积层输出结果的维度，保留下图片中最有用的信息。最后使用全连接层来生成一个等于本文所需要的表情类型的数量的分类器，即把池化层所输出的结果重新的切割成一些向量，乘上权重的矩阵，加上偏置值，然后对其使用ReLU激活函数，用梯度下降法优化参数。

VGGNet ^[13]通过反复的使用33的卷积核来代替之前的大尺寸卷积核，这样的卷积核可以减少参数量以及计算量，本文主要采用VGG-19模型，其是由16个卷积层以及3个全连接层组成，其结构如图1中E列所示。

图1 VGG网络结构

 来源：https://baike.baidu.com/item/VGG%20%E6%A8%A1%E5%9E%8B/22689655?fr=aladdin

虽然该方法主要是识别视频动作，并不是直接用于动态表情上，但是该方法在动态人脸识别上同样具有较高的识别精度，为本文的实验提供了技术支持。

三、产品外观情感要素与消费者脸部表情的关系

产品优美舒畅的流线型外观会给消费者带来愉悦、积极的情绪享受，而沉稳大气、中规中矩的外型设计则会提供安心踏实的心理感受。郭新华等^[15]研究了影响消费者消费情绪的因素主要有4种，分别是个体、环境、产品、文化因素。Mehrabian等^[16]对消费者情绪与消费者行为之间的关系进行介绍，提出S-O-R模型即刺激-机体-反应。王求真等^[17]将团购价格的折扣以及购买人数作为刺激因素，发现了价格折扣对于消费者的情绪有积极作用。本文与此不同之处在于，研究消费者情绪使用的主要是表情识别以及感性工学相结合的方法，不仅从感性问卷中了解到消费者所偏爱的产品设计形象，还能通过表情识别的视频录制动态、直观的观察到消费者面部表情变化。

本研究以文具笔筒为例，探究样本图片与感性词汇间的关联性，观察被试对于不同的笔筒的外型设计所表现出来的表情。并针对被试的表情及主观语义问卷，得出新零售环境下针对各类消费者的不同情感，可以推荐消费者购买的不同设计的笔筒样式。从而做到新零售环境下的精准营销：隐式获取消费者的心理因素，精准推荐最符合消费者需求的产品，给消费者带来更便捷的购物体验。

（一）实验流程设计

本文实验流程分为以下几个阶段：第一，确定需要研究设计的产品；第二，根据书籍、期刊、论文等途径收集有关的感性词汇，并选取几组具有代表性并符合产品特征的感性词对作为调查问卷的组成部分；第三，收集具有代表性特征的产品样本图片；第四，运用语义差异法设置调查问卷，把产品图片与感性词对进行结合；第五，将收集到的问卷进行因子分析等得出结果；第六，根据结果提出相应的产品外形、包装设计上的建议，为新零售环境下的产品销售、精准营销等奠定基础。主要的流程如图2所示。

本文运用心理学研究方法--语义差异法，是一种调查被调查者对词语或者是概念的理解的方法，语义差异法在使用的过程中，一般是以很多组正反义形容词对作为单位来设计调查问卷的，在此基础上设置5级评价等级量表，正值或者数值较大的对应右侧的形容词，负值或者是数值较小的对应左侧的形容词，被调查者根据所提供的图片或是其他信息进行打分。根据语义差异法进行问卷的设计，建立一个5级的量表，为：符合（-2）、比较符合（-1）、中等（0）、比较符合（1）、符合（2），根据该量表对感性工学设计过程中所收集到的感性词汇进行调查分析，得到被试对于样本图片的较为准确的心理感受。

（二）前期准备工作

1.挑选具有代表性的样本以及挑选感性词对

本文主要以笔筒的设计元素为主要的研究对象，对于不同的设计元素可以带给消费者怎样的情绪感受作为研究目的，根据此目的从淘宝网站上挑选了12张清晰、各不相同的符合实验要求的正面样本图片（如图3所示）。本文从相关期刊、论文中以及网站上挑选适用于形容笔筒的感性词汇，并根据词义将意思相反的形容词进行配对，并不断的筛选去除其中最终得出9组感性词对，即：“活泼的-严肃的”、“个性的-大众的”、“简洁的-复杂的”、“多元的-单一的”、“稳重的-轻盈的”、“动感的-静态的”、“亲切的-高冷的”、“流线的-几何的”、“科技的-手工的”，并将这9组感性词对设计成5级量表的问卷。

2.百度大脑AI开放平台的人脸表情识别

通过百度大脑的AI开放平台对本文的人脸表情进行了分析、检验。进行实验时，需要将录制的被试的视频进行截图，并将图片导入到平台中进行分析，分析示例来源于Jaffe表情数据库，如图4所示。

图4 表情识别结果示例图

（三）实验过程

1.预实验

正式实验开始前，邀请了5位被试进行预实验，实验一共12张笔筒的样本图片，每张图片播放5秒，实验过程中，被试在观看图片的同时根据图片上不同的笔筒样式表达自己内心情感的表情，使用电脑自带的摄像头全程录下被试的表情作为后期分析的素材。根据预实验对所录下的视频进行分析时，发现预实验所规定的5秒时间并未使被试有较好的表情反馈，因此适当的增加图片所展示的时间，并进行多次预实验，最终得到合适的样本图片展示时间；考虑录制视频的工具是否能直接拍摄到被试的正脸等，由于百度AI开放平台的识别对于环境、像素等要求较低，本文直接采用电脑自带摄像头拍摄实验视频。

2.正式实验

在正式实验的过程中，采用了电脑自带摄像头进行视频的拍摄，将实验PPT中的图片展示时间设置为了7秒，被试包含27位大学生，其中12名男生，15名女生。在实验的过程中，27位被试在视频录像的过程中均完整的露出全脸，无反光、背光，在被试观看完展示的PPT后得到实验编号，然后需要对感性问卷进行填写，填写完毕则实验结束。实验结束后，对每位被试的实验视频进行截图，根据每张图片所展示的时间截取12张被试的表情图片，并进行整理导入到百度的开放平台进行分析，并将每张表情图片的分析结果再进行截图整理作为后期分析使用。

（四）数据分析

根据27位被试所填写的语义差异问卷进行笔筒与感性词对之间的数据关系分析，对于回收到的27份问卷数据进行平均值的计算，得到的数据如表1所示。根据平均值来看，数值越接近-2或者是2就表明该产品的外型设计越接近左侧或是右侧的感性词汇，例如，对于“活泼的”这个感性词汇，在样本1、3、9、10中较为显著，说明样本1、3、9、10是比较偏向活泼的；对于“个性的”这一感性词汇，样本4的分值较高，说明在被试心中，样本4最具有个性，最能让人眼前一亮。

表1 笔筒样本与9组感性词对之间的数据平均值

球形度检验中的Sig值为0.01，小于0.05，说明可以拒绝原假设，可以做因子分析。采用主成分提取的方法来提取因子，把9组感性词对作为变量，得到有关9对感性词对的因子贡献如表2所示，第一个因子的特征值为3.360，它的方差贡献率为37.335%，是方差贡献率最大的一个主成分，本文以特征值大于1的原则只提取前三个因子解作为公共因子，并且前三个因子解的累计贡献率为80.754%，达到了较好的水平。同时为了使相关矩阵中的变异在不同的因子上尽可能的分散，需要经过最大方差法旋转，最终因子的方差贡献率如表2中旋转平方和载入列所示分别为35.960%、28.801%、15.993%。

表2 解释的总方差

为了明确各个感性词对对于笔筒的外型设计的影响程度，得出的3个主成分旋转后的成分矩阵如表3所示，3个主成分对各组感性词对的成分得分系数矩阵如表4所示。

四、结果分析

将27位被试的实验视频进行截图后导入百度平台，得到的被试表情结果示例如图5所示，本文实验的表情识别结果大多数为中性即无情绪、高兴两种，但也有少量的样本会让被试感到厌恶和惊讶，如图6所示。

由图8可以得出，被试在看到样本7的笔筒外型时，因为有着大众化的特征，在办公、学习场合经常见到，让被试感到没有新意，甚至有些被试一见到样本图片就产生厌恶的情绪。

根据结果可以看出，在被试做出高兴的表情时，所展示的产品样本图片都较为简洁、活泼，说明简洁、活泼的笔筒外观可以给人带来一种愉悦、快乐的感觉，但是在因子分析中提到，消费者在购买笔筒时可能会更倾向于购买符合办公学习用的笔筒外型。这是由于：第一，样本的数据量较小，问卷的数据结果与表情识别的结果会产生一定的偏差；第二，本文实验较为主观，无论是问卷还是表情，都跟被试当时的心情以及状态有关系。如上文所述，样本7既是消费者最可能会选取购买的笔筒样式，但也是消费者看的最多、可能会厌恶的笔筒造型，所以这也是给商家、制造商的一种新的营销思路，对于消费者所倾向的稳重、静态的笔筒，可以生产出一种整体上是稳重、静态的但细节上增添一丝活泼元素的笔筒。这样不但可以让消费者在做出购买行为之前就拥有一种愉悦的情绪，而且在购买之后还能觉得体验良好，甚至回购商品，从而提高品牌的忠诚度。

另外，实验中较多被试对样本4表现出了惊讶的表情，而这个样本的外型特征较个性（如图9），让人眼前一亮。认为商家可以在笔筒的外观上多费心思，将一些新颖的时尚元素融合到笔筒的外型设计中，以吸引消费者的注意并促进销售。

图9 样本4中表现惊讶情绪的被试对感性词汇的选择

同时，在新零售环境中，当消费者走入新零售场景时，商场检测到了消费者的心情就可以根据此在消费者手机APP上来推荐不同样式的产品，做到在消费者走入新零售环境下就可以立马收到符合自己情感所需的产品推荐，减少了考虑、纠结的时间，可以立即做出购买行为，这就提高了消费者的购买效率和购物体验。

五、结论展望

从本文的研究中可以发现，识别人脸表情以及感性工学的相结合得到的数据可以很直观地表现出消费者对于产品的情绪，根据得到的数据，就可以对消费者的内心需求进行分析，本文最后通过SPSS中的因子分析以及表情识别技术得出消费者在购买笔筒时会更倾向于购买外型较稳重、静态的笔筒，这样的笔筒更符合消费者的需求，但是简洁、活泼的元素可以让消费者感到愉悦，而个性、多元、复杂新颖的笔筒外观可以让消费者眼前一亮。本文的表情识别实验结果识别出的情绪种类较少，很大的原因可能是商品本身的外型或者是其他方面的设计都已经千篇一律很少有商品能够让消费者觉得新颖的，而且在视频录制的过程中，有不少人会通过自言自语表示自己对商品的看法，这种更乐意用语言来表达自己对于一个商品的看法也是造成表情表露较少的原因。

在新零售环境下，购物的便捷性以及消费者的个性化需求都是很重要的，在线下门店购物时，通过检测到的消费者情绪，为消费者及时的推荐符合的商品并标明在门店的位置，提高消费者满意度；在线上购物时，商品页面的图片设计可以把产品最新颖、最有吸引力的图片放在首页，还可以对线上线下的优惠活动制定不同的方案，并在详情页写出；制造商对于产品的外观设计可以在线上线下定期进行一些问卷调查并根据问卷结果分发一些优惠券。

人类的情绪研究和情绪对营销活动的影响一直是个难题，本文也存在着一些不足之处，在未来的研究中还需要不断的运用先进技术来提高人脸表情识别的精度，比如使用微表情的识别技术，甚至可以将表情识别技术与人的步态行为检测相结合并将其运用到新零售环境中去；其次，由于本文研究的产品局限于一类产品，在今后的研究过程中，需要扩大研究的范围，对多种产品进行研究分析；最后，可以使用不同的感性工学的测量方法，例如利用脑电、眼动、心率等生理指标反应被试的实时真实情感，从而对新零售营销环境下的促销或广告方式提供建议。

参考文献：

[1]电子商务研究中心, 2019年中国网络零售市场分析报告, http://www.100ec.cn/zt/18wlls/

[2]蔡霞.新零售视野下零售业“无界营销”发展前瞻[J].商业经济研究,2019(06):63-66.

[3]Cartoux, J.Y., Lapreste, J.T., Richetin, M.. Face authentification or recognition by profile  on,1989.

[4]Ojala T , PietikäInen M , Harwood D . A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition: The Journal of the Pattern Recognition Society, 1996, 29(1):51-59.

[5]Cortes C, Vapnik V N . Support Vector Networks[J]. Machine Learning, 1995, 20(3):273-297.

[6]Haggard E A , Isaacs K S . Micromomentary facial expressions as indicators of ego mechanisms in psychotherapy[J]. 1966.

[7]Ekman P . Contacts across cultures in the face and emotion[J]. J Pers Soc Psychol, 1971, 17(2):124-129.

[8]Liu Y , Li H , Peng G , et al. Online purchaser segmentation and promotion strategy selection: evidence from Chinese E-commerce market[J]. Annals of Operations Research, 2015, 233(1):263-279.

[9]苏建宁,江平宇,朱斌,李鹤岐.感性工学及其在产品设计中的应用研究[J].西安交通大学学报,2004(01):60-63.

[10]李立新.感性工学——一门新学科的诞生[J].艺术·生活,2006(03):71-73.

[11]程超.感性工学在包装设计中的可行性研究[J].包装工程,2016,37(04):14-17.

[12]汪群,许世虎,陈奕安,林彦呈.基于感性工学的威士忌酒瓶造型设计[J].包装工程,2018,39(08):256-260.

[13]Simonyan K, Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science, 2014.

[14]Bilen H , Fernando B , Gavves E , et al. Dynamic Image Networks for Action Recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2016.

[15]郭新华,夏瑞洁.情绪与消费者行为关系研究述评[J].北京工商大学学报(社会科学版),2010, 25(01):71-74.

[16]Mehrabian A , Russell J A . An approach to environmental psychology[M]. MIT, 1974.

[17]王求真,姚倩,叶盈.网络团购情景下价格折扣与购买人数对消费者冲动购买意愿的影响机制研究[J].管理工程学报,2014,28(04):37-47.