今年，商家通过阿里妈妈推广投放明显感觉到各类营销产品、营销工具变得自动化，不但操作更简单，而且效果也有明显提升。这背后的原理是什么，可能没有太多人了解。但无疑，今年阿里妈妈智能化的战略方向已开始显效。
人工智能究竟能给阿里妈妈的营销带来怎样的升级？人工智能又是如何让推广投放更有效的？阿里妈妈高级算法专家怀人将从算法和模型的角度介绍，人工智能的想象力在哪里？人工智能又是如何实现的？
以下为怀人分享，经《天下网商》整理而成。
大规模稀疏结构化深度学习
阿里妈妈会捕捉用户在全网的实时行为，比如在淘宝看过什么，收藏过什么，哪些东西看了很多次但犹豫不决没有买等等。基于这些信息，阿里妈妈会进行建模，从而刻划用户的兴趣，基于兴趣再对每一次实时推广投放进行判断，确定点击率预估。
点击率预估通俗来讲就是推广被用户点击的可能性，即CTR（Click-Through Rate Prediction），这对营销来讲很重要，它不仅影响了每个商家每次投放推广的计费，也影响平台对流量的分配。
CTR预估越精确，推广活动更有针对性,用户点击推广的可能性就越大。问题来了，如何提高点击率预估呢？这里面相当有讲究。
在阿里妈妈的推广投放后台，每天接受的推广预估请求超过千亿次，目标用户同样是数以亿计，这些数字背后反映出来的是超大规模+高度非线性的东西。人工肯定办不到匹配，只有技术去解决。
阿里妈妈是怎么做的呢？从整个技术分析来看，阿里妈妈发现数据其实有两个很重要的特点，第一个特点叫稀疏性，第二个特点是结构化。这样两个特性，是推广主所看不到的，但阿里妈妈在技术上需要解决的重要问题。
于稀疏性而言，每天阿里妈妈要给数据的用户实时预估每天看了推广的点击率，那怎么描述推广点击率呢？用特征来描述。如用户是什么用户，推广是什么推广。实际的模型里，会有超过10亿的特征，某些场景下甚至达到百亿级量级的特征。同时，阿里妈妈用来预测的样本会达到千亿量级。所以，稀疏性是这个一个问题的最大特性。
结构化就非常好理解，因为每天每个用户登陆淘宝的时候，会看到不止一条推广，会看到很多条推广。但是对于所谓模型看到用户来说，用户是同一个用户。假设说有两个用户，用户1和用户2，用户1可以看到三条推广，用户2看到两条推广。阿里妈妈把他们组织起来成为样本，按照这个方式组织的时候，所有的样本每天训练一个模型，所需要的样本需要高达100或者1000的TB，这是非常恐怖的量级。
通过结构化压缩了之后可以做什么事情呢？知道用户1是同个用户每天看到三条推广，只要记录一次，说用户1以及后面看到的推广是A1、A2、A3就可以了，这样使得整个样本的存储量压到1—2个数量级以下，现在的模型都可以在几个TB到10个TB这个量级，轻松完成训练。
智能营销最大的困难在模型
数据很容易理解，阿里妈妈有全域的数据，淘宝天猫购物数据、社交数据，位置数据等等。数据只是一个人的材料，把材料加工、分析出来，才能形成用户特征，这个加工过程要靠数据算法完成。
模型挑战
在业界，如谷歌、脸谱、腾讯、百度等都会有一些解法，阿里妈妈称之为传统解法，线性模型+人工智能工程。什么叫线性模型+人工特征工程呢？因为数据特别大，在技术有限的情况下只能用线性模型做预测，但用户点不点推广是高度非线性的，跟用户看到的场景，看到推广长什么样，跟当时的心情和天气都很有关系，线性模型又无法做到。于是就把人得的经验放进去，形成了人+机器做的解决方案。问题是，这不仅费力，而且不可能把所有解决方案做出来，结构也非常庞大，迭代起来比较慢。
阿里妈妈的解法更加优雅和智能，在特征方面没有引入人的规则去设计，而是把用户的原始特征，如历史上表现出来的行为和兴趣，以及推广主的推广体系类目是什么，两者提取出来。然后把所有任务交给模型，让模型从大量的数据里面去自动挖掘出来，什么样的组合模式是最有效的，什么样的组合模式是最有可能点击。这是最重要一个部分，也是整个人工智能背后最核心、最难的一点。
同时整个数据也充分利用了结构化特点，一方面大幅度降低存储，同时使得整个计算可以每天完成一次模型更新，甚至几小时完成一次模型更新。
人工智能的能力
在2012年，阿里妈妈就自主研发，并且提出了一个全新的模型，叫分片线性模型。这个模型想要解决的事情很简单，既然有这么大量的数据，且数据背后的规律足够非线性，那么有没有方法解决得更好一点呢？
当然是可以的，举一个直观的例子，比如说想去判定一下，一个登陆淘宝页面的用户，比如我是男还是女，有人问，我明明是个男性用户，为什么要判定男性呢，很可能我最近一段时间是帮太太在买东西，或者我太太用了我的帐号登陆淘宝买东西，因此需要根据行为判断是男性还是女性用户，或者购物意图是男性还是女性。
从2014年以后，我们陆陆续续会有一些升级版本，第一个版本，当我们意识到这个数据越来越大的时候，刚才一直说多结构化特性，做了第一步优化，要看这个用户的购买概率、转化概率、购买概率。第一部分我去描述用户，第二部分描述推广。先把用户从10维空间投影到20维空间去，在这个空间里面我计算他们之间的所谓相关性和点击率的概率，这是相当容易的事情。所以结构化这里面，除了大幅度降低整个计算，另一方面也是引入了人类一部分专家知识概念在里面，帮助大家学习。这是第一个，引入了所谓结构正则这样一个概念。
第二点引入了模型级联。一个模型可能不一定做得好，我们让多个模型进行工作协同。所谓模型级联，通过多个模型的结果汇总起来变得更好。如果关心技术发展的同学，尤其是关心整个营销和推广发展的同学，可以知道，在今年年初的时候，谷歌大概提出了一套叫外联的Deep Learing这样一套方法，跟我们几乎差不多，只不过我们是两年以前就提出来了。
刚才是讲了整个比较数学形式化的算法是什么样子，在生态环境里面，实现一套非常大规模的实践来支撑这样的模型，达到每天甚至每几个小时完成一次训练的能力。以定向推广主要的模型来看，我们用了几亿的特征，几十亿的参数，几百亿的样本，在线一百多台机服务器大概在几个小时就完成模型更新，从而使得预测和迭代会更加准确。
前面都是大家看不见的，在背后服务商家的CTR技术。随着这几年学术界包括业绩技术方法和计算能力的升级，在研发更加系统的较够，来做更好的预估。
目前的这个系统支持超过1个数量粒的提升，一千亿规模的参数来做训练。参数空间越大，几乎表达能力或者智能能力是往上提升一个数量级的。通过这样一个结构化的存储和计算，在业界并没有看到解决方案的，这是我们很快会发布，在线上去做相应的测试和推广。
相信后面大家会看到一些更好的技术。阿里妈妈OCPM和OCPX背后的技术都是从这个里面产生的。
事实上，阿里妈妈从2012年开始提出了这样一套解决方案，就已经是充分摒弃掉了人的规则在里面，从数据到背后的产出是靠这样一套流程，背后的方案很智能化，可以在不同的业务线。整个阿里妈妈的智能营销，包括直通车，包括钻展、定向，包括单品投放等等，都是用了一些类似的模型和架构和服务。
0 条评论