Web——流量渠道标记(link tag)与追踪
其实这个就是UTM,UTM的全称是Urchin Tracking Module/Urchin Tracking Manager,通过向网址中添加广告系列参数,可以标识为您的网站带去流量的广告系列。用户点击引荐链接时,这些参数将会被发送至 Analytics(分析),你就可以在报告中了解各个广告系列的效果。这个参数就是UTM。
UTM的是参数一共有五个,但实际必填参数是三个,详细的如下:
有部分人说UTM参数值需要一个source,因为谷歌分析官方文档改成了这样,但实际上并不是的,UTM参数会影响到两个报告,Channels报告和Campaign报告,Source和Medium是划分渠道的,影响的是Channels报告,少掉一个字段,Channels很多流量会被归类到Others;campaign影响的是Campaign,少了campaign参数,这个报告为空,所以必须要使用三个参数。
UTM的参数并不是随意乱填的,特别是medium,这个字段,谷歌分析是预设有一些字段的,medium只能填预设字段里面的,如果不是,那么这部分流量将不能正确划分。
上面的参数,大小写是敏感的,Email和email代表两个不同的渠道。
如果URL上没有问号,
如:https://www.ichdata.com/talk-about-google-analytics-data-transfer-mechanism.html
那么直接添加UTM参数
如果URL上有问号:
如:https://www.ichdata.com/talk-about-google-analytics-data-transfer-mechanism.html?SSID=11
那么先添加#,再添加UTM参数:
如:https://www.ichdata.com/talk-about-google-analytics-data-transfer-mechanism.htmlSSID=11#utm_source=zhihu&utm_medium=social&utm_campaign=question51653295
少量的链接,可以通过网址构建器去实现,网址:https://ga-dev-tools.appspot.com/account-explorer/,大量的话,可以通过Excel工具。
使用注意点
1、UTM的参数是大小写敏感的,大小写不同,划分是不同的。
2、添加UTM参数的时候,前面没有‘?’的时候需要先添加‘?’在添加UTM参数,如果前面已经有?出现了,那就用‘#’,然后再添加UTM参数,兼有?和#都是UTM的系统使用字符,因此不建议在UTM中标记渠道的时候使用这个两个字符,避免被截断。
3、为了标记准确,来源/媒介/广告系列是3个必不可少的参数
4、渠道分组是对medium是有预定义的,建议使用预定义的字段
5、UTM上有中文的话需要转码才可以使用,否则会乱码
6、UTM不能用于站内跟踪
流量分类与规则详解
上一节介绍了流量的识别原理,也知道几个特例情况,接下来要介绍流量是怎么划分成不同的渠道了。
Google分析在识别流量渠道的是时候遵循一定的规则,划分都是根据Referral和URL的特征,具体有:
详细的流程处理逻辑如图4-5所示:
图4-5 流量判断逻辑
上面这个看起来很复杂的流程图可以概括为,GA的渠道流量识别具有一定的顺序和优先级,整体的顺序是:
1、ADwords/DoubleClick/广告系列
2、UTM参数
3、自然搜索
4、社交流量
5、推荐流量
6、直接流量
7、其他
这个判断的过程是个顺序判断的过程,一个流量按照上述顺序判定后就不会在被归类到后面的任一渠道了。比如判断Adwords流量,如果是Adwords 流量,就开启自动标记功能,那么URL上带有gclid的标记的,如果一个用户是从Adwords过来,那么就先判断是否为Adwords,那么这个流量就被归因到Adwords里面去了;如果UTM标记的,那么先判断是不是Adwords,不是就判断下一个,Doubleclick,也不是,直到判断为UTM的时候,是就归类为UTM的流量。
对流量划分成不同渠道后主要是在GA里的“流量获取”→“所有流量”→“渠道”里这个报告面,如图4-6所示:
渠道报告里面的流量划分是有一定的规则的,默认的规则如表4-1所列:
表4-1 渠道划分规则
从上面可以看到,渠道的划分主要是根据媒介,部分是结合来源来划分,这个规则的作用是:投放广告添加的UTM中的来源和媒介要遵循这个表里,系统已经预设定的字段,流量才能够被准确划分。如果没有,那么渠道报告里面的数据划分就是有错的了,详细的错误原理请看第二章第二节中的UTM参数的正确用法一节。
需要注意的是这些渠道定区分大小写。手动标记网址时,请使用小写形式的标记,以确保 GA能够对会话进行正确分类。例如,标记为“Email”的电子邮件广告系列与“email”渠道的系统定义不符。而且并非所有维度都允许 GA查询相关费用数据。如果在渠道分组对象中使用了这类维度,则无法获取该渠道分组的费用数据,出现数据紊乱的情况。
如果很不幸,您放出去的链接标记参数没有使用上述表格的系统字段的的话,还是有方法可以调整,使得渠道报告里的数据是准确的。调整的方法有两种:
1、渠道分组(Channels Settings)
2、自定义渠道分组(Custom Channels Grouping)
这两方法的差别是,渠道分组中的配置是显示在渠道默认报告里面,也就是对Default Channels Grouping做修改。而自定义渠道分析的分组是在“主要维度”→“内容分组”里面,需要去选择才会生效,下面介绍这两个设置方法的具体操作:
1.渠道分组设置方法:
渠道分组的设置是视图级别的,所以在数据视图这一层级下设置,若干有多个数据视图需要设置,需要到每个数据视图下面设置一遍。
1、在GA中选择“管理”→“频道设置”→“渠道分组”→“操作”→“修改”就可以修改默认的分组,如图4-7所示。
2、单击“修改”后可以看到如图4-8所示设置面板
“名称”那里不用做修改;“定义一个新渠道”表示新建一个新的渠道;
如果要移动渠道的排序的话,将鼠标移动到等鼠标表册黑十字就可以将渠道随意移动,这里需要注意的是,渠道前面的顺序表示这个渠道的流量首先剥离出来,渠道的划分是遵循逐步剥离的原则,比如满足媒介为direct的流量划分为直接流量,那么direct的流量就已经从所有所有流量剥离出来,下一个规则只是剩余的流量里面做第二次剥离,不会出现一个流量既是A渠道的,又是B渠道的;如果要对现有的渠道规则做修改的话,可以单击右侧的那个有点像笔的符号,就可以对这个渠道的规则做调整,调整的界面如图4-9所示:
可以看到设置的条件有或和且,或表示并列关系,且表示同时具备两个条件。设置的字段里面有很多可以选择的,但是主要用到的是Landing Page URL和Source/Medium/Campaign直接有个一一对应的原则,这个原则的意思是Landing Page URL和Source/Medium/Campaign是key-value的关系,您可以从Landing Page URL的URL特征角度去划分,也可以从Source/Medium/Campaign的角度区划分,通常来说是结合使用的,更容易定位特定的渠道流量。
示例:如果我的站点的PPC的推广着陆页都带有tuiguang的字段,如http://www.ichdata.com/tuiguang/lpd1,html,
http://www.ichdata.com/tuiguang/lpd2,html,
……
在分组里面设置Landing Page URL matches tuiguang,渠道名为付费推广,那么,所有从上述页面访问的所有流量,以及后续产生的流量都会被划分到“付费推广”里面,面板设置如图4-10所示:
这个原则非常重要,经常使用在渠道规则调整里面。
3、调整完保存即可,这个设置生效期是实时的,但是数据的反馈会稍微之后一两个小时,之后看到的是渠道报告效果如图4-11所示:
2.自定义渠道分组设置方法
自定义渠道分组跟渠道分组的设置是一样的,也是视图级别,在GA中单击“管理”→“自定义渠道分组”→“新建渠道分组”就可以设置,如图4-12所示,设置的的方法同上。
注意:对于每个数据视图,每位用户最多只能创建 100 个自定义渠道分组。每个数据视图最多可包含 50 个渠道分组,该数值不包括默认渠道分组。
网站、H5和小程序流量的标记与追踪
小程序的打开方式主要如下表:
打开方式 | 具体类型 |
扫描二维码 | 普通链接二维码,小程序码,小程序二维码。 |
转发分享 | 分为转发到群,转发到个人等 |
跳转 | app 跳转到小程序,小程序跳转小程序, 公众号跳小程序, 广告跳转等。 |
小程序的跳转路径是通过path来实现,要跟踪的方式主要有两个,一种是自动在path上加上获得的参数,通过参数去是识别,这个就跟web的URL一样,一种是在后面加UTM参数,通过UTM参数去识别,不管是APP还是小程序,以及后面一些新的形态,对于渠道跟踪,基本会遵循UTM的原则。
APP流量来源的追踪方式
(1)国内跟踪的现状
由于Google Play不能在大陆使用,说造成了现在国内安卓应用市场百花齐放,这给跟踪增加了不少难度;在正式进入正题之前,我们先来了解一下广告主和APP下载跟踪的整个流程,看这个流程主哪些参与者能够获取数据,看下图:
首先,是广告主,广告主通过广告平台去投放广告,吸引用户点击去应用市场下载APP,然后激活使用,在这个过程中,广告平台可以知道广告的展示和点击,应用市场可以知道下载,最终的激活这个数据就需要做跟踪才有的,激活的数据可以传递会前面不同的几个参与者,如应用市场,这个通常是操作系统本身才有的,如苹果的IOS和Google的google play,另一个是广告平台的,广告平台有些是目标优化或使用look alike这个功能,需要应用回传一些数据,最后一个就是广告主的,非常关心整个流程的转化,投入产出,ROI等,一般会使用第三方工具做监控,也就是我们这一节要讲到的。
目前操作系统主要是Android和IOS,虽然仍有部分使用微软的wp或其他的linux类的操作系统,但主流是安卓和苹果,可以说,手机系统,不是安卓就是苹果了.
安卓的话,谷歌官方有个应用市场Google play,一般内置在系统里面,国外用户下载APP都是通过google play下载,APP的跟踪继续沿用web的逻辑,Google play能够传递传递referral参数,能够跟Google Analytics无缝对接。 但是在国内,由于一些政策因素,谷歌的这部分服务不能在大陆使用,国内的用户连不上google play,这个机遇催生了很多的应用市场,这跟跟踪带来的一定的难度,目前采用主要形式是渠道包,也就是每个渠道带一个包,内嵌一个id,通过id去识别;另一种方法是模糊匹配了,这个是比较少用的。
IOS的话,绝大部分的用户下载APP都是通过APP Store,只有部分越狱用户通过第三方市场去下载,现在越狱的已经很少了,所以这里主要讲解APP Store的跟踪方式,IOS是个比较封闭的系统,所以你能跟踪什么,能跟踪多少,取决于苹果开放了多少,目前苹果主要有3中跟踪方式
1、IDFA IDFA就是广告标示符,广告平台回传给第三方工具IDFA,用户下载后激活APP是也会回传IDFA,两者进行匹配。
2、cookie 用户点击推广链接的时候,链接上有广告参数,app在后台打开safari,然后将链接上的广告参数写入到cookie,然后跳转到app store下载,用户打开APP的时候,会沿用之前的cookie,实现广告参数的传递与回传。
3、模糊匹配,下载激活前后获取用户设备的指纹,如ip user agent idfa等,然后使用算法进行匹配。
(2)Android端
google Play的广告参数有一个完善的机制,这个机制也可以被第三方工具使用个,我在有些网站有看到第三方工具对这个原理做了测试,下面以google analytics讲解Google play如何实现广告参数传递的。
首先是用网址构建器对APP的下载链接添加广告参数,需要注意app的网址构建器跟web是不同的,用户在从google play 下载APP的时候,BroadcastReceiver会发送一条带有Referral的广播给APP,用户打开APP的时候,前面的广播就会发给GA,GA的接收器就接收到这个referral,这个用户就带上了对应的渠道标签了。
google Analytics 和Google Play都是谷歌的产品,所以整个过程可以无缝链接的。
众所周知 Google Play 无法在中国使用,所以国内 Android 市场被数十家应用商店( 豌豆荚、百度助手、酷市场、360手机助手等等 )占领,应用市场可以分成两个阵营,一类是大型互联网公司,如腾讯的应用宝,百度的手机助手,360的360应用市场,另一个阵营是手机厂商的,如华为,金立,vivo,Android 渠道追踪主要围绕上述渠道展开。
具体来说就是开发者为每一个渠道生成一个渠道安装包,不同渠道包用不同的 Channel ID (渠道标识)来标识,这个id一直跟app绑定;当用户下载了 App 之后,ID会岁相关的数据发送回来,从而实现渠道的识别。 这种方式完全是为了适应我们大陆的情形的,如果要上传的应用市场多的,意味着需要打很多的包。
这种方法有个天然的缺点,就是只能定位到应用市场,不能做更细的广告系列划分。
安卓平台的模糊匹配跟ios的模糊匹配的原理只一致的,这部分放到ios里面讲,基本上模糊匹配不怎么会用在安卓上的。因为可行性很低。
(3)IOS端
iOS的发行渠道则与安卓有很大的不同,除了少数越狱的机器之外,大部分用户的App都是从 App Store下载的。iOS的“渠道”其实通常是指那些在其它App或者网页内部,提供到AppStore的链接的页面。因此,在iOS中追踪发行渠道,主要是追踪进入App Store相关页面的渠道信息。
但iOS的渠道追踪面临着一道无法逾越的鸿沟。正因为iOS的渠道分发都有跳转到App Store这一步,而Apple本身是不会提供太多信息给开发者,所以,对于整个流程的三个步骤:在某个渠道点击下载链接并跳转到App Store —> App Store内下载App —>用户激活App,这整个过程能获取到的信息的多少。取决于苹果开放了多少。
现在市场上大概有以下三种方式:
通过IDFA进行追踪:IDFA 的全称是 Identifier for Advertisers ,即广告标识符的含义,这是苹果专门给各广告提供商用来追踪用户而设的标识。这个方案一般用在App里面打开下载链接这种推广方式。Gooogle Analytics是通过IDFA去跟踪的,通过非APP投放广告也是可以跟踪到的。
基本的方案是,媒体的App(例如微信,这里就是媒体1,2,3),会详细记录哪个IDFA点击了待推广App(例如)的链接(或是在微信中嵌入SDK去记录),而聚美本身,也会记录具体的哪个IDFA激活了聚美App,两者都将记录下来的IDFA上传至指定的服务器,进行对比,即可确定下载来源。在用户不重置系统,不还原广告的情况下,这种方式精准度比较高。网页不支持这种形式。
基于Cookie的方式,iOS 9中新增的SFSafariViewController,这个类的API允许在app内打开一个safari浏览器,而不是一个app内部的webview。这个app内的safari和外面系统的safari是同一个,共享同一个沙盒,可以操作同一个Cookie,也就是说它可以跨App与Safari实现共享Cookie。
基于SFSafariViewController控件,当用户在App中通过它打开渠道页面时,我们可以将渠道信息写入Cookie中,并设置生效时间。当用户安装并激活 App后,再次使用SFSafariViewController上报激活信息,同时将Cookie中的渠道信息上传,通过匹配,便可确定下载来源。由于渠道信息保存在设备本地,因此匹配是100%准确的。
但是基于SFSafariViewController这种方式也有一定的弊端:首先,这个方案只能支持iOS9及以上版本的设备,但覆盖了绝大部分用户,此外,对于目前业界主流的一些推广渠道,如微信、朋友圈,它们尚未在App中使用SFSafariViewController控件访问网页,因此这部分渠道也无法使用精准匹配的方案。
模糊匹配,点击下载链接,会跳转到appstore页面,这个过程会触发一个服务端的请求,服务器来记录这次点击的设备信息,包括ip地址、机型等。同时,被推广App这边,也可以记录用户激活App时机器的一些基本信息,并上传至服务器。结合下载和激活的时间差,再结合设备的IP地址和机型等信息,大概可以模糊地识别出同一个用户先点击了下载链接,再激活了App,从而确定下载渠道。这种方式的精确度取决于前后两次数据收集的完成程度和算法。
市面上的做法有的是上述三种方式单一出现,有的是两两组合,总之不管是通过哪种方式,这都是我们想象出来的间接的方式,只能说是尽量的去接近准确,但不能做到100%准确。 越狱的。参考Android的内嵌ID/渠道打包
(4)各自优缺点和方案选型
Google Play的UTM跟踪方式是非常精准的,缺点是做国内市场的应用不适用。
国内应用市场一般是采用渠道包的形式,缺点是只能跟踪到应用市场级别的数据,不能继续细分
对于IOS而言。
IDFA的准确度是非常高的,但是用户可能会关闭IDFA权限,重置系统、还原广告,数据会丢失
cookie的准确度也是很高的,但是IOS9以上适用,微信公众号广告、朋友圈广告仍然无法实现追踪
模糊匹配,这的很多厂商都在使用的一种方式,都强调倒高识别率,但是这个严重更依赖于两次收集的数据与算法,
一般来说数据会是idfa,ip user agent等信息,基本上,按优先级来说,第一个信息就能够匹配掉很高的比例了,收集多一个字段的信息,能够匹配更多,如idfa已经能够匹配八成的用户了,如果你用算法,可能是9成,也可能是6成,这个看你算法选型和调参的能力的,对于大部分人来说,这个是黑匣子的,即使第三方工具只是做了一个简单的优先级去匹配,然后对完宣称通过大数据,人工智能的方式去匹配,你也不知道的
下面看看几个工具的采用的跟踪方式,下面的数据主要是通过官方网站去找的,可能存在部分工具已经对跟踪方式左右优化调整的了,只是作为参考。
google analytics 采用referral和渠道包的方式,两种方式都有,所以国内也是可以用的,IOS的话是采用IDFA的方式
Adobe Analytics的 安卓端的没找到,苹果端口采用模糊匹配的形式
Umeng的,安卓采用渠道包,ios采用模糊匹配
growingIO 安卓是采用imei,苹果的话是优先采用IDFA,如果这个为空就采用模糊匹配.
诸葛io 安卓采用的是渠道包,苹果的话有限采用idfa,其次是IDFv,IDFV是提供给APP开发者的唯一标示。
神策的话,安卓采用渠道包方式,苹果的话是采用Cookie和模糊匹配的形
可以看到后面的三家,在ios的跟踪上都是采用两种方式的节奏,尽可能的去匹配准确,具体效果怎么样,只有它们知道了。
你要问哪种哪种比较准确,我也不知道,我只能说,目前各个第三方工具爆出来的数据,很多是公关数据,就高不就低的
特殊类型流量(动态流量)来源的追踪
动态流量主要是在程序化广告里,你投放了一个广告组,着陆页上可以用UTM做标记,但是source这个字段标识的网站来源你却还是不知道的,而且这个是变化的,需要做一些设置才能将网站来源传递到source。
这类跟踪方法就是将着陆页的referral设置为source,使用自定义js判断返回referral,然后将其在GTM中要设置的字段重写campaignsource。
其他参数也是类似的操作。