关于无效流量有一个潜规则：所有的监测平台，第三方报告出的有关无效流量的报告都宣称无效流量占比30%左右，这是一个业内的共识，每家出报告都在这个范围。
无效流量定义和划分
什么是无效流量呢？
所有可能会虚增广告客户费用或发布商收入的点击或展示都属于无效流量，这其中包括蓄意制造的欺诈性流量，也包括误点击。
为了能够准确的评估数字广告投放的质量和效率，首先需要去除流量转化过程中产生的这些无效流量。
根据中国广告协会的标准，无效流量(Invalid Traffic，IVT)被分为两类——GIVT 和 SIVT :
GIVT
GIVT 是 General Invalid Traffic 的缩写，即常规无效流量或一般无效流量，是指能够通过应用多种名单或标准化参数等常规方式进行过滤的流量。
GIVT之特点是可通过列表和预设参数特征进行识别，根据MMA中国，主要的范例类别包括：
- 非浏览器用户代理头或其它形式的未知浏览器带来的流量。
- 来自声明的机器人爬虫的流量
- 依据投放项目维度的参数设定，超出合理访问频度、访问时间间隔等目标设 定的流量已知的来自数据中心的流量执行了预加载、且没有指定加载后触发时间的流 量。
- 媒体方发起的对广告主提供的点击链接的定期例行检测流量
- 来自已知高危作弊来源的流量，依据预设列表判断
- 带有非法参数及字符的流量，包括通过伪造等非正常手段生成的唯一标识等 关键参数。
- 基本信息缺失或信息矛盾的的流量（例如缺失用户代理信息）
SVIT
SIVT 是 Sophisticated Invalid Traffic 的缩写，即复杂无效流量，这种类型的流量无法通过简单的规则识别 出来，一般需要通过高级分析，多方合作与协调，乃至人工干预等方法以及广告投放活动以外更大范围的数据信号才能分析和识别。
根据MMA中国，主要的范例类别有：
- 高度模拟真人访客的机器人和爬虫流量；
- 广告插件、恶意软件产生的流量
- 被劫持的设备产生的流量
- 虚拟化设备中产生的流量
- 被劫持的广告代码产生的流量；
- 广告伺服时故意隐藏、叠加，掩盖、自动刷新或使过程模糊
- 通过作弊代理服务器产生的流量
- 以金钱补偿为动机的操纵测量数据行为
- 伪造的可见性曝光判定属性参数的流量
- 篡改或重复使用窃取获得的Cookie信息的流量
已被定义为无效流量的曝光不能计入可见曝光。可见曝光测量机构会应用更多的技术在判断广告可见性的基础上增加对其是否属于无效流量的判别，并在报告中将不可见曝光类别下的无效流量单独体现出来。
拓展：MRC定义的常规无效流量和复杂无效流量
常规无效流量可根据已知“蜘蛛”程序和漫游器列表或通过其他例行检查识别出来。
复杂无效流量往往难以识别，需要通过人工干预或更深入的分析才能识别出来。
常规无效流量 (GIVT) 的类别
| 数据中心 | 广告流量源自 IP 与无效活动相关联的数据中心内的服务器，通常为非真人带来的流量。这类 IP 通常为众所周知的数据中心 IP，可能已收录在行业清单中（例如 Trustworthy Accountability Group [TAG] 发布的“数据中心 IP 清单”）。 |
| 已知的抓取工具 | 一种程序或自动脚本，会请求内容，并通过各种身份识别机制声明自己并非真人。这类抓取工具通常已收录在《IAB International Spiders and Bots List》（IAB 国际“蜘蛛”程序和漫游器清单）中。 |
| 不规则模式 | 广告流量包含一项或多项与自动刷新流量、重复点击等已知的不规则模式相关的属性（例如：用户 Cookie）。 |
复杂无效流量 (SIVT) 的类别
| 自动浏览 | 一种程序或自动脚本（例如僵尸网络，同时主要也是指僵尸网络），无需用户参与便会请求网络内容（包括数字广告），并且不声明自己是抓取工具。 |
| 虚假陈述 | 一种广告请求，涉及的目标广告资源并非所提供的实际广告资源，包括如下情况下的广告请求：实际广告呈现在另一网站、应用、设备或其他位置（例如地理位置）上。 |
| 误导性界面 | 经过篡改的网页、应用或其他视觉元素，旨在以错误方式包含一个或多个广告。这包括：呈现用户看不到的广告、未征得发布商同意便植入广告，或诱使用户点击广告。 |
| 被操控的行为 | 浏览器、应用或其他程序未经用户同意便触发广告互动，例如意外点击、意外转化或错误地归因某个移动应用的安装事件。 |
| 利诱性质的行为 | 借助明确的奖励，驱使用户仅为了获得所宣称的奖励而与一个或多个广告互动，并且相关广告客户并不知道存在该奖励。通常，此类奖励本质上为经济方面的奖励。 |
| 未披露的分类 | 无法归到分类体系中任何其他类别的无效流量，或无法披露的敏感无效流量。 |
无效流量排除列表
行业提供的黑白名单适用于一般无效流量，但是是付费的，根据会员与否价格不同。
GIVT List
GIVT List叫一般无效流量数据，是由中国广告协会统筹指导，中国无线营销联盟（MMA中国）为组长单位，依据《互动广告 第2部分：投放验证标准》国家标准，由中广协无效流量工作组（Distributed Invalid Traffic Filter）认证和发布，是中国唯一的行业级“一般无效流量数据”，中广协说这个是它发布的，MMA中也说这个是它发布的。
数据内容包括：IP地址黑名单、IP地址白名单、Device ID黑名单、Device ID白名单。
数据实行月更制度，每月20日(遇非工作日顺延至下一个工作日)发布最新的数据文件，可通过本页面下载。
中广协倡导和建议使用此数据的企业，在当月28日01时正式在生产系统中应用此数据，以减少不同企业间使用的数据版本不一致问题。
IAB/ABC List
IAB爬虫和机器人列表可帮助公司识别自动化流量，例如搜索引擎爬网程序，监视工具以及其他他们不想在其分析和可计费计数中显示的非人为流量。此外，使用行业标准列表（例如“爬虫和机器人”列表）可减少各方之间的差异，并达到根据“ 无效流量检测和过滤准则”检测一般无效流量的要求。
更多关于IAB/ABC List可以看IAB/ABC 国际机器和爬虫流量列表
GIVT List是国内的，IAB/ABC List是国际的，这类列表会有一个单独的委员会、有完善的机制用于无效流量的审议与发布。
两者的对比
我不确定百度是否有用GIVT。
如果有用的话，那么GIVT和IAB/ABC List两者的列表应该是很接近的，因为我之前曾拿Google Analytics 、Adobe Analytics和百度统计的监测同一个网站，然后拿数据做对比，GA和AA用的是IAB/ABC List，三者的数据很接近，详细的可以看百度统计、Google Analytics和Adobe Analytics的数据差异有多大？
所以我感觉过滤列表应该差不多。
使用建议
建议广告投放前基于无效流量数据预判数据结果进行做流量筛选，在广告投放中基于无效流量预判数据进行 做实时广告阻挡控制，即当广告无效流量概率较高或明确认定为无效流量时基于供需双方的合约做放弃、退还、跳过、替换等广告投放控制。
两种用法：投放前通常是做广告验证，投放中的是对流程做分析处理，通常的流程如上图所示。
报告要求
在提供无效流量报告时须注意以下事项:
确定为“常规无效流量”(GIVT)的广告展示数量应从总投放展示数中标记并在各主要细分维度予以数量上的排除, 并与报告更新周期同步提供数据。
对于“复杂无效流量”(SIVT)的报告，出于鉴别的复杂性，需要至少在投放项目维度报告整体维度体现数据, 适当的数据延迟和判定调整是允许的，但最长滞后延迟不能超过14天。
检测出的无效流量不应计入可见曝光。
审计要求
无效流量验证测量机构应接受第三方审计。审计范围应包括计数方法和过程处理/控制:
一般是美国媒体评级委员会（MRC）与中国媒体评估委员会（CMAC）审计的，如2017年，MRC和CMAC将一起对中国三家第三方数字受众测量服务商执行审计流程，包括精硕科技的TrackMaster，秒针的AdMonitor和尼尔森的Digital Ad Ratings（DAR），这是国内第一批接受CMAC审计。CMAC的认可度不高，国内厂家申请审计并不积极。
计数方法
对定义周期内广告活动的独立审计。
计数法的程序一般包括基本过程的回顾和风险分析，了解测量方法，分析性复核、交易认证，过滤程序和测量重新计算验证。 活动审计可以在投放活动级别执行，验证与特定广告创意交付的活动，目的是用于性能测量。
定义了审计的粒度和流程，以及必要的计算环节。
过程与控制项
过程审核包括检查网站或广告服务器是否应用足够的过滤技术。虽然审计报告可以每年发布一次，但一些审计测试应在一年内开展到一次以上，以确保内部控制项保持不变。审核报告应清楚说明基础审计测试所涵盖的时间段，以及由此产生的认证所涵盖的时间段。
参考
- 中国广告协会GIVT列表
- MMA中国的《MMA中国无线营销联盟移动互联网广告无效流量验证标准V.1.0》
