本书全面、系统地介绍了互联网业务安全行业全貌,内容包括互联网业务安全发展历程、黑产攻击态势、业务风险防控方案、机器学习算法的使用以及行业未来发展走向等。
这是一本全面描述互联网业务反欺诈体系的书籍,《风控要略——互联网业务反欺诈之路》主要分为洞察黑产、体系构建、实战教程和新的战场4个部分。第1部分介绍了黑产欺诈团伙的运作套路和攻击手段;第2部分总结了我们在构建反欺诈技术体系过程中沉淀的实践经验;第3部分分享了我们和黑产对抗的多个实战案例,以及机器学习算法的综合运用;第4部分介绍了我们在物联网、内容安全、隐私合规等方面的实践和对海外厂商的观察。
读者通过仔细阅读本书,可以对互联网反欺诈的过去、现在和未来有一个系统的认识。希望本书能够为正在关注该领域或从事相关工作的读者提供有价值的参考。本书适合互联网投资人、创业者、产品经理、运营人员和安全风控人员阅读。
引言 互联网业务安全概述 1
第一部分 洞察黑产
第1章 黑产发展态势 8
1.1 黑产组织结构 8
1.2 黑产成员分布 11
1.3 黑产专业化分工 12
1.4 黑产攻击规模 13
1.5 电信欺诈黑产 15
1.6 本章小结 16
第2章 黑产武器库概览 17
2.1 虚假号码 17
2.1.1 猫池 18
2.1.2 短信验证码 20
2.1.3 接码平台 21
2.1.4 空号注册 22
2.1.5 流量卡和物联网卡 22
2.1.6 手机rom后门 23
2.2 代理IP 23
2.3 设备伪造工具 25
2.3.1 改机工具 25
2.3.2 多开工具 26
2.3.3 Root/越狱工具 27
2.3.4 Xposed 28
2.3.5 Cydia Substrate 28
2.3.6 Frida 28
2.3.7 硬改工具 29
2.3.8 脱机挂 29
2.3.9 备份恢复/抹机恢复 30
2.3.10 模拟器 32
2.3.11 定制浏览器 33
2.3.12 自动化脚本 34
2.4 其他工具 35
2.4.1 位置伪造工具 35
2.4.2 群控 36
2.4.3 工具集 42
2.5 本章小结 43
第二部分 体系构建
第3章 反欺诈体系建设思路 46
3.1 动态防控理念 46
3.2 防控体系构建 47
3.3 本章小结 50
第4章 风控核心组件设备指纹 51
4.1 设备指纹的原理 51
4.2 设备指纹的技术实现 52
4.2.1 Android设备指纹 52
4.2.2 iOS设备指纹 54
4.2.3 Web设备指纹 56
4.2.4 设备ID生成与恢复逻辑 58
4.2.5 被动式识别技术 61
4.3 代码保护 62
4.3.1 JS代码混淆技术 63
4.3.2 Android/iOS SDK加固保护 77
4.4 本章小结 92
第5章 基于用户行为的生物探针 93
5.1 生物探针 94
5.2 无感认证 95
5.2.1 无感认证的基础 96
5.2.2 无感认证的构建 97
5.3 生物探针的应用场景 100
5.4 本章小结 100
第6章 智能验证码的前世今生 102
6.1 验证码的诞生 102
6.1.1 验证码的本质 103
6.1.2 验证码的发展 105
6.2 验证码的攻防 108
6.2.1 字符验证码的识别 108
6.2.2 新型验证码的识别 112
6.2.3 对抗黑产的方案 115
6.3 设计一款优秀的验证码 117
6.3.1 设计标准 117
6.3.2 设计实战 118
6.4 本章小结 122
第7章 风控中枢决策引擎系统 123
7.1 规则引擎 123
7.1.1 脚本引擎 124
7.1.2 开源规则引擎 125
7.1.3 商业规则引擎 125
7.1.4 几种规则引擎实现方案的对比 126
7.2 规则管理 127
7.3 规则推送 128
7.4 规则执行 129
7.5 外部系统集成 129
7.6 灰度测试 130
7.7 本章小结 131
第8章 海量数据的实时指标计算 132
8.1 实时指标计算概述 132
8.2 实时指标计算方案 135
8.2.1 基于数据库SQL的计算方案 135
8.2.2 基于事件驱动的计算方案 135
8.2.3 基于实时计算框架的计算方案 136
8.2.4 实时指标计算方案对比 141
8.3 反欺诈实时指标计算实践 141
8.3.1 实时指标计算引擎原型 141
8.3.2 数据拆分计算 144
8.3.3 分片计算 147
8.3.4 引入Flink 148
8.3.5 Lambda架构 148
8.4 反欺诈实时指标计算系统 149
8.5 本章小结 151
第9章 风险态势感知系统 152
9.1 基于统计分析的方法 153
9.1.1 核心风控指标数据 154
9.1.2 核心业务数据 156
9.2 基于无监督学习的方法 157
9.3 基于欺诈情报的方法 158
9.4 预警系统 159
9.5 本章小结 160
第10章 风险数据名单体系 161
10.1 名单体系的价值 162
10.2 名单体系的设计 162
10.3 名单体系的生命周期 166
10.4 名单体系质量管理 168
10.5 本章小结 168
第11章 欺诈情报体系 169
11.1 情报采集 169
11.1.1 数据情报 170
11.1.2 技术情报 171
11.1.3 事件情报 174
11.2 情报分析 175
11.3 本章小结 179
第三部分 实战教程
第12章 机器学习算法的使用 182
12.1 机器学习的广泛应用 182
12.2 机器学习的落地过程 183
12.2.1 特征工程 183
12.2.2 模型选择 187
12.2.3 模型训练 195
12.2.4 工程化和业务落地 197
12.3 机器学习实战案例 198
12.3.1 案例一:黑产设备群控网络挖掘 198
12.3.2 案例二:黑产用户行为聚类分析 205
12.3.3 案例三:金融在线申请反欺诈 212
12.4 本章小结 220
第13章 互联网反欺诈实战 221
13.1 典型反欺诈业务场景风险分析 221
13.1.1 垃圾注册风险识别 222
13.1.2 批量登录风险识别 223
13.1.3 “薅羊毛”风险识别 225
13.1.4 裂变拉新作弊风险识别 227
13.1.5 “任务”作弊风险识别 229
13.1.6 恶意退单风险识别 229
13.2 解决方案设计示例 231
13.2.1 电商薅羊毛 233
13.2.2 裂变拉新 236
13.3 策略部署 239
13.3.1 策略配置 239
13.3.2 策略迭代 241
13.4 运营监控 241
13.4.1 监控预警报表 241
13.4.2 态势感知 242
13.4.3 情报监控 243
13.5 本章小结 244
第四部分 新的战场
第14章 物联网时代的风控 246
14.1 物联网安全态势 246
14.2 物联网安全威胁分析 247
14.2.1 云端平台安全威胁 248
14.2.2 网络通信安全威胁 249
14.2.3 设备终端安全威胁 250
14.2.4 物联网安全监管要求 253
14.3 物联网安全风险控制体系建设思路 254
14.4 物联网安全风险态势感知系统 256
14.5 本章小结 260
第15章 内容安全与合规 261
15.1 内容安全合规概述 261
15.2 文本内容安全 263
15.2.1 敏感词系统 264
15.2.2 基于NLP的AI模型 267
15.3 图像内容安全 271
15.3.1 图像分类 271
15.3.2 敏感人物识别 276
15.3.3 图像文字识别 285
15.4 语音内容安全 286
15.4.1 有语义语音 286
15.4.2 无语义语音 287
15.5 视频内容安全 288
15.5.1 视频内容安全处理流程 289
15.5.2 关键帧提取 289
15.6 内容安全工程 290
15.7 内容安全系统的评价指标 291
15.8 本章小结 292
第16章 风控与数据合规使用 293
16.1 网络安全立法进程 293
16.2 个人数据合规使用 294
16.2.1 用户隐私政策 295
16.2.2 数据安全流转 296
16.3 数据合规技术创新实践 298
16.3.1 数据匿名查询 298
16.3.2 区块链共享黑名单 299
16.4 本章小结 300
第17章 海外风控公司 302
17.1 Arkose Labs 302
17.2 Sift 304
17.3 Forter 305
17.4 Shape Security 306
17.5 Okta 308
17.6 本章小结 313
互联网与现实生活已呈融合发展之势,我们从中获得了极大的便利,同时也埋下了诸多的安全隐患。虚拟与现实的交融隐藏着重重罪恶的身影,其中,互联网业务欺诈就如同一个毒瘤,让企业与个人遭受损失。本书作者及其团队身处对抗欺诈的一线,多年来积累了丰富的实战案例与从业经验。作者在本书中对互联网业务反欺诈技术进行了深入的探讨,生动还原了欺诈团伙的真实生态,系统总结了其惯用的各种犯罪手法与套路,详细论述了一系列较好的反欺诈技术体系和实施方案,对未来新兴技术领域的态势和应用思路进行了较为系统的前瞻性研究与探索。本书行文流畅、事例有趣、逻辑清晰、内容全面,对相关领域从业者而言,是一本在管理和技术层面上都具备很高参考价值的优秀书籍。
——李建华 上海交通大学网络安全技术研究院院长、
信息内容分析技术国家工程实验室主任
黑产和风控系统就是一对矛和盾,始终伴随着线上金融业务的发展。正所谓 “道高一尺,魔高一丈”,新欺诈手段和新的防控技术交相出现,不断博弈。有关黑产的技术、工具等信息不少,但是都不算完整,且缺乏系统性。本书的几位作者长期在安全行业奋战,有着丰富的实战经验,对黑产行业和技术的研究很深入。本书系统地介绍了黑产技术和反欺诈等安全系统建设的策略和技术,非常实用,值得认真学习。
——李怀根 广发银行研发中心总经理
互联网反欺诈是个跨安全、数据、风控等多学科的新兴领域,作者高屋建瓴,以时间为轴,系统化介绍互联网反欺诈领域的过去、现在和未来,并配以案例,详细说明互联网反欺诈工作中风险分析、设计防范、策略部署和运营监控等内容,深入浅出,是当下互联网反欺诈领域难得一见的专业书籍。
——高亮 移动集团智慧家庭运营中心高级安全专家
该书覆盖了移动安全、JS代码混淆、代码虚拟机保护,以及运用机器学习识别自动机等相关技术,内容丰富,值得业内人员深入研读。
——杨珉 国家973项目首席科学家、
复旦大学计算机科学技术学院副院长
该书的物联网安全相关章节全面介绍了物联网生态面临的安全风险,通过多个真实案例的分析让读者有了比较具体的认识。在介绍物联网安全和风控体系建设方案时,作者在充分借鉴传统安全攻防方法论的基础上,深度融合了数据分析的思路,形成了一个创新性的物联网生态安全建设方案,非常值得读者参考和借鉴。
——王滨 研究员级高级工程师、海康威视副总裁
技术升级推进了业务的发展,深入了解互联网业务反欺诈是每一个风控从业人员的必修课。本书干货满满、诚意十足,值得每一位互联网风控从业人员品读。
——王彬 华住集团信息安全副总裁
这是一本非常专业的关于互联网风控业务的图书,凝结了作者长期与黑产斗争、建设风控体系的宝贵经验,是值得业务安全从业者甚至业务人员细读的、不可多得的好书!
——林鹏 猎豹移动安全总监
我认识马传雷近20年,见证着他在传统安全甲方、乙方的长期实战经历,也见证着他从传统安全到风控反欺诈的转型。这本书凝聚了其风控团队与黑产斗争的心血,将宝贵经验毫无保留的成体系化进行总结与提炼,是一部集大成之作,值得互联网企业的风控部门学习借鉴。
——oldjun T00ls.net联合创始人