《联邦学习原理与应用》由光大科技官方出品,从联邦学习的原理到应用,内容全面。
《联邦学习原理与应用》从联邦学习发展的背景、技术方法和工具的原理、落地实践的详细过程、与金融业务相关的应用案例、应用展望等方面,多角度、多层次地展示联邦学习及其在金融科技行业应用的全貌。
6.4.4 FATE集群部署验证
在使用三种方式部署完成后,需要进行通信测试来验证FATE集群是否成功安装,FATE提供了run_test、toy_example和min_test_task测试。其中,run_test是单元测试,用于测试本地环境安装是否正确、完整。toy_example利用两方求和测试两方Party的联通性及各组件是否可用。min_test_task从特征选择、特征工程、模型训练到模型预测模拟一个完整的联合建模过程来进行测试。
1. run_test单元测试
在Guest方和Host方执行以下命令进行单元测试:
CONTAINER_ID=`docker ps -aqf "name=fate"`
docker exec -t -i ${CONTAINER_ID} bash
bash ./python/federatedml/test/run_test.sh
若屏幕显示以下内容,则表示测试成功:
there are 0 failed test
2. toy_example测试
只需要到Guest方的/data/projects/fate/python/examples/toy_example/目录下执行:
python run_toy_example.py ${guest_party_id} ${host_party_id} ${work_mode}
其中,work_mode为0表示单机版本,为1表示集群版本。我们的实验节点是采用集群方式部署的。一旦任务发起,服务器上就可能会返回以下信息。
(1)Party ID错误或者通信模块错误。
在任务发起后,若屏幕上没有立刻输出信息,则通信可能失败,可能是guest_party_id和host_party_id错误,也可能是通信模块安装失败。
(2)EggRoll或通信错误。
如果屏幕上输出jobid,并且显示“job running time exceed”,那么检查通信或者Host方的EggRoll日志。否则,检查Guest方的EggRoll日志。
(3)任务成功,日志显示成功。
3. min_test_task测试
本案例主要测试数据上传、求交集、算法。
在Host方中执行:
sh run.sh host ${task}
task可选择fast或normal,fast将使用FATE提供的breast数据集,normal将使用credit数据集。在执行该命令后,得到上传数据的表名和表空间,需要将其告知Guest方。
在Guest方中执行:
sh run.sh guest ${task} ${host_table_name} ${host_namespace}
需要注意以下三点:
(1)在用All-in-one方式执行命令前需要先初始化环境变量:
source /data/projects/fate/init_env.sh
(2)在Docker环境下进入python容器的命令:
docker exec -it ${容器名} bash
(3)在Kubernetes环境下进入python容器的命令:
kubectl exec -it ${容器名} -n ${namespace} --/bin/bash
第1章 / 联邦学习与金融科技应用介绍
1.1 联邦学习的发展背景和历程
1.2 金融数据价值挖掘的联邦学习实践
第2章 / 联邦学习算法之建模准备
2.1 联邦学习的分类
2.2 样本对齐的实现方式
2.2.1 基于哈希函数的普通对齐方式
2.2.2 基于非对称加密算法的隐私保护对齐方式
2.3 特征工程的联邦学习实现方式
2.3.1 特征工程简介
2.3.2 联邦特征工程
第3章 / 联邦学习算法之模型实现
3.1 线性模型的联邦学习实现方式
3.1.1 横向联邦学习中的线性模型
3.1.2 纵向联邦学习中的线性模型
3.2 极端梯度提升树的联邦学习实现方式
3.2.1 XGBoost算法介绍
3.2.2 SecureBoost算法介绍
3.3 深度学习类算法的联邦学习实现方式
3.3.1 深度学习的基本概念
3.3.2 常用的深度学习算法介绍
3.3.3 联邦深度学习算法介绍
第4章 / 基于联邦学习的推荐系统
4.1 信息推荐与推荐系统
4.2 矩阵分解和因子分解机的实现方式
4.2.1 基于隐语义模型的推荐算法
4.2.2 矩阵分解算法
4.2.3 因子分解机模型
4.3 联邦推荐系统算法
4.3.1 联邦推荐算法的隐私保护
4.3.2 联邦推荐系统的分类
4.3.3 横向联邦推荐系统
4.3.4 纵向联邦推荐系统
第5章 / 联邦学习应用之数据要素价值
5.1 联邦学习贡献度
5.1.1 背景介绍
5.1.2 基于缺失法的贡献度计算
5.1.3 基于Shapley值的贡献度计算
5.2 基于联邦学习的数据要素交易
5.2.1 数据要素交易的背景与现状
5.2.2 基于联邦学习的交易机制构建
第6章 / 联邦学习平台搭建实践
6.1 联邦学习开源框架介绍
6.2 FATE架构与核心功能
6.3 金融控股集团联邦学习平台简介
6.4 FATE集群部署实践
6.4.1 All-in-one方式部署FATE集群
6.4.2 Docker-Compose方式部署FATE集群
6.4.3 在Kubernetes上部署FATE集群
6.4.4 FATE集群部署验证
6.4.5 FATE集群配置管理及注意事项
6.5 与异构平台对接
6.5.1 与大数据平台对接
6.5.2 与区块链平台对接
6.5.3 多参与方自动统计任务
第7章 / 联邦学习平台实践之建模实战
7.1 横向联邦学习场景
7.1.1 建模问题与环境准备
7.1.2 横向联邦学习建模实践过程
7.2 纵向联邦学习场景
7.2.1 建模问题与环境准备
7.2.2 纵向联邦学习建模实践过程
第8章 / 跨机构联邦学习运营应用案例
8.1 跨机构数据统计
8.2 在交叉营销场景中的联邦学习实践
8.2.1 联邦学习在交叉营销场景中的应用
8.2.2 信用卡交叉营销的联邦学习案例
8.3 联邦规则抽取算法及其在反欺诈与营销场景中的应用
8.3.1 基于F-score的联邦集成树模型和其对应的业务背景
8.3.2 损失函数、剪枝和自动化规则抽取
8.3.3 纵向和横向Fed-FEARE
8.3.4 横向Fed-FEARE应用于金融反欺诈
8.3.5 纵向Fed-FEARE应用于精准营销
第9章 / 跨机构联邦学习风控应用案例
9.1 联邦学习下的评分卡建模实践
9.1.1 背景需求介绍
9.1.2 联邦学习框架下的评分卡建模
9.1.3 联邦学习框架下的评分卡模型优化
9.1.4 应用案例
9.2 对企业客户评估的联邦学习和区块链联合解决方案
9.2.1 金融控股集团内对企业客户评估的应用背景
9.2.2 联邦解决方案的内容
9.2.3 券商对公客户的评级开发
9.3 在保险核保场景中银行保险数据联邦学习实践
9.3.1 保险核保
9.3.2 智能核保
9.3.3 联邦学习与智能核保
第10章 / 联邦学习应用扩展
10.1 基于联邦学习的计算机视觉应用
10.1.1 联邦计算机视觉简述
10.1.2 研究现状与应用展望
10.2 联邦学习在自然语言处理领域的应用
10.2.1 联邦自然语言处理技术进展
10.2.2 联邦自然语言处理应用
10.2.3 挑战与展望
10.3 联邦学习在大健康领域中的应用
10.3.1 联邦学习的大健康应用发展历程
10.3.2 挑战与顾虑
10.4 联邦学习在物联网中的应用
10.4.1 物联网与边缘计算
10.4.2 人工智能物联网
10.4.3 研究现状与挑战
附录1 RSA公钥加密算法
附录2 Paillier半同态加密算法
附录3 安全多方计算的SPDZ协议
参考文献