皮皮网

1.fateԴ?源码?
2.关于FATE-NN模块升级详细介绍
3.开源隐私计算框架Fate源码学习
4.Fate家族的codepay模仿源码

fateԴ??

       引言：本文记录了FATE框架中横向和纵向联邦学习的案例使用，并与笔者近期使用过的源码谷歌TFF(TensorFlow-Federated)框架对比，阐述使用感受，源码对研究联邦学习及使用FATE的源码用户极有价值。

       1.横向联邦学习案例

       在本节中，源码以逻辑回归为例记录横向联邦学习案例使用。源码中医 app 源码

       实验设置文件说明

       上传数据json文件

       upload_my_homolr_guest.json,源码 upload_my_homolr_host.json

       组件

       test_my_homolr_train_dsl.json

       运行时配置文件

       test_my_homolr_train_conf.json

       实验步骤

       进入实验环境

       1.上传训练数据

       注意是先上传guest数据，后上传host数据

       2.提交训练任务

       3.查看结果

       点击提示url可以查看相关结果：

       2.纵向联邦学习案例

       在本节中，源码以secureboost为例记录纵向联邦学习案例使用。源码

       实验设置实验步骤

       上传数据、源码提交任务和查看结果

       展示结果

       实验结果

       1.训练中

       2.查看结果

       点击view this 源码job查看所有结果，同时可以通过切换job查看guest端和host端的源码数据和模型输出，此处只做部分展示：

       结果分析

       模型输出的源码各项指标都很好，结果非常令人满意，源码通过阅读过SecureBoost论文了解到这个算法是源码无损的，所以达到了如此高的指标；secureboost是由xgboost改进而来的，所以训练速度也很快。

       小结

       读者可以根据需求修改以上列举的文件进行不同训练。笔者记录以上案例时使用的是FATE的早期版本，横向联邦学习支持的模块很少，目前FATE框架已经支持深度学习，读者可以尝试使用。

       3.使用感受

       本节笔者将对比FATE框架和TFF框架的futuretask源码详解使用感受。

       1.环境部署

       FATE框架需要较多软件，安装操作比较琐碎，安装过程中可能出一些小问题，但对软件版本对应要求不是很高，环境部署可以参考 这里和 官方GitHub。

       TFF框架官方没有中文文档，安装过程中也会出各种各样的错误，支持conda安装；如果使用gpu，需要严格按照版本对应安装，笔者在此吃了不少苦头。

       2.应用场景

       FATE框架支持横向、纵向联邦学习；而TFF仅支持横向联邦。

       FATE目前已经支持多种算法，TFF同样支持各种算法和深度学习。

       3.上手难度

       FATE如果只是修改部分json文件，还可以接受，但是如果需要大片重置，在linux系统下不是很方便；但FATE源码中已搭建好大部分组件结构，基本不需要编写代码，用户可以0基础训练并查看结果。

       TFF编译器可以配置到IDE中，编写代码比较方便；但TFF有其federated core等编程范式和API，avue源码分析有一定上手难度，使用时需要编写大量代码。

       4.可视化

       FATE在可视化部分做的比较好，轻松点击便可查看结果。

       TFF需要自行编写代码从tf.Session中取出中间和最终结果。

       5.调试

       FATE代码涉及多种语言，且代码封装性较高，笔者由于对python了解甚少，未曾尝试修改FATE中的python代码，更未尝试debug。

       TFF笔者使用较少，不过TFF计算时使用静态图并tf.Session保存中间结果，调试也比较困难。

       6.GPU支持

       据笔者目前了解FATE暂时不支持GPU计算，在这一方面TFF更有优势。

       7.使用场景

       FATE支持多方部署，同时可以由多方发起联邦计算，可以用于实验测试和真实环境部署。

       TFF虽然是谷歌已经用于实际训练终端Gboard的框架，但据笔者至目前的使用并未发现开放给用户的多方联邦接口，仅适用于实验测试。

       本文由盛立杰撰写，磐石源码建站微信号：urinmydreaM_，FATE社区特邀作者发布于FATE社区，未经许可，禁止转载。

       欢迎关注更多AI技术干货：

       FedAI联邦学习知乎机构号： FedAI联邦学习- 知乎

关于FATE-NN模块升级详细介绍

       微众银行的最新投稿聚焦于FATEV1.版本中NN模块（Homo NN & Hetero NN）的显著升级。文章从整体结构、工作原理、示范案例三个方面进行深入解析，由微众银行人工智能部的算法工程师陈伟敬撰写，以详实的内容和专业角度展示了FATE-NN模块的升级亮点。

       首先，文章介绍了背景与需求。基于深度学习的联邦学习是当前隐私计算领域的热点研究方向，工业界也对复杂数据上进行多方联邦学习有强烈需求。FATEV1.版本的升级，旨在优化框架的整体易用性，并全面支持Pytorch的使用，同时提供模型、数据集、训练器三大自定义功能，以适应更广泛的定制化需求。

       文章继续深入，云立方源码详细阐述了NN模块的四个核心子模块：model_zoo、dataset、homo、hetero，构建了一个清晰的框架结构。随后，通过流程图展示了Homo-NN的基本训练流程，强调了用户在模型、数据集上的自由定制能力，以及通过自定义Trainer控制训练与聚合策略的可能性。

       对于Hetero-NN的介绍，文章指出其与Homo-NN的相似性与差异性，特别强调了在编写pipeline时需区分guest方与host方，以及在特征提取与label计算等方面的具体操作。文章还特别指出Hetero-NN仅支持回归与分类任务。

       在使用示例部分，文章提供了从零到一的实践指南。首先，通过FATE-1.中对torch的支持，用户可以轻松定义或指定自定义模型，通过fate_torch_hook增强torch功能。用户可以基于torch Sequential定义模型结构，或开发并部署自定义模型脚本，并通过pipeline接口指定其使用。文章还展示了如何使用自定义数据集和Trainer，以及一个完整的HomoNN示例，从绑定地址到构建pipeline组件，直观展示了模块的集成与应用。

       最后，文章提供了最新分支的链接，包括源代码、使用文档和教程，鼓励感兴趣的用户尝试并提供反馈，共同推动FATE技术的发展。

开源隐私计算框架Fate源码学习

       开源隐私计算框架Fate源码学习

       深入探究Fate框架的源码结构与实现逻辑，本文将围绕源码结构、组件执行、任务调度、系统初始化、以及关键组件的实现等方面展开，旨在为开发者提供一个全面理解Fate框架的视角。

       源码结构清晰地组织在github.com/FederatedAI/目录下，其中组件的实现与流程管理紧密相关。Fate框架的核心在于Flow调度系统，其主要功能是将机器学习项目中的组件与算法，通过加密协议在适配的后端计算、存储、通信环境中运行。

       作业初始化基础设施层后，算法通过基础设施执行计算、通信与存储操作。Fate框架通过多个包之间的紧密协作，实现高效的数据处理与模型训练。

       文档导航参考帮助开发者快速定位关键信息，理解框架的各个组件与功能。多个包之间的关系图示提供了整体架构的概览，便于开发者深入了解框架内部结构。

       客户端pipeline视角提供了一次模型训练的全面视图，包括作业、任务、DSL编排与执行单元的抽象概念。party角色定义了发起作业的参与者，其中guest通常作为发起者，而host同时承担仲裁者的角色。

       组件、模块与模型的命名规则清晰，有助于开发者理解并应用框架的API。PipelineModel包负责存储模型训练产出，确保数据与模型的完整性和安全性。

       训练模型的启动依赖特定配置文件，如examples/intersect/test_rsa_job_conf.json与test_rsa_job_dsl.json，定义组件、模块与模型名称等关键参数。定义元数据的yaml文件进一步描述组件列表与管道组件的特殊性。

       系统初始化流程清晰，Fate服务器初始化一系列管理器，包括资源申请与任务资源的分配。调度流程则通过DAGScheduler管理等待与运行中的任务，确保资源的有效利用。

       任务执行通过Worker在调度过程中的门面控制，处理job、task、资源、依赖与tracker的管理。组件执行涉及三个核心任务，实现高效的数据处理与模型训练。

       FederatedML算法工程开发目录提供详细的实现细节，为开发者提供了丰富的资源与解决方案。调度代码的可复用性高，架构中适配部分需要根据具体需求进行扩展。ML包中的功能丰富，涵盖多种隐私求交算法。

       Tracker组件完成模型注册中心的联合功能，PipelineModel维护模型目录与存储元数据与模型文件，同时提供checkpoint能力的集成。认证方案基于casbin访问控制库与双向非对称加密、JWT加密方式实现，提供安全的访问控制机制。

Fate家族的codepay模仿源码

       集成微信支付、支付宝支付、QQ钱包支付的第三方接口，无需手续费，无需签约，即时到账的第三方支付平台，如今成为了许多站长寻求实惠、便捷支付解决方案的首选。然而，年3月，这样的支付行业突然消失，原因不明。对这一现象，读者们自行思考，这里不进行深入讨论。

       码支付平台不仅提供集成多种主流支付方式的便利，更在成本控制上为用户带来了实实在在的优惠。对于寻求合适、经济支付解决方案的站长来说，如何将这种平台引入自己的网站，成为了当务之急。

       好消息是，实现这一目标并非难事。站长们可以通过自行搭建一套源码，对接到自己的支付系统中，不仅实现了成本的节省，更确保了操作的自由度和灵活性。这种定制化的解决方案适用于各类网站，满足了不同场景下的支付需求。

       具体操作步骤、源码获取方式等详细信息，可通过访问以下链接获取：3cym.com/m/product/view...