【论文笔记】Estimation of Individual Device Contributions for Incentivizing Federated Learning

本文提出了一种计算和通信效率高的方法来估计参与设备的贡献水平。所提出的方法通过减少对流量和计算开销的需求，在单个FL训练过程中实现了这种估计。使用MNIST数据集进行的性能评估表明，所提出的方法准确地估计了单个参与者的贡献，与简单的估计方法相比，计算开销减少了46-49%，并且没有通信开销。

背景

物联网在支持联邦学习和保护数据隐私方面显示出巨大优势，但她仍然面临着一个公开的挑战，即通过贡献计算能力和数据[7]来激励物联网设备的所有者加入物联网的努力。一个直观的想法是根据参与者的贡献进行奖励。然而，很难准确评估他们的贡献。据报道，模型精度和训练数据量之间的关系是非线性的。模型的准确性取决于模型的复杂性和数据质量。这个精度很难提前预测。

一般来说，在联邦学习中，客户之间的数据是不平衡的，没有身份识别：由于个别客户的培训数据是由客户自己根据他们的本地环境和使用模式收集的，本地数据集的大小和分布通常在不同的客户之间有很大差异。因此，以较小的计算和通信开销准确估计个人贡献水平是激励外语学习者成功的关键。

传统上，估计他们个人贡献水平的一种直接和准确的方法是首先通过移除由每个参与者提供的局部模型来测量模型精度的退化。这种方法消耗更多的计算和通信资源，因为它必须重复整个联邦过程的次数与参与者的数量一样多。

本文方法

1. 系统模型

评估者通过比较使用客户模型更新前后的联邦模型来估计每个客户的个人贡献水平。评估者根据客户的贡献将奖励发回给每个客户。

[请注意，客户的决策超出了本文的范围，将包含在未来的工作中。如果报酬足以补偿客户对FL的贡献成本，则每个客户的决策者决定参与FL。否则，客户将离开FL。]

2.评估客户贡献的指标

训练过程：【后面补上】

朴素贡献度量

删除法。

需要消耗很大的计算开销和流量开销。

逐步贡献（Step-wise contribution）

作者提出了一种基于分步贡献计算的轻量级但直观的贡献估计方法。

该方法中使用的指标定义为每轮包括客户模型的收益总和：

【问】此处如何得到去除i的M？

其中，分母用于归一化。该指标评估客户模型在每一轮中对全局模型的改进程度，并将逐步贡献的总和视为FL客户的贡献。这是基于一种直觉，即在每一轮提高模型性能的客户也将有助于最终整体模型性能的提高。

该方法需要增加模型集合、模型验证和增益计算的系数c。

这种改进的方法和原来的delete有什么不同？