即时发布
来自北卡罗来纳州立大学的研究人员开发了一种新的方法来联合学习，使他们能够更快，准确地开发准确的人工智能（AI）模型。这项工作着重于联合学习中的一个长期问题，这种问题是在用于训练AI的各个数据集中存在明显的异质性时发生的。
联合学习是一种AI培训技术，它允许AI系统通过绘制多组数据来改善其性能，而不会损害该数据的隐私。例如，联邦学习可用于从多家医院获取特权患者数据，以改善诊断性的AI工具，而无需医院可以访问彼此患者的数据。
联合学习是一种机器学习的一种形式，涉及多个设备，称为客户。客户端和集中式服务器都从旨在解决特定问题的基本模型开始。从该起点开始，每个客户都使用自己的数据训练其本地模型，从而修改模型以提高其性能。然后，客户将这些“更新”发送到集中式服务器。集中式服务器借鉴了这些更新以创建混合模型，其目标是使混合模型的性能比自己的任何一个客户都更好。然后，中央服务器将此混合模型发送回每个客户端。重复此过程，直到系统的性能进行了优化或达到一致的准确性水平为止。
“However, sometimes the nature of a client’s personal data results in changes to the local model that work well only for the client’s own data, but don’t work well when applied to other data sets,” says Chau-Wai Wong, corresponding author of a paper on the new technique and an assistant professor of electrical and computer engineering at NC State. “In other words, if there is enough heterogeneity in the data of the clients, sometimes a client modifies its local model in a way that actually hurts the performance of the hybrid model.”
“我们的新方法使我们能够比以前的技术更有效地解决异质性问题，同时仍然保留隐私，”该论文和博士学位的第一作者Kai Yue说。北卡罗来纳州的学生。“此外，如果客户数据中存在足够的异质性，则实际上不可能使用传统的联合学习方法开发准确的模型。但是，我们的新方法使我们能够开发一个准确的模型，而不管数据的异质性如何。”
在新方法中，客户发送给集中服务器的更新以保留数据隐私的方式进行重新格式化，但为中央服务器提供了有关与模型性能相关的数据特征的更多信息。具体而言，客户端以Jacobian矩阵的形式向服务器发送信息。然后，中央服务器将这些矩阵插入产生改进模型的算法。然后，中央服务器将新模型分配给客户端。然后重复此过程，每次迭代都会导致模型更新，从而改善系统性能。
“One of the central ideas is to avoid iteratively training the local model at each client, instead letting the server directly produce an improved hybrid model based on clients’ Jacobian matrices,” says Ryan Pilgrim, a co-author of the paper and former graduate student at NC State. “In doing so, the algorithm not only sidesteps multiple communication rounds, but also keeps divergent local updates from degrading the model.”
研究人员对用于评估联合学习绩效的行业标准数据集测试了他们的新方法，并发现新技术能够匹配或超过联邦平均的准确性 - 这是联邦学习的基准。更重要的是，新方法能够匹配该标准，同时将服务器和客户之间的通信次数减少到数量级。
Yue说：“例如，在其中一个测试数据集中，联合的平均沟通能力达到85％的准确性。”“我们能够在26轮中达到85％的精度。”
Wong说：“这是一种新的，用于联合学习的替代方法，使这项探索性工作。”“我们正在有效地重新利用用于解决问题的实用分析工具。我们期待从私营部门和更广泛的联邦学习研究社区获得有关其潜力的反馈。”
纸，“神经切线内核授权联合学习，”将在第39届机器学习国际会议上介绍（ICML），将于7月17日至23日在马里兰州巴尔的摩举行。该论文是由北卡罗来纳州立大学的前博士后研究员Richeng Jin合着的。北卡罗来纳州电气和计算机工程副教授Dror Baron；北卡罗来纳州电气和计算机工程教授Huaiyu Dai；以及北卡罗来纳州立大学的前研究生瑞安·朝圣者（Ryan Pilgrim）。
- 船员 -
给编辑的注释：研究摘要如下。
“神经切线内核授权联合学习”
作者：Kai Yue，Richeng Jin，Chau-Wai Wong，Dror Baron和Huaiyu Dai，北卡罗来纳州立大学；Ryan Pilgrim，独立学者
提出了：7月17日至23日，马里兰州巴尔的摩的第39届国际机器学习会议（ICML）
抽象的：联合学习（FL）是一种保护隐私的范式，其中多个参与者共同解决机器学习问题而无需共享原始数据。与传统的分布式学习不同，FL的独特特征是统计异质性，即，跨参与者的数据分布彼此不同。同时，神经网络解释的最新进展已广泛使用神经切线核（NTK）进行收敛分析。在本文中，我们提出了一个新颖的FL范式，该范式由NTK框架赋予了能力。该范式通过传输比常规FL范式更具表现力的更新数据来解决统计异质性的挑战。具体而言，通过样本的雅各布矩阵，而不是模型的权重/梯度，由参与者上传。然后，服务器构建了经验内核矩阵，以更新全局模型，而无需明确执行梯度下降。我们进一步开发了一种具有提高沟通效率和增强隐私性的变体。数值结果表明，与联邦平均相比，所提出的范式可以达到相同的精度，同时将通信弹的数量减少数量级。
