开销降低，但精度同样可能损失且压缩及错误避免的计算可能带来额外开销

问题：Imerge是否可能同样带来精度损失，实验部分没有展示精度

增加单服务器中的聚合节点或多层扩展聚合 或多服务器、物理多层架构：增加了同步开销和维持一致性的复杂度

应该是客户端训练->上传->同步->下拉

问题：传统串行调度使计算和通信资源利用没有达到最优

这句话啥意思，单纯能直接作为pytorch组件接入吗

去中心训练在大量细粒度梯度(我估计是通信十分频繁场景)和大规模网络场景下失去优势

ps架构有这些好处所以应用比较广泛

准确建模模型每个layer的通信开销，以知道自适应的梯度融合，使 梯度同步和向后计算的重叠更加明智 问题：是否真的准确，梯度融合是什么；重叠是在干什么

对straggler的梯度传输采用客户端间的interleaved传输，有效减少传输拥塞和链路瓶颈 问题：这个interleaved在干什么，拥塞和瓶颈减少在实验中是否体现

交错通信是什么 融合梯度是什么，如何实现无需等待的反向传播

期望定义式

期望在Y取随机变量而非某个值时，也变成了随机变量

非负定矩阵也称半正定矩阵，positive semi-definite matrix，缩写 PSD 即一个对称矩阵A，对于任意向量有\(\mathbf{x}^T A \mathbf{x} \geq 0\)

其中严格大于0即为正定矩阵PD 严格定义中写为A是n×n实对称矩阵

这里不是乘号，是卷积运算符

可以理解为样本点是表现，如骰子的3点面朝上，然后映射为了实值3 也可定义为复杂事件，如点数之和，则映射值为2、3...

测度 是对大小的度量，F → R将事件输入映射到实数域数值 输入是事件A，输出为非负值，可以为正无穷

σ代数 需要对并集封闭，即任意个事件的并集要在集合F中，进一步引出全集Ω 也要作为F的元素之一 需要对补集封闭 空集也要为F的元素之一

需要封闭因为需要能进行可数无限次交并运算 不能是不可数无限是因为每一个事件的概率会直接为0，因为有不可数个

σ代数最终是为了能够做极限、积分等操作

并集封闭

补集封闭