假设x为n维向量，在微分多元函数时经常使用以下规则: 对于所有A∈Rm×n，都有∇xAx=A⊤ 对于所有A∈Rn×m，都有∇xx⊤A=A 对于所有A∈Rn×n，都有∇xx⊤Ax=(A+A⊤)x ∇x‖x‖2=∇xx⊤x=2x 同样，对于任何矩阵X，都有∇X‖X‖F2=2X。 正如我们之后将看到的，梯度对于设计深度学习中的优化算法有很大用处。

抽奖活动的高可用、高并发优化

后台服务架构高性能设计之道

现代C/C++编译器有多智能？能做出什么厉害的优化？

现代语言的closure是如何处理的？

Partial Evaluation, Constant Propagation, AI的关系是什么？

Typed Racket相对于Racket会有多少性能提升？

爬知乎总被封 IP 怎么办？

你是如何搭建 Web 前端性能监控系统的？

如何彻底解决「网络延迟」这个问题？

java循环长度的相同、循环体代码相同的两次for循环的执行时间相差了100倍?

【JAVA】变量声明在循环体内还是循环体外的争论，以及怎样才真正叫『避免在循环体中创建对象』？

JavaScript对表达式的优化？

如何更好地优化 JavaScript 的内存回收？

现在的编译器的inline策略是怎样的？

[译] 使用JavaScript中的蹦床函数实现安全递归

合并 HTTP 请求是否真的有意义？

如何优化加快 SQL 查询速度 ？

JVM对于声明为final的局部变量（local var）做了哪些性能优化？

编译器后端优化有哪些经典的必读论文？

Android开发如何进行网络优化？

增加fetch值（这个根据我们的实际经验，lan内影响很有限）

底层通信协议支持选择 KCP 协议

避免了等待与后端服务建立连接以及 frpc 和 frps 之间传递控制信息的时间。

不幸的是，它被误解扭曲了。许多软件工程师将这一准则理解成"你永远不应该优化代码！"，认为没有必要进行优化。 Tony Hoare 和 Donald Knuth 的真正意思是，代码微优化（例如，一条特定语句消耗多少 CPU 周期）之前，开发者应该担心其他问题。而且，原话并不是说："在开发的早期阶段，关注程序的性能是有害的。" 他只是反对过早的优化。 以下几点理由，可以解释为什么不能忽视软件性能。程序员正确的做法应该是，在软件开发的早期阶段，就关注性能问题。 （1）性能问题不容易在软件开发的最后阶段解决。20％的代码占用了80％执行时间，它们可能散布在整个源代码中，不容易一次性修改解决。 （2）许多工程师相信，到软件发布时，CPU 的性能将会提高，以弥补部分代码的性能低下。尽管在1990年代确实如此，但在最近十年 CPU 性能非常有限。 （3）软件工程师认为，他们的时间比 CPU 时间更有价值。因此，浪费 CPU 周期以减少开发时间是对的。但是，他们忘记了，用户的时间比他们的时间更有价值。 （4）优化可能会导致产品延迟进入市场，并降低利润，这是正确的。但这种想法忽略了性能不佳的产品可能很难销售，尤其是在市场竞争激烈的情况下。 （5）有些程序员认为，几乎没有必要确保在软件的设计阶段，就使用最佳算法，先实现功能再说，因为以后总是可以替换更好的算法。所以，无需担心软件在开发阶段的性能，以后可以通过更好的算法对其进行提高。不幸的是，更好的算法在后期不一定可以实现，而且代码往往因为牵扯太多，无法轻易替换其中某个部分。