Deep Learning Theory

整理了一些深度学习的理论相关内容，持续更新。

Overview

1. Recent advances in deep learning theory 总结了目前深度学习理论研究的六个方向的一些结果，概述型，没做深入探讨(2021)。

   • 1.1 complexity and capacity-basedapproaches for analyzing the generalizability of deep learning;

   • 1.2 stochastic differential equations andtheir dynamic systems for modelling stochastic gradient descent and its variants, which characterizethe optimization and generalization of deep learning, partially inspired by Bayesian inference;

   • 1.3 thegeometrical structures of the loss landscape that drives the trajectories of the dynamic systems;

   • 1.4 theroles of over-parameterization of deep neural networks from both positive and negative perspectives;

   • 1.5 theoretical foundations of several special structures in network architectures;

   • 1.6 the increasinglyintensive concerns in ethics and security and their relationships with generalizability

Course

2. Theory of Deep LearningTTIC,西北大学等组织的一系列课程和讲座，基础课程涉及DL的基础(符号化，简化后的数学问题和结论)，信息论和学习，统计和计算，信息论，统计学习和强化学习(2020)。

3. MathsDL-spring19,MathDL系列，18,19,20年均有。

   • 3.1 Geometry of Data

     • Euclidean Geometry: transportation metrics, CNNs , scattering.
     • Non-Euclidean Geometry: Graph Neural Networks.
     • Unsupervised Learning under Geometric Priors (Implicit vs explicit models, microcanonical, transportation metrics).
     • Applications and Open Problems: adversarial examples, graph inference, inverse problems.

   • 3.2 Geometry of Optimization and Generalization

     • Stochastic Optimization (Robbins & Munro, Convergence of SGD)
     • Stochastic Differential Equations (Fokker-Plank, Gradient Flow, Langevin + + Dynamics, links with SGD; open problems) Dynamics of Neural Network Optimization (Mean Field Models using Optimal Transport, Kernel Methods)
     • Landscape of Deep Learning Optimization (Tensor/Matrix factorization, Deep Nets; open problems).
     • Generalization in Deep Learning.

   • 3.3 Open qustions on Reinforcement Learning

Architecture

5. Partial Differential Equations is All You Need for Generating Neural Architectures -- A Theory for Physical Artificial Intelligence Systems 将统计物理的反应扩散方程，量子力学中的薛定谔方程，傍轴光学中的亥姆霍兹方程统一整合到神经网络偏微分方程中(NPDE)，利用有限元方法找到数值解，从离散过程中，构造了多层感知，卷积网络，和循环网络，并提供了优化方法L-BFGS等，主要是建立了经典物理模型和经典神经网络的联系(2021)。

Approximation

6. NN Approximation Theory
   • 6.0 Universal approximation theoremNN逼近从这里开始(1991)
   • 6.1 Cybenko’s Theorem and the capabilityof a neural networkas function approximator一二维shallow神经网络的可视化证明(2019)
   • 6.2 Depth Separation for Neural Networks 三层神经网络的表示能力比两层有优越性的简化证明 (2017)
   • 6.3 赵拓等三篇(2019)
   • 6.4 Neural Networks with Small Weights and Depth-Separation Barriers Gal Vardi等证明了对某些类型的神经网络, 用k层的多项式规模网络需要任意weight, 但用3k+3层的多项式规模网络只需要多项式大小的 weight(2020)。
   • 6.5 Universality of Deep Convolutional Neural Networks卷积网络的通用逼近能力，及其核心要素，Ding-Xuan Zhou(2018)，20年发表。

Optimization

7. SGD

   • 7.1 nesterov-accelerated-gradient

8. offconvex几个学术工作者维护的AI博客。

   • 8.1 beyondNTK 什么时候NN强于NTK？
   • 8.2 instahide 如何在不泄露数据的情况下优化模型？
   • 8.3 implicit regularization in DL explained by norms?

Geometry

9. Optima transmission
   • 9.1 深度学习的几何学解释(2020)

Book

10. Theory of Deep Learning(draft)Rong Ge 等(2019)。

11. Spectral Learning on Matrices and TensorsMajid Janzamin等(2020)

12. Deep Learning Architectures A Mathematical Approach(2020),你可以libgen获取，内容如其名字,大概包含：工业问题，DL基础(激活，结构，优化等),函数逼近，万有逼近，RELU等逼近新研究，函数表示，以及两大方向，信息角度，几何角度等相关知识，实际场景中的卷积，池化，循环，生成，随机网络等具体实用内容的数学化，另外附录集合论，测度论，概率论，泛函，实分析等基础知识。

13. The Principles of Deep Learning Theory(2021)Daniel A. Roberts and Sho Yaida(mit)，Beginning from a first-principles component-level picture of networks，本书解释了如何通过求解层到层迭代方程和非线性学习动力学来确定训练网络输出的准确描述。一个主要的结果是网络的预测是由近高斯分布描述的，网络的深度与宽度的纵横比控制着与无限宽度高斯描述的偏差。本书解释了这些有效深度网络如何从训练中学习非平凡的表示，并更广泛地分析非线性模型的表示学习机制。从近内核方法的角度来看，发现这些模型的预测对底层学习算法的依赖可以用一种简单而通用的方式来表达。为了获得这些结果，作者开发了表示组流（RG 流）的概念来表征信号通过网络的传播。通过将网络调整到临界状态，他们为梯度爆炸和消失问题提供了一个实用的解决方案。作者进一步解释了 RG 流如何导致近乎普遍的行为，从而可以将由不同激活函数构建的网络做类别划分。Altogether, they show that the depth-to-width ratio governs the effective model complexity of the ensemble of trained networks。利用信息理论，作者估计了模型性能最好的最佳深宽比，并证明了残差连接能将深度推向任意深度。利用以上理论工具，就可以更加细致的研究架构的归纳偏差，超参数，优化。

14. Physics-based Deep Learning(2021)N. Thuerey, P. Holl,etc.github resources深度学习与物理学的联系。比如基于物理的损失函数，可微流体模拟，逆问题的求解，Navier-Stokes方程的前向模拟，Controlling Burgers’ Equation和强化学习的关系等。

Session

21. Foundations of Deep Learning(2019)，西蒙研究中心会议。
22. Deep Learning Theory 4(2021, ICML)Claire Monteleoni主持...,深度学习理论会议4，包含论文和视频。
23. Deep Learning Theory 5 (2021,ICML)MaYi主持...，深度学习理论会议5，包含论文和视频。

Others

4. Theoretical issues in deep networks 表明指数型损失函数中存在隐式的正则化，其优化的结果和一般损失函数优化结果一致，优化收敛结果和梯度流的迹有关，目前还不能证明哪个结果最优(2020)。
5. The Dawning of a New Erain Applied MathematicsWeinan E关于在DL的新处境下结合历史的工作范式给出的指导性总结(2021)。
6. Mathematics of deep learning from Newton Institute。
7. DEEP NETWORKS FROM THE PRINCIPLE OF RATE REDUCTION，白盒神经网络。
8. redunet_paper白盒神经网络代码。
9. Theory of Deep Convolutional Neural Networks:Downsampling下采样的数学分析Ding-Xuan Zhou(2020)
10. Theory of deep convolutional neural networks II: Spherical analysis还有III：radial functions 逼近，(2020)。不过这些工作到底如何，只是用数学转换了一下，理论上没做过多贡献，或者和实际结合没难么紧密，还不得而知。
11. The Modern Mathematics of Deep Learning(2021)主要是deep laerning的数学分析描述，涉及的问题包括：超参数网络的通用能力，深度在深度模型中的核心作用，深度学习对维度灾难的克服，优化在非凸优化问题的成功，学习的表示特征的数学分析，为何深度模型在物理问题上有超常表现，模型架构中的哪些因素以何种方式影响不同任务的学习中的不同方面。