概率编程 深度学习模型具有强大的拟合能力，但是可解释性较弱，而贝叶斯理论从概率分布的角度提供了较好的可解释能力。 概率编程是在贝叶斯学派的概率推理和贝叶斯定理的基础上提出来的： 从一个预定义数据开始，称之为“先验(prior)”，然后收集一些数据，基于该数据更新先验，得到的结果称为“后验(posterior)”。 然后，用更多的数据来处理后验，并使之变为先验。这个过程不断重复，直到得...
内存同步模式
原始： AscendSession::RunOpImplOrigin() ↓ AscendSession::LoadInputData() // load input data to device ↓ for (size_t i = 0; i < inputs.size(); ++i) { AscendDeviceAddress::SyncHostToDevic...
图缓存
PyNative模式下，模型是一个算子一个算子下发执行。每个step里每个算子都要先编译再执行。非动态shape场景下(大部分情况)，某个算子在step之间除了输入数据不同，其他都一样。这种情况下，第二个step开始的算子编译就属于重复工作，没有必要了。通过缓存机制，就可以节省第二个step开始的算子编译时间。 增加日志打印，如下所示。 diff --git a/mindspore/cc...
动静态图
目前主流的深度学习框架有静态图(Graph)和动态图(PyNative)两种执行模式。 静态图模式下，程序在编译执行时，首先生成神经网络的图结构，然后再执行图中涉及的计算操作。因此，在静态图模式下，编译器可以通过使用图优化等技术来获得更好的执行性能，有助于规模部署和跨平台运行。 动态图模式下，程序按照代码的编写顺序逐行执行，在执行正向过程中根据反向传播的...
AdamWeightDecay fission
Ascend上AdamWeightDecay优化器是通过小算子组成而成，代码见附录。 Pynative模式下正向过程完全是按照Python语法进行执行，对于某个小算子，就是从Python侧通过pybind11调用C++侧实现。所以多个小算子就会涉及到Python侧与C++侧的多次切换。 基于上面2点，有一种Pynative模式下网络训练性能优化的思路：在Python侧把Adam...
GCNConv-Semi-Supervised Classification with Graph Convolutional Networks
Semi-Supervised Classification with Graph Convolutional Networks 摘要 我们提出了一种可扩展的图结构数据上的半监督学习方法，该方法是直接操作图的卷积神经网络的高效变体。我们通过谱图卷积的局部一阶近似来给出我们选择卷积结构的原因。 我们的模型与图的边数呈线性关系，并可以学习带有图的局部结构和节点的特征信息的隐藏层表示...
GATConv-Graph Attention Networks
GRAPH ATTENTION NETWORKS 摘要 我们提出了图注意网络GATs，这是一种操作图结构数据的新型神经网络架构，利用masked self-attentional层来解决现有的基于图卷积或其近似的方法的缺点。通过堆叠里面的节点能影响其邻域特征的层，我们可以（隐式地）为邻域中的不同节点指定不同的权重，而不需要任何复杂的矩阵运算（如求逆），也不需要事先知道图结构。 ...
EGConv-DO WE NEED ANISOTROPIC GRAPH NEURAL NETWORKS
The Efficient Graph Convolution from the “Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions” paper. 摘要 GNN社区的常识表明：各向异性模型(模型中节点间发送的消息是源节点和目标节点的函数)用来实现最先进的性能。目前的benchmarks...
ASTGCN-Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting
Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting 摘要 交通流预测是交通领域研究者和实践者面临的一个关键问题。然而由于交通流的高度非线性和复杂的模式，交通流问题非常具有挑战性。 现有的大多数交通流预测方法缺乏对交通数据的动态时空相关性的建模能力，因...
Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering
Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering 摘要 本文主要研究将CNN从低维的规则化网格(如图像、视频或语音)推广到用图表示的高维不规则域(如社交网络、大脑连接体或单词嵌入)。 我们在谱图论的背景下提出了一个CNN的公式，它为在图上设计快速局部化卷积滤波器提供了必要的数学背...