Tag Archives: Neural Network

深度神经网络的必知技巧

作者是南京大学的 Xiu-Shen Wei,由于给的是英文原文——《Must Know Tips/Tricks in Deep Neural Networks》 (by Xiu-Shen Wei),这里对其翻译学习。在此,将会介绍搭建、训练深度网络的实现细节或技巧,因本人水平有限,如有错译请在下方留言,不胜感激

 
Continue reading

【MLT】13-Deep Learning

本章是上一章神经网络的进阶——深度学习,在原本的基础上,我们有深度学习的概念,对比浅度学习,自动编码器(用来给DL做网络权重的pre-training,预防落入局部最优),设计鲁棒性更强的自动编码器,自动编码器与主成分分析(与自动编码器相似,但用的函数是线性函数)。

 
Continue reading

【MLT】12-Neural Network

本章是神经网络的入门,包含如下四个方面:

  1. Motivation:基本单位-神经元,与生物神经元的联系
  2. Neural Network Hypothesis:神经元的转换函数(激活函数),物理解释
  3. Neural Network Learning:网络权重的学习,网络权重的偏微分推导,反向传播(BP)
  4. Optimization and Regularization:网络优化,模型VC维,两种regularization方法(正则化项,early stopping)
 

Continue reading

Support Vector Machines vs Artificial Neural Networks

svms.org网站上一篇神经网络和支持向量机的对比文章,这里做简单翻译,如有错误请在下方评论处留言,感谢作者!感谢爱可可-爱生活分享!

 

Continue reading

【UFLDL】Supervised Convolutional Neural Network——Pooling

监督卷积网络(Supervised Convolutional Neural Network)——池化(Pooling)

池化:概述(Pooling: Overview)

在得到卷积特征后,我们下一步就是用其来做分类。理论上,我们可以用一个基于提取到的所有特征来做分类器,比方说 softmax 分类器,但在计算量上的开销是很大的。考虑到每张图片大小为 96×96 像素,并进一步假设我们已经在 8×8 像素大小的输入单元上学习了400个特征。每个卷积将会产生一个$(96-8+1)*(96-8+1)=7921$ 个元素的输出,因为我们有400个特征,这样每个样本将会产生长度为 $89^2∗400=3,168,400$ 个特征元素的向量。有着超过三百万的特征元素让分类器去学习的想法是不明智的,这也会使分类器倾向于过拟合。 Continue reading

【UFLDL】Supervised Convolutional Neural Network——Feature Extraction Using Convolution

监督卷积网络(Supervised Convolutional Neural Network)——使用卷积进行特征提取(Feature Extraction Using Convolution)

概览(Overview)

在之前的练习中,练习问题涉及到的图片其分辨率都偏低,例如小图像修补程序和小图像的手写数字识别。而在本节中,我们将会开发一种方法,它能够扩展先前学到的方法在更实际的大图像数据集上。 Continue reading

【UFLDL】Supervised Neural Networks——Multi-Layer Neural Network

监督神经网络(Supervised Neural Networks)——多层神经网络(Multi-Layer Neural Network)

考虑一个监督学习问题,即我们有机会得到带标签的训练样本 $(x^{(i)}, y^{(i)})$ 。神经网络给出了一种方式用来定义复杂以及非线性的假设形式 $h_{W,b}(x)$ ,该形式带有参数 $W, b$,这些参数可被用来拟合我们的数据。 Continue reading

对聚类的几个思考和疑问

这算是一篇日记吧(主要是今天下课后,有好几个问题想问老师来着,但是老师比较赶时间,就没机会了,唉!,所以就产生了这篇文章,主要用来记录自己对今天所学的方法的一些疑问,以及相关的思考)。

今天模式识别课上讲了一些聚类方法(最大最小距离法,系统聚类法/分层聚类法)等等,其中还有比较特殊的用来比较类与类之间距离的方法(最小距离法,最大距离法)等等,当然还有一些别的老师一带而过的距离判别方法。 Continue reading

【MachineLearning】Summary and Thank You

欢迎来到《机器学习》课的最后一节课程。我们已经一起学习很长一段时间了,我想快速地回顾一下这门课的主要内容,然后简单说几句想说的话作为这门课的结束。那么我们学到了些什么呢?

Ps:本节课是对之前所有内容的简单提及。最后Ng的话很让我感动,即使现在,他也会挤出很多时间用在新东西的学习上。 Continue reading

如何确定神经网络训练集是“足够大”的?

摘自《人工智能:智能系统指南》第九章 知识工程)P217,这里做记录。

这部分以确定训练集数目的问题(Widrow and Stearns,1985;Haykin,2008)为主,但涉及到了评估网络泛化能力吸引了我,此外最后提出的——针对神经网络黑盒的原因,我们可以采用灵敏度分析(Sensitivity Analysis)的简单方法,来理解特定输入对网络输出的重要性(在很多情况下,灵敏度分析的效果和从训练过的神经网络中提取规则一样)。

文章内容主要分为下面四个部分:

  1. 如何确定何时训练集的大小才是“足够的大”的(提出一个公式,得出一个理想的训练集数目的计算方法);
  2. 如何归一化数据(这个较基础,但是考虑到和1有关就抄上了);
  3. 如何解释神经网络的输出(相当于对归一化的数值进行解码到实际值);
  4. 如何验证结果(提到了灵敏度分析,同时简单介绍了灵敏度分析)。

Continue reading