Tag Archives: Machine Learning

深度神经网络的必知技巧

作者是南京大学的 Xiu-Shen Wei,由于给的是英文原文——《Must Know Tips/Tricks in Deep Neural Networks》 (by Xiu-Shen Wei),这里对其翻译学习。在此,将会介绍搭建、训练深度网络的实现细节或技巧,因本人水平有限,如有错译请在下方留言,不胜感激

 
Continue reading

【MLT】13-Deep Learning

本章是上一章神经网络的进阶——深度学习,在原本的基础上,我们有深度学习的概念,对比浅度学习,自动编码器(用来给DL做网络权重的pre-training,预防落入局部最优),设计鲁棒性更强的自动编码器,自动编码器与主成分分析(与自动编码器相似,但用的函数是线性函数)。

 
Continue reading

【MLT】12-Neural Network

本章是神经网络的入门,包含如下四个方面:

  1. Motivation:基本单位-神经元,与生物神经元的联系
  2. Neural Network Hypothesis:神经元的转换函数(激活函数),物理解释
  3. Neural Network Learning:网络权重的学习,网络权重的偏微分推导,反向传播(BP)
  4. Optimization and Regularization:网络优化,模型VC维,两种regularization方法(正则化项,early stopping)
 

Continue reading

Support Vector Machines vs Artificial Neural Networks

svms.org网站上一篇神经网络和支持向量机的对比文章,这里做简单翻译,如有错误请在下方评论处留言,感谢作者!感谢爱可可-爱生活分享!

 

Continue reading

【UFLDL】Supervised Convolutional Neural Network——Pooling

监督卷积网络(Supervised Convolutional Neural Network)——池化(Pooling)

池化:概述(Pooling: Overview)

在得到卷积特征后,我们下一步就是用其来做分类。理论上,我们可以用一个基于提取到的所有特征来做分类器,比方说 softmax 分类器,但在计算量上的开销是很大的。考虑到每张图片大小为 96×96 像素,并进一步假设我们已经在 8×8 像素大小的输入单元上学习了400个特征。每个卷积将会产生一个$(96-8+1)*(96-8+1)=7921$ 个元素的输出,因为我们有400个特征,这样每个样本将会产生长度为 $89^2∗400=3,168,400$ 个特征元素的向量。有着超过三百万的特征元素让分类器去学习的想法是不明智的,这也会使分类器倾向于过拟合。 Continue reading

【UFLDL】Supervised Convolutional Neural Network——Feature Extraction Using Convolution

监督卷积网络(Supervised Convolutional Neural Network)——使用卷积进行特征提取(Feature Extraction Using Convolution)

概览(Overview)

在之前的练习中,练习问题涉及到的图片其分辨率都偏低,例如小图像修补程序和小图像的手写数字识别。而在本节中,我们将会开发一种方法,它能够扩展先前学到的方法在更实际的大图像数据集上。 Continue reading

基于线性回归的房价预测Matlab版

具体说来,这个问题是来自UFLDL中的线性回归的作业,这一节的作业比较简单,只需要实现线性回归中计算目标函数$J(\theta)$的值和目标函数$J(\theta)$的梯度值(即$J(\theta)$的偏导数的部分)就可以了。

figure1

# 1.问题描述

506条房屋数据。其中,每条数据有13个特征,及1个标签值(即真实房价)。我们的任务是根据这506条数据,做出房价预测的线性模型。 Continue reading

【UFLDL】Supervised Neural Networks——Exercise: Supervised Neural Networks

监督神经网络(Supervised Neural Networks)——练习: 监督神经网络(Exercise: Supervised Neural Networks)

本次练习中,您将训练一个神经网络分类器,并在 MNIST 数据集上对 10 种手写数字进行分类。神经网络的输出单元与您在 Softmax 回归练习中创建的是相同的。Softmax 回归的函数本身并不适合拟合训练集,其中一个原因是欠拟合($underfitting$)Continue reading

【UFLDL】Supervised Neural Networks——Multi-Layer Neural Network

监督神经网络(Supervised Neural Networks)——多层神经网络(Multi-Layer Neural Network)

考虑一个监督学习问题,即我们有机会得到带标签的训练样本 $(x^{(i)}, y^{(i)})$ 。神经网络给出了一种方式用来定义复杂以及非线性的假设形式 $h_{W,b}(x)$ ,该形式带有参数 $W, b$,这些参数可被用来拟合我们的数据。 Continue reading