Tag Archives: Large Scale Machine Learning

【MachineLearning】Large Scale Machine Learning——Online Learning

在这个课程中,我将会讨论一种新的大规模的机器学习机制,叫做在线学习机制(Online Learning)。在线学习机制让我们可以模型化问题,在拥有连续一波数据或连续的数据流涌进来,而我们又需要一个算法来从中学习的时候来模型化问题。

今天,许多大型网站或者许多大型网络公司,使用不同版本的在线学习机制算法。从大批的涌入又离开网站的用户身上进行学习。特别要提及的是,如果你有一个由连续的用户流引发的连续的数据流,进入你的网站,你能做的是使用一个在线学习机制。从数据流中学习用户的偏好,然后使用这些信息来优化一些关于网站的决策。 Continue reading

【MachineLearning】Large Scale Machine Learning——Stochastic Gradient Descent Convergence

现在你已经知道了随机梯度下降算法。但是当你运行这个算法时,你如何确保调试过程已经完成,并且能正常收敛呢(近似地监测出随机梯度下降算法在最优化代价函数中的表现)?还有,同样重要的是,你怎样调整随机梯度下降中学习速率α的值?在本课中, 我们会谈到一些方法来处理这些问题,确保它能收敛,以及选择合适的学习速率α。 Continue reading

【MachineLearning】Large Scale Machine Learning——Mini-batch Gradient Descent

在之前的课程中,我们讨论了随机梯度下降(Stochastic Gradient Descent)以及它是怎样比批量梯度下降(Batch Gradient Descent)更快的。

在本节课程中,让我们讨论基于这些方法的另一种变形方法叫做小批量梯度下降(Mini-batch Gradient Descent),这种算法有时候甚至比随机梯度下降还要快一点。 Continue reading

【MachineLearning】Large Scale Machine Learning——Stochastic Gradient Descent

对于大多数学习算法,比如线性回归(Linear Regression),逻辑斯特回归(Logistic Regression),神经网络(Neural Network),算法是通过构造一个成本函数(Cost Function)或优化目标(Optimization Objective)来进行的。之后使用一个类似梯度下降(Gradient Descent)的算法来最小化我们的成本函数(Cost Function)或目标。

由于非常大的训练集,使得我们的梯度下降算法在算法任务上会变得异常繁重。本课中,①我们将会对基本的梯度下降算法(Basic Gradient Descent)进行修改,从而得到一个叫做随机梯度下降(Stochastic Gradient Descent)的算法,同时②讲了随机梯度下降(Stochastic Gradient Descent)和批量梯度下降(Batch Gradient Descent)的区别,以及③随机梯度下降一般的外层循环次数,通过它(随机梯度下降)可使我们使用更大的训练集。 Continue reading

【MachineLearning】Large Scale Machine Learning——Learning With Large Datasets

在本章的课程中,我将会讲到涉及大尺度(Large scale)机器学习,即在大数据集下的机器学习算法。如果你观察近五到十年的机器学习历史,使得学习算法表现得更好的一个原因是我们有了庞大的数据(sheer amount of data),以供我们训练算法。

Ps:在下几节课程中,我们都将会讲应对大数据集(massive data sets)的算法(包括两个idea,随机梯度下降和Map Reduce)。本节课算是本章(Large Scale Machine Learning)的导学,主要讲了通过绘制和观察Jtrain(θ)和Jcv(θ)曲线,来进行大规模数据下的小样本检测(checkContinue reading