庞伟,本次汇报的内容为梯度下降算法的概述,梯度下降(gradient descent)在机器学习中应用十分的广泛,不论是在线性回归还是Logistic回归中,它的主要目的是通过迭代找到目标函数的最小值,或者收敛到最小值。在机器学习的优化算法中有着广泛的应用。
庞伟,本次汇报的内容为PCA主成分分析算法,机器学习的很多算法复杂度和数据的维数有着密切关系,甚至与维数呈指数级关联。实际机器学习中处理成千上万甚至几十万维的数据并不罕见,在这种情况下,机器学习的资源消耗是不可接受的,因此就会对数据采取降维的操作。降维就意味着信息的丢失,不过鉴于实际数据本身常常存在相关性,所以在降维时想办法降低信息的损失。PCA就是解决这类问题的算法。
庞伟,本次汇报内容为EM(最大期望算法)算法,最大期望算法(Expectation-maximization algorithm,又译为期望最大化算法),是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐性变量。EM算法是一种迭代算法,1977年由Dempster等人提出,用于含有隐变量的概率模型参数的极大似然估计。