利用均匀分布生成其他分布随机数、蒙特卡罗方法原理


需要利用计算机生成指定连续分布的随机数,比如指数分布、正态分布、伽马分布等,一般我们会用相同数量的[0,1]之间均匀分布的随机数去生成其他形式连续分布随机量,而针对生成正态随机数我们有中心极限定理的存在,可以更方便的生成。
数学建模

利用线性空间、子空间实现线性回归问题


线性回归有许多建模方法可以解决,比如最小二乘法、神经网络等,本篇介绍基于线性代数利用向量、空间概念快速求解线性回归问题,掌握本章知识点后可以利用有些结论解决如函数逼近问题。
数学建模

多项式逼近连续函数


拓展子空间的概念,空间的元素是函数称之为函数空间,这个空间里面有我们熟悉的各种函数以及这些函数的线性组合。函数空间里的子空间是一系列性质相似的函数集合,比如三角函数可以组成一个子空间,由数学分析知道利用三角函数可以实现傅里叶变换,将其他函数表示为三角函数线性组合成的级数形式。本文中选取的空间是一个多项式空间,即其空间里基是x0,x1,x2,x3,...xn...等多项式,需要将其他函数投影到这个子空间里,其运用的知识还是来自于线性代数
数学建模

函数梯度与隐函数


梯度是函数的定义域中的一个向量,该向量指向的方向是函数值变大的最快方向,相应的梯度的反方向则是函数变小的最快方向,与梯度配合使用的是函数的等值线,从几何角度来说,梯度是两条等值线之间指向最短距离的一条向量,最优化问题中常需要使用梯度来求函数的最值,从算法角度来说深刻理解梯度有着重要的意义
数学建模

傅里叶变换


傅立叶变换,表示能将满足一定条件的某个函数表示成三角函数(正弦和/或余弦函数)或者它们的积分的线性组合,傅里叶变换的核心是从时域到频域的变换,信号处理、偏微分方程、热力学、概率统计等领域都有重要的应用。
数学建模

基变换、线性变换与pca主成分分析


pca全称是Principle component analysis,译为主成分分析,比如我们描述一个人信息时会用体重、身高、发型、爱好、收入、职业等信息,而将一个人按性别分类时体重、身高、发型基本可以确定一个人是男是女。例如我们说一个女孩子是假小子,可能这个女孩有一个板寸头,身材很高,我们从众多属性中选取一两个,而无需其他属性作为参考就确定了一个分类,pca就是这样一个处理数据常用手段,即利用较少的属性对一组数据产生分类,很明显pca是一个降维的数据处理手段
数学建模

信息熵、交叉熵、相对熵原理与softmax函数的应用


信息熵在人工智能领域有着举足轻重的作用,尤其在分类的算法中,可利用其特性设计损失函数推导出最优数学模型;softmax函数是一种处理数据手段,一般会出现在模型,比如各种神经网络的最后一层,经过softmax函数处理后即可把任意数据(一般表现为向量) 处理成概率形式,从而可以用交叉熵的方法得到与真实分布之间损失,进而优化模型参数。
数学建模

EM期望最大化算法


EM(Expectation-maximization algorithm)翻译为期望最大化算法,是数据挖掘的十大算法之一,主要解决的是当含有隐含变量时,如何利用最大似然法求解未知参数。现实中会遇到多个数据混杂在一起,这个多个类别数据虽然是一个概率分布,但数学期望或方差不同,每次取得一个数据时也不知道这个数据是哪个类别下,每个数据属于哪个类别的信息是一个隐含变量,遇到这种情况时我们不能直接用最大似然法。EM算法中文名称中就已经说明了算法过程,即先求出数学期望的函数,然后求其最大值,逐步求出未知参数
数学建模

单纯形法 


单纯形法是线性规划问题数值求解的流行技术,转轴操作是单纯形法中的核心操作,其作用是将一个基变量与一个非基变量进行互换,可以将转轴操作理解为从一个凸集上的一个顶点走向另一个顶点,单纯形法的基本思想是先找出一个基本可行解,对它进行鉴别,看是否是最优解;若不是,则按照一定法则转换到另一改进的基本可行解,再鉴别;若仍不是,则再转换,按此重复进行。
数学建模

SVD奇异值分解


SVD 奇异值分解是一种提取信息的强大工具,奇异值分解在数据降维中有较多的应用,它提供了一种非常便捷的矩阵分解方式,能够发现数据中十分有意思的潜在模式。
数学建模

矩阵/向量/标量间相互求导


矩阵、向量本质是多元函数求导,在机器学习、统计学中大量使用向量对向量求导、向量对标量求导、矩阵对矩阵求导等,熟练掌握矩阵、向量求导是学习人工智能算法必备技能。
数学建模