深度学习的基础

自我感悟

Posted by koryako on December 1, 2018

寄语: 孩儿们,操练起来!!


2016年10月开始接触人工智能技术,暂且把他叫做深度学习,因为离 AGI通用人工智能 还有段距离。

目前记录了一些笔记和一些新的技术需要记录下来,包括:深度学习的基础-线性回归、梯度下降、误差和成本函数等

一、概述 智能=常识(知识库)+感知+记忆+预测+推理+规划

二、数值计算

让我们开始从神经网络开始,人脑里有亿万神经元,神经元又彼此链接,如下图每个神经元都有自己的值,每个神经元都有自己的权重或者叫概率,这个概率是可以通过自我学习得到,这种学习叫做训练!

权重

我可以把上图转换为一个公式

公式 每个输入x和自己的权重W相乘然后相加。这是加权的算法

然后我们对这个和的值设置一个阀值,用于计算这个阀值的函数称为激活函数

激活函数sigmoid

除了sigmoid 激活函数还有 tanh 和 Relu (rectified linear unit)

tanh

relu

三、深度学习算法 a)RNN循环网络

循环神经网络公式如下

s=fh=tanh(Whi*X+b1)  求出当前输入层到隐藏层

o=fo=softmax(Woh*S+b2) 求出输出层

St=tanh(WhiXt+WhhSt-1+b1)  加上一次的隐藏层S,当前隐藏层+上一个时刻的St-1 的加权,使用权重状态转换,或者说这个权重去学习上次到这一次的状态

Ot=softmax(Woh*St+b2) 当前状态到输出

Whi=输入层到隐藏层的权重矩阵

Woh=隐藏层到输出层的权重矩阵

Whh=隐藏层到隐藏层的权重矩阵

b)CNN卷积网络 c)增强学习 d)进化算法

四、基建 分布式计算 自动深度学习 automl

五、应用 AIGC(语音识别、视频配音、视频预测与补帧)

人机对话系统,好吧!我还在研究!

2023/2/2 更新 chatGPT 强势来袭,目前有Unity 版本的,还有语音版本非常牛

六、边缘计算 移动和嵌入式

附录:

变换道路场景 变换道路场景-视频版本 高清人脸合成 超参搜索 图网络

http://robots.stanford.edu/teichman/

语音识别

新技术包括自动驾驶 wellcar 项目,这个项目只有一个架子,参考了一些BAT巨头的程序架构, apollo 百度无人车项目,不是JAVA 的apollo ,网站戳这里!