本文转载自c++总结。
匆匆年华
2022年2月28日,战争、瘟疫同时出现。愿和平。
面试之leetcode算法
机器学习之贝叶斯算法
贝叶斯定理: \[ P(A \mid B)=P(A) \frac{P(B \mid A)}{P(B)} \]
菜谱
记录日常所需的菜谱。
linux相关命令
linux与nvidia显卡相关命令
- 查看linux系统信息
uname -m && cat /etc/*release
- 查看linux的kernel版本
uname -r
- 查看nvidia显卡版本
lspci | grep -i nvidia
- 查看nvidia显卡驱动版本
cat /proc/driver/nvidia/version
或者nvidia-smi
- 查看可用的显卡驱动
ubuntu-drivers devices
- 安装推荐的显卡驱动
sudo ubuntu-drivers autoinstall # //安装推荐的显卡驱动
- 安装指定的显卡驱动
sudo apt install nvidia-XXX #//安装制定的显卡驱动
- 卸载显卡驱动
sudo /usr/bin/nvidia-uninstall
或者sudo apt-get install autoremove --purge nvidia*
Pytorch源码阅读(四):优化器(Optimizer)
注:笔者阅读的pytorch版本为1.7.0,torchvision版本为0.6
前言
本文主要通过Pytorch中的源码来总结了深度学习中几种常用的优化器,介绍其设计原理,优缺点等。
对于最优化问题,采用深度学习进行建模,大家基本是用梯度下降 (Gradient Descent) 的方法去更新模型的参数,使通过损失函数计算出在验证集上的损失不断减小,达到优化模型的目的。为了解决梯度下降存在的一些问题,达到较优的结果,提出了SGD、Momentum、AdaGrad、RMSProp、Adam等优化器(Optimizer),以及更先进的一些算法,但基本的框架其实还是梯度下降,所以先熟悉基本框架,再在框架的基础上加一些东西,这样比较便于理解整个发展过程。
神经网络矩阵分析
用矩阵推导网络。
numpy熟记
需要熟记的python知识和技巧。
神经网络BN层学习及理解
学习神经网络中BN层。