深度学习必须要用英伟达的GPU么

不用写代码就能实现深度学习?手把手教你用英伟达 DIGITS 解决图像分类问题 - Hanson1 - 博客园
2006年,机器学习界泰斗Hinton,在Science上发表了一篇使用深度神经网络进行维数约简的论文 ,自此,神经网络再次走进人们的视野,进而引发了一场深度学习革命。深度学习之所以如此受关注,是因为它在诸如图像分类、目标检测与识别、目标跟踪、语音识别、游戏(AlphaGo)等多个领域取得了相当优秀的成绩,掀起了又一波人工只能浪潮。深度学习技术逐渐成为机器学习领域的前沿技术,近年来得到了突飞猛进的发展,这得益于机器学习技术的进步以及计算设备性能的提升。英伟达公司研发的图形处理器(Graphics Processing Unit,GPU),无疑为深度学习的发展提供了强有力的硬件支撑!
英伟达想必大家都有所耳闻,但对英伟达开发的深度学习训练系统(NVIDIA Deep Learning GPU Training System, DIGITS) 知之甚少,今天我们介绍如何使用DIGITS,实现基于深度神经网络的图像分类,包括数据集创建、模型创建、模型训练、模型测试等等。
面对众多的深度学习开发框架,你是不是安装配置深度学习开发框架环境中,是不是苦于码代码、调试改Bug中。那么,今天你将发现,世界上还有一款超级简单易用的深度学习平台工具,是的,这就是DIGITS。说到底,DIGITS是对现有流行深度学习开发框架的最高级的抽象封装,你所需做的只不过是点点按钮、改改参数,就能轻松实现基于深度学习模型的图像分类、目标检测、分割等任务,并以图形界面的方式展现出来。目前DIGITS支持 Caffe、Torch,7月份将开始支持Tensorflow,开发人员,正在努力工作,使其支持更多的深度学习框架,如下图所示:
DIGITS支持的深度学习框架(来自英伟达官网)
下面,让我们一起学习如何使用DIGITS,实现基于深度卷积网络的手写体图像分类任务,让我们一起成为人工智能时代的弄潮儿!
&&DIGITS安装
由于本文重点介绍如何使用DIGITS实现深度学习图像分类,这里仅给出安装参考与注意事项。
现今,DIGITS已经有了三种安装姿势:
●&Ubuntu 包管理器
●&源码编译
具体请移步&NVIDIA DIGITS Installation(https://github.com/NVIDIA/DIGITS#installation)。2015年时,DIGITS出道时还只有源码安装方式,时隔一年竟然有了 deb 安装方式,果断试用,按照官方说明分分钟安装完毕~.~
注:Ubuntu16.04下安装Caffe,会有比较多的坑,跳进去再跳出来就行了,不过,对于初学者,可能得几个小时,甚至几天的时间才能跳出来。
无论哪种安装姿势,都要确保有以下核心实料:
●&装有GPU卡的PC机(有服务器更好);
●&Linux系统(建议Ubuntu,本文 Ubuntu16.04 LTS);
●&CUDA驱动(本文版本8.0,Linux版有 run 和 deb 两种安装包,前者需要卸载系统自带驱动,一不小心可能就进不去图形界面了,需谨慎 ,具体安装方法,参见英伟达官方安装手册)或自行搜索;
●&深度学习框架:如 Caffe, CNTK, TensorFlow, Theano and Torch 等其中的一种或多种(目前支持Caffe和Torch);
Ubuntu deb 包安装
很简单,打开终端(快捷键 Ctrl + Alt + T),执行如下命令,既可以自动安装 digits, caffe-nv, torch7-nv, libcudnn,其中,xxx-nv 是指英伟达 fork 的xxx框架版本。具体安装方法,参见:DIGITS Ubuntu Installation (https://github.com/NVIDIA/DIGITS/blob/master/docs/UbuntuInstall.md)。
DIGITS Ubuntu deb 安装命令
# For Ubuntu 16.04
CUDA_REPO_PKG=http://developer.download.nvidia.com/compute/cuda/repos/ubuntu/cuda-repo-ubuntu.61-1_amd64.deb
ML_REPO_PKG=http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu/nvidia-machine-learning-repo-ubuntu.0-1_amd64.deb
# Install repo packages
wget "$CUDA_REPO_PKG" -O /tmp/cuda-repo.deb && sudo dpkg -i /tmp/cuda-repo.deb && rm -f /tmp/cuda-repo.deb
wget "$ML_REPO_PKG" -O /tmp/ml-repo.deb && sudo dpkg -i /tmp/ml-repo.deb && rm -f /tmp/ml-repo.deb
# Download new list of packages
sudo apt-get update
# Install&
sudo apt-get install digits
DIGITS的源码可以在GitHub上找到,即这里:GitHub DIGITS (https://github.com/NVIDIA/DIGITS),具体编译构建安装过程参见:NVIDIA DIGITS Source Installation (https://github.com/NVIDIA/DIGITS/blob/master/docs/BuildDigits.md)。
安装过程若提示错误:ImportError: No module named setuptools 可以使用 sudo apt install python-setuptools 解决。
git clone https://github.com/NVIDIA/DIGITS.git
&&DIGITS使用入门
终于可以开始使用DIGITS了,首先打开你的浏览器,然后:
●&对于使用deb包安装的童鞋,在浏览器地址栏输入 http://localhost/ 访问 DIGITS server 主页;
●&对于采用其他安装方式(using digits-devserver)的童鞋,在浏览器地址栏输入 http://localhost:5000/ 访问 DIGITS server 主页;
现在开始吧!DIGITS server主页界面如下,可见使用DIGITS做深度学习应用,非常简单明了人性化,就是点点按钮的事;点击图中Images下拉菜单按钮,可以看到,如今DIGITS已经支持&图像预处理、分类、目标识别、分割:等多种学习任务。
DIGITS Server Home 页简介
废话少说,开始正题,使用 DIGITS ,基本分三步:
●&第一步:准备并创建数据集
●&第二步:设计并创建任务模型
●&第三步:训练测试模型
下面以手写体分类为例,说明如何利用 DIGITS,轻松实现基于深度学习中的卷积神经网络的图像分类任务。
&&使用DIGITS实现基于深度学习的图像分类
●&数据集:手写体数据集&MNIST:含 0~9 十个数字,60000个训练样本,10000个测试样本;
●&网络模型:卷积神经网络&LeNet-5:一种卷积神经网络。
详情参见&Yann LeCun 主页。
下载MNIST数据集
你可访问上述数据集链接下载并解压数据,也可以使用 DIGITS 提供的数据集下载工具直接下载解压数据,数据会被下载到你指定的目录下(yourdir),本文中:
python -m digits.download_data mnist ~/yourdir/mnist
下载完成后,在你指定的目录下可以看到如下文件:
创建数据集
在DIGITS server Home页,以此选择 Datasets & New Dataset & Images & Classification ,然后随便取个用户名(username),提交(Submit),在弹出的页面中,按下图所示填写数据集信息。
DIGITS MNIST 数据集创建页面
创建完成后,可以在MNIST数据集页面查看验证数据集信息,如下图所示:
创建好的MNIST数据集页面
创建好的MNIST数据集的训练集统计信息如下图所示:
训练集统计信息——频率直方图
我们使用经典的LeNet模型来实现手写体图像的分类,LeNet是一个卷积神经网络,它依次包含一个输入层(INPUT)、卷积层(C1)、池化层,也叫下采样层(S2)、卷积层(C3)、下采样层(S4)、卷积层(C5)、全连接层(F6)和一个输出层,由于有0~9个数字,所以输出层的神经元的个数是10。这么复杂的结构,宝宝得写多少行代码,宝宝不想当程序猿 ~,~
用于手写体分类的LeNet网络结构
然而,你不用担心,使用DIGITS,你只需要点点按钮,改改参数即可,由于是经典模型,这里连该参数都不用,点按钮就行了。点击左上角的 DIGITS 按钮,返回主页,此时,可以看到数据集(DataSets)页面多了个刚刚创建的MNIST数据集。依次选择 Models & New Model & Images & Classification 弹出模型设置界面,依次按如下步骤操作:
●&在Select Dataset 区选择 “MNIST” 数据集;
●&在下面的Standard Networks 标签页选择Caffe 版的 LeNet network;
●&选择GPU;
●&给模型命个名字;
●&点击 Create 按钮创建模型
如下图所示:
用于手写体分类的LeNet网络模型训练与测试设置
当然,你也可以设置训练代数、验证间隔(代数)、优化方法、学习率等参数。
创建完模型后,DIGITS 开始网络的训练,并实时显示训练损失、验证损失、验证正确率、学习率变化、GPU资源占用等信息,如下图所示,非常直观和友好,有木有,~.~
DIGITS MNIST LeNet分类网络训练过程图
喝杯咖啡,或出去溜达溜达即可!
现在到了测试你的模型的时候了,如下图所示,有三种选择:
●&Classify One:单幅图像分类,可以可视化数据、权重、隐藏层输出等;
●&Classify Many:多幅图像分类,可以查看多幅图像的分类结果统计信息;
●&Top N Predictions per Category:每类的Top N分类预测图示。
测试你的手写体分类模型
上述手写体分类模型,对数字6的某幅图像分类结果如下图所示,非常直观友好有木有,宝宝瞬间喜欢上人工智能了耶:
上述手写体分类模型,对10000个测试样本图像的分类统计结果如下图所示,哇,这么高大上的矩阵我也有了:
上述手写体分类模型,Top N分类统计结果如下图所示,宝宝决定要搞深度了,谁都不能阻挡我:
本文介绍了 DIGITS 及其安装,以及使用 DIGITS 进行图像分类的步骤与方法,包括数据集的创建、模型的创建与训练、模型测试等等。总结起来,使用DIGITS做深度学习应用,简直就是点点点,免去了使用Caffe等其它框架繁琐的环境配置、枯燥的码代码 Debug 的过程,你不需要去学习Python等语言,你甚至都不需要了解模型算法原理,就能轻松享受深度学习的乐趣,这一切 DIGITS 都已经为你做好,简直太爽啦!~.~ ~.~ ~.~
如果你不是程序猿,如果你不了解深度学习,如果你不知道选择何种深度学习框架,如果你不想把精力耗费在码代码上,而你却非常想了解深度学习,以至于你想成为人工智能时代的弄潮儿,那么DIGITS是你最好的入门选择!生活原本很简单,为什么要过得复杂呢?
如果你已经迫不及待地想在 DIGITS 上一试身手,如果你想找个深度学习“老司机”领路,如果你有诸多深度学习技术相关的难题有待解决,那么这里正好有个绝佳的机会:
7 月 8 日,在第二届 CCF-GAIR 2017 全球人工智能与机器人峰会上,雷锋网将联合英伟达深度学习学院(Deep Learning Institute,DLI),面向 AI 技术从业者,特别推出一个深度学习开发者专场。对深度学习和英伟达 GPU 加速感兴趣的开发者们,可以通过这次活动跟英伟达官方认证工程师来一次面对面的技术畅谈。
具体议程安排如下:
目前,开发者专场门票正在火热售卖中,只需&999元&即可获得与英伟达官方深度学习团队现场交流的机会,数量有限,售完即止,各位对深度学习感兴趣的 AI 从业者们千万不可错过!(悄悄告诉你,使用优惠码还有&200元&折扣哦)
阅读(...) 评论()英伟达:只能使用Tesla做深度学习英伟达:只能使用Tesla做深度学习IT之家百家号IT之家12月26日消息 最近,英伟达悄悄的修改了用户许可协议,禁止在数踞中心使用消费级别显卡Geforce做深度学习,换句话说就是,只能使用英伟达旗下高端Tesla系列去做深度学习,Tesla系类的价格是GeForce价格的数倍,深度学习的发展迅猛已经让英伟达获得了更多的利润,然而英伟达却说,想要继续研究深度学习?对不起,要涨价了。日本公司Ubiquitous Entertainment总裁兼首席执行官清水亮撰文,指责英伟达悄然修改终端用户使用协议,禁止在数据中心使用GeForce软件,并称这一改动将会影响广大的深度学习研究者和开发人员。准确的说不是不允许在数据中心使用GeForce显卡,而是禁止在数据中心授权配套软件,换句话说就是,你还是可以正常买显卡,但是不能用作深度学习,目前,英伟达可以说是全世界唯一提供足够多运算函数来做深度学习的半导体公司,英特尔虽然也在努力追赶,但是现在也只是处于追赶的状态。有人专门做了对比,统计了训练的平均时间,Tesla在标准测试中胜过了GeForce,毕竟价格在这摆着,但是,也只获得了1.25倍的加速,或者说,训练时间相较于GeForce减少了20%,整体差距不是很大,但是价格方面,Tesla是GeForce的数倍,所以综合来看,GeForce无疑是最具性价比的方案,好在此次限制的只是商业用户,研究所或者是高校不会受什么影响,但是商业用户可能就要难受了。当一个市场只存在一家企业有绝对优势的时候,往往这家企业都会采取其他措施,来让自己的利润最大化,英伟达便是如此,相信这项规定也会给深度学习带来不小的冲击。想看到更多这类内容?去APP商店搜IT之家 ,天天都有小欢喜。本文由百家号作者上传并发布,百家号仅提供信息发布平台。文章仅代表作者个人观点,不代表百度立场。未经作者许可,不得转载。IT之家百家号最近更新:简介:IT之家,爱科技,爱这里。作者最新文章相关文章&&&&机器学习
工业与学术界的数据科学家已将 GPU 用于机器学习以便在各种应用上实现开创性的改进,这些应用包括图像分类、视频分析、语音识别以及自然语言处理等等。 尤其是深度学习,人们在这一领域中一直进行大力投资和研究。深度学习是利用复杂的多级「深度」神经网络来打造一些系统,这些系统能够从海量的未标记训练数据中进行特征检测。&
虽然机器学习已经有数十年的历史,但是两个较为新近的趋势促进了机器学习的广泛应用: 海量训练数据的出现以及 所提供的强大而高效的并行计算。&
人们利用 GPU 来训练这些深度神经网络,所使用的训练集大得多,所耗费的时间大幅缩短,占用的数据中心基础设施也少得多。&
GPU 还被用于运行这些机器学习训练模型,以便在云端进行分类和预测,从而在耗费功率更低、占用基础设施更少的情况下能够支持远比从前更大的数据量和吞吐量。
将 GPU 加速器用于机器学习的早期用户包括诸多顶级规模的网络和社交媒体公司,另外还有数据科学和机器学习领域中一流的研究机构。 与单纯使用 CPU 的做法相比,GPU 具有数以千计的计算核心、可实现 10-100 倍应用吞吐量,因此 GPU 已经成为数据科学家处理大数据的首选处理器。
针对机器学习应用的基准测试
"借助 GPU,预先录制的语音或多媒体内容的转录速度能够大幅提升。 与 CPU 软件相比,我们执行识别任务的速度最高可提升 33 倍。"
Ian Lane 教授, 卡耐基梅隆大学
了解其他数据科学家如何推进自己在机器学习领域中的工作,了解工具、软件架构以及计算配置等有助于自己快速入门的信息。
: 用于脑回神经网络算法的架构
: 脑回神经网络的高性能 C++/CUDA 软件实施
:&用于定义、优化以及评估数学公式的 Python 库
: 用于机器学习算法的科学计算架构&
: GPU 加速版本的完整标准 BLAS 库
: 简单易用的 HPC 语言集成计算、可视化以及编程
:&神经网络工具包
SlashGear:
tom's Hardware:
EnterpriseTech:
(Rob Fergus, Facebook/纽约大学)
(Adam Coates, 斯坦福大学)
(Dan Ciresan, 瑞士人工智能研究所)
(Wonkyum Lee, 卡耐基梅隆大学)
Zeiler, Clarifai)
Sato, Hideki Niihara, Denso IT 实验室)
(Alexander
Shcekalev, Yandex)
(John Canny,
加州大学伯克利分校)
(Jessica Ray, 麻省理工学院林肯实验室)
白皮书: (Adam
Coates, 斯坦福大学)
(Alex Krizhevsky, IlyaSutskever, Geoffrey Hinton, 多伦多大学)
(OmryYadan, Keith Adams YanivTaigman, Marc Ranzato, Facebook)
(Pierre Sermanet, David Eigen, Xiang Zhang, Michael Mathieu,
Rob Fergus, YannLeCun, 纽约大学)
(Dan Ciresan, 瑞士人工智能研究所)
(Bryan Catanzaro, NVIDIA)
2 颗 NVIDIA Tesla K40 GPU 加速器
8 颗 NVIDIA Tesla K40 GPU 加速器
2 颗 Intel 至强 CPU (8 核或更高级别)
2 颗 Intel 至强 CPU (8 核或更高级别)
64 GB 系统内存
256 GB 系统内存
如需了解如何购买 GPU 加速器,敬请访问 页面。
订阅 NVIDIA 最新消息英伟达新禁令:不能随便用GeForce显卡跑深度学习(挖矿可以)
本文经AI新媒体量子位(公众号ID:qbitai )授权转载,转载请联系出处
维金 允中 发自 凹非寺
量子位 出品 | 公众号 QbitAI
正值西方国家欢度佳节之时,一份英伟达的surprise终于被发现。
是一条关于GeForce的禁令。
这款备受AI“炼丹”群众喜爱的显卡,以后不能随便用来搞深度学习了。
根据德国科技媒体golem.ded报道,英伟达前不久更新了最终用户协议,所有的GeForce系列显卡(包括Titan)都不能在数据中心跑深度学习。
也就是说,基于GeForce和Titan芯片的深度学习云服务器,从此别过。
这不是演习!英伟达已经在日本开始行动了。
日本的云服务商樱花公司,就在公告中表示已经收到英伟达的通知,已经暂停提供Quad GPU的购买服务,这个服务使用的是Titan X处理器。
责任编辑:
声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
今日搜狐热点社会化媒体
了解更多>>
桂ICP备 号
阅读下一篇
自媒体运营攻略
行业经验交流
Hi,在你登录以后,就可以永久免费的收藏任何您感兴趣的内容,关注感兴趣的作者!
手机注册或邮箱注册
点击按钮进行验证
请输入正确的邮箱
已有帐号请点击
帐号创建成功!
我们刚刚给你发送了一封验证邮件
请在48小时内查收邮件,并按照提示验证邮箱
感谢你对微口网的信任与支持
你输入的邮箱还未注册
还没有帐号请点击
点击按钮进行验证
你输入的邮箱还未注册
又想起来了?
你已成功重置密码,请妥善保管,以后使用新密码登录
邮件发送成功!
我们刚刚给你发送了一封邮件
请在5分钟内查收邮件,并按照提示重置密码
感谢你对微口网的信任与支持
对不起,你的帐号尚未验证
如果你没有收到邮件,请留意垃圾箱 或
意见与建议
请留下您的联系方式
* 留下您正确的联系方式,以便工作人员尽快与你取得联系
转藏至我的藏点}

我要回帖

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信