CNTK中LightRNN项目训练时出错

项目地址:https://github.com/Microsoft/CNTK/tree/release/latest/Examples/Text/LightRNN

环境要求:CNTK,python 2.7及以上

操作说明可以看 README.md, 大致过程就是预处理,然后训练模型

训练模型执行 python train.py -datadir ../PTB/Data -vocab_file ../PTB/Allocation/vocab.txt -vocabdir ../PTB/Allocation -vocabsize 10000 -epochs 12 13 -nhid 1000 -embed 1000 -lr 0.1 -batchsize 20 -layer 2 -dropout 0.5 命令出错,截图如下:
图片说明

经过调试定位到train.py下函数train()中的如下语句:
图片说明

VS没有显示具体的报错原因,有大神解答一下吗?刚入手,不会解决,特来求救!

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
LightRNN:高效利用内存和计算的循环神经网络
选自arXiv.org机器之心编译摘要循环神经网络(RNN)已经在许多自然语言处理任务上取得了最出色的表现,比如语言建模和机器翻译。然而当词汇量很大时,RNN 模型会变得很大(可能超过 GPU 最大的内存能力),这样训练将变得很低效。在这项工作中,我们提出一种全新的方法来解决这一挑战。其中的关键思想是使用二分量(2-Component(2C))共享的词表征的嵌入(embedding for wor
LightRNN —— 基于RNN的轻量级语言模型
2017年6月我在MSRA实习的时候,在微软内部的Talk上听过MSRA主管研究员秦涛博士讲过一篇他们团队在2016年顶会NIPS上发表的最新成果《LightRNN: Memory and Computation-Efficient Recurrent Neural Networks》。期间也有幸面对面向秦老师请教了一些论文里的问题,感觉确确实实学到了不少的东西,故写博客记录一下。之所以叫做Ligh
微软开源认知服务CNTK的测试(语音训练)
前段时间,微软开源了认知服务的工具箱,直到近期才有时间进行测试。 看了文档,这个CNTK工具包还是非常厉害的,可以支持语音识别,图像分类,机器翻译等多种任务。里面也集成了多种深度学习的模型。such as deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networ
CNTK API文档翻译(23)——使用CTC标准训练声学模型
本教程假定所有读者都完成了前10期教程,并且对声学建模的数据形式有基础的了解。本教程介绍了CNTK种可以用于训练以CTC(Connectionist Temporal Classification)训练准则为例的语音识别深度神经网络的模块。介绍CNTK实现的CTC基于A. Graves等人发表的论文“Connectionist temporal classification: labeling un
CNTK工具使用总结
CNTK工具使用总结
【CNTK】CNTK学习笔记之modelDir
因为要用到图像识别,所以看的他CNN网络 cntk\Examples\Image\MNIST\Config\02_Convolution.cntk 先看配置文件:rootDir = ".."configDir = "$rootDir$/Config" dataDir = "$rootDir$/Data" outputDir = "$rootDir$/Output" modelDir = "
CNTK API文档翻译(18)——多对多神经网络处理文本数据(2)
(本期教程需要翻译的内容实在是太多了,将其分割成两期,上期主要讲理论和模型创建,本期主要讲训练、测试、优化等)训练在我们开始训练之前,我们将定义训练封装器、贪婪解码封装器以及用于训练模型的准则函数。首先是训练封装器。def create_model_train(s2smodel): # model used in training (history is known from labels)
CNTK起步-设置与demo
1,下载预编译版,(CNTK官网:http://www.cntk.ai/  CNTK的Github地址:https://github.com/Microsoft/CNTK) 没有英伟达下载纯cpu版本,https://github.com/Microsoft/CNTK/releases,当前版本: CNTK version 2.0 Beta 1 2,解压,添加环境变量:C:\local
【CNTK】CNTK框架下完整的vgg模型训练及保存
由于工作开发需要与c#衔接,而cntk又是微软旗下的,所以花了几个月学习了一下。在整个模型的设计过程中,由于是主考虑框架,所以对vgg实现原理等不做过多思考。考虑的主要是: 1.如何创建CNTK可读取的数据集 2.vgg模型的实现 3.整个训练实现过程 1.如何创建CNTK可读取的数据集 创建可读的数据集主要是将文件夹下的图像路径批量写入到txt文件夹中,根据自己分配,生成train.txt、va...
【CNTK】CNTK学习笔记之图像识别-树叶识别Train and Test
CNTK,OpenCV,卷积神经网络的图像识别实战。
CNTK API文档翻译(12)——CNTK进阶
这篇教程展示了CNTK中一些比较高级的特性,目标读者是完成了之前教程或者是使用过其他机器学习组件的人。如果你是完完全全的新手,请先看我们之前的十多期教程。欢迎来到CNTK。深度神经网络正在重新定义计算机编程。在命令式编程、函数式变成和申明式变成之外,我们有有了一种完全不同的编程方式,这种方式是有效的从数据中学习程序。CNTK是微软产品部门在所有产品中创建深度模型的首选工具,这些产品包含语音识别、机器
【CNTK】CNTK学习笔记之应用卷积神经网络模型进行数据预测
跳坑里爬了三天,爬不出来了。VS2013新建CPP工程,把 \cntk\Examples\Evaluation\CPPEvalClient\CPPEvalClient.cpp 拷贝到工程里,在项目上右键->属性,分别设置 VC++目录: 包含目录->\cntk\Include 库目录->\cntk\cntk 链接器 输入->附加依赖项->EvalDll.lib代
深度学习和深度学习框架CNTK入门(一)
深度学习和深度学习框架CNTK入门(一) 深度学习介绍 是基于机器学习延伸出来的一个新的领域,由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展,并伴随大数据和计算能力的提高而产生的一系列新的算法。 学习能用来干什么?为什么近年来引起如此广泛的关注?           深度学习,作为机器学习中延伸出来的一个领域,被应用在图像处理与计算机视觉,自然语言处理以及语音识
win10搭建cntk环境并使用fastRcnn实现目标检测
准备阶段,在这里我是基于anaconda进行安装的,所以首先去anaconda官网下载anaconda3,最好下载anaconda3,因为听说numpy库貌似不支持python2了,官网上有三个版本,windows,linux以及mac版,我们下载windows版即可,链接如下:https://www.anaconda.com/download/。接着下载cntk的工具包,在这里需要强调的是,我觉
深度学习(一):Windows下CNTK的安装与配置
CNTK是微软开发的一个开源深度学习平台,最大的特点是高效率,据微软的测试,CNTK的性能要远超Theano、Tensorflow、Caffe等等这些平台。配置CNTK既可以自己编译,也可以用已经编译好的文件,推荐使用已经编译好的,方便快捷。此外Tensorflow只能在Linux系统上使用,Theano的功能又不够强大,因此CNTK是一个比较好的选择。 配置过程: 下载CNTK预编译
百度PRNN:增强GPU伸缩性,RNN训练最高提速30倍(源码下载)
尽管有各种深度学习加速器,神经网络的大小依然受限于计算平台的能力。百度硅谷人工智能实验室高级研究员Greg Diamos在最近的ICML 2016上发表了一篇PRNN(Persistent RNNs)的论文(相关英文访谈),介绍了他在深度学习平台GPU可扩展性方面的最新工作。但在此之前,Greg Diamos已经在Github上发布一篇博客文章简要解释了PRNN的工作和效果,本文为这篇文章的译
用python生成与调用cntk模型代码演示
由于一些原因,视频录制要告一段落了。再写一篇关于cntk的文章分享出来吧。我也很想将这个事情进行下去。以后如果条件允许还会接着做。 cntk2.0框架生成的模型才可以支持python。1.0不支持。 python可以导入cntk.exe生成的框架,也可以导入python调用cntk生成的框架。举两个例子: 1导入cntk.exe生成的框架。from cntk.ops.functions imp
CNTK API文档翻译(10)——使用LSTM预测时间序列数据
本篇教程展示如何用CNTK构建LSTM来进行时间序列数据的数值预测。目标我们使用一个连续函数的模拟数据集(本例使用正弦曲线)。对于函数y=sin(t),我们使用符合这个函数的N个值来预测之后的M个值。 在本教程中我们将使用基于LSTM的模型。LSTM比较擅长从以往的数据中学习,因此比较适合我们的教程。本教程分为三个部分: 生成模拟数据 构建LSTM网络模型 模型训练和评估 LSTM数据已经在很多真
centos7 安装CNTK遇到的问题
centos7安装cntk的方法如下: 1. 根据python环境选择相应的版本      https://docs.microsoft.com/en-us/cognitive-toolkit/Setup-Linux-Python?tabs=cntkpy231 2. 执行如下命令,url是相应cntk版本的路径 $ pip install 3.测试安装结果 >>> i
从三大神经网络,测试对比TensorFlow、MXNet、CNTK、Theano四个框架
  本文比较了 Keras 支持的主流深度学习框架性能,包括 TensorFlow、CNTK、MXNet 和 Theano,作者希望通过使用同一模型和不同的 Keras 后端,而测试不同框架在不同类型任务中的性能。本文通过五个任务分别测试了 MLP、CNN 和 RNN 模型,机器之心不仅对该试验进行了介绍,同时还使用 Keras(TensorFlow 后端)在 MNIST 数据集上试运行了 CN...
CNTK API文档翻译(24)——使用深度迁移学习进行图像识别
本教程展示了如何在已经训练好的模型中使用迁移学习(Transfer Learning)以及如何用于你自己的领域。本教程需要你的电脑安装了支持CUDA的GPU。问题这里有一些花的图片,你需要给他们分类,下面的图片展示了数据中的一些样本数据。 在本教程的14期中我们有介绍用于图像识别的残差神经网络,但是关于花朵的图片数量远远小于训练残差神经网络需要的数据量。我们有的只是足够数量的自然场景的图片,如下图
CNTK学习(一)
参考 用 CNTK 搞深度学习 (一) 入门 2.
CNTK API文档翻译(6)——对MNIST数据使用多层感知机
在看本期教程之前需要先完成第四期教程。本期教程我们将使用MNIST训练多层感知机神经网络(感知机的详情可以看我Python与人工神经网络系列的第二期)。介绍(同上期,本期略)数据读取(同上期,本期略)模型创建我们的多层感知机神经网络只有两层隐藏层(num_hidden_layers),每层的节点数使用变量hidden_layers_dim表示。下图说明了本教程在处理MNIST数据时的建模说明。 (
使用TensorFlow Slim微调模型出错
在学习《21个项目玩转深度学习》这本书时,第三章使用TensorFlow Slim微调模型遇上了一个问题。 运行: python train_image_classifier.py \ --train_dir=satellite/train_dir \ --dataset_name=satellite \ --dataset_split_name=train \ --dat...
CNTK安装
参考CNTK Binary Download and Configuration 1. sudo apt-get install g++ 2. 确保openmpi的安装版本:dpkg -l | grep openmpi 参考MPI error while compiling 3. wget https://www.open-mpi.org/software/ompi/v1.10/down
BrainScript的基本概念
BrainScript的基本概念 BrainScript漫步本节介绍“brainscript”语言的基本概念。一种新的语言?不要担心,这是非常直接的。 在CNTK中,在CNTK网络描述语言”brainscript”中描述使用BrainScriptNetworkBuilder来定制网络定义 。同样,网络的描述被称为”brainscript”。 brainscript提供了一种简单的方式来定义
caffe断点训练
./build/tools/caffe train -solver example/mnist/lenet_solver.prototxt -snapshot example/mnist/lenet_iter_5000.solverstate
CNTK API文档翻译(14)——实验图像识别
这个动手实验展示了如何使用CNTK Python API中的卷积神经网络实现图像识别。本教程将从最简单的前馈卷积神经网络实现CIFAR数据集分类开始,之后会一点点的往我们的神经网络里面加入高级特性。最后你将实现一个VGG神经网络和残差神经网络(Residual Network),就想赢得ImageNet比赛的神经网络一样,只不过规模更小。介绍在本次实验中,你将练习如下类容: 理解CNTK中用于图像分
基于Anaconda3环境下的CNTK安装
安装环境: operating system: Ubuntu16.04 cuda version: 9.1 cuDNN version: 7.0 python version: 3.5 CNTK version: 2.4 为了避免冲突,我们选择把CNTK安装在虚拟环境中 可以选择python的pyenv 和 virtualenv 或者 anaconda3自带的conda 这里我使用的...
CNTK入门新人必看【很多人不懂的基础问题】
CNTK是用C++写的深层神经网络工具集,就目前的趋势来看,google类库虽然人气众多,但是不重视抢占windows市场,估计以后windows平台下面,还是微软的cntk做老大的地位。 CNTK虽然支持C++,c#的调用,但是仍然离不开Python和BrainScript,参考CNTK当前支持的模型列表    要首先用Python和BrainScript生成模型,处理下输入流,然后用C++
FastRCNN 训练自己数据集(三)——训练和检测
怎么来训练网络和之后的检测过程
CNTK API文档翻译(16)——增强学习基础
增强学习(RL,Reinforcement learnin)是一个由行为心理学衍生出来的机器学习领域,主要是有关软件代理如何在一个特定的环境中尽可能的获得得分。在机器学习中,为了让增强学习算法利用动态编程技术,这种环境通常被指定为马尔可夫决策过程。在有些机器学习情况中,我们不能够直接获得数据的标签,所以我们不能够使用监督学习技术。如果我们能够与学习过程进行交互,从而偶尔告诉我们一些反馈意见,无论我们
【目标检测】FastRCNN算法详解
继2014的RCNN之后,推出了FastRCNN ,构思精巧,流程更为紧凑,大幅提升了目标检测的速度。 同样使用最大规模的网络,FastRCNN 和RCNN相比,训练时间从84小时减少为9.5小时,测试时间从47秒,减少为0.32秒,在PASCAL VOC 2007上的准确率相差无几,约在66%-67%之间. 思想 基础:RCNN 简单来说,RCNN使用以下4步实现目标检...
在windows10上安装CNTK所遇到的问题
1.下载安装版本v2.5.1。使用教程https://blog.csdn.net/cvfbgh/article/details/53446910安装时,运行命令出现如下错误: 是因为使用了电脑的命令提示符进行安装的。 2.虽然powershell和cmd很类似,但还有很多不同点。cmd只能运行系统自带的命令,但powershell可以运行其他一些命令包括linux命令。两个命令提示符都各有千秋...
ubuntu-14.04 源码安装cntk笔记
linux版本安装安装环境 ubuntu14.04LTS(官方使用版本) 环境准备 安装 g++apt-get install g++安装gitapt-get install git安装ACML官网的安装版本为: 下载地址:http://developer.amd.com/tools-and-sdks/archive/amd-core-math-library-acml/acml-downloa
caffe训练过程中出现的错误
前两天又在服务器上装了一遍caffe系统,遇到的错误。。。。真的想喷几口老血 决定将之后遇到的caffe训练过程中的错误记录下来,防止一遍一遍又一遍的百度,1、 Check failed: top_shape[j] == bottom[i]->shape(j) (1 vs. 2) All inputs must have the same shape, except at concat_axis.
深度学习 CNTK使用笔记
摘要:如今,在大数据处理的过程中,人们广泛的使用的神经网络。伴随着深度学习的这股热潮,涌现出来大量可供使用的开源软件。如,Theano,caffe,kaldi,CNTK等。CNTK是微软提供的基于C++的开源工具包。可以训练DNNs、RNNs、CNNs、LTMS、罗杰斯特回归及最大熵模型,对于在做深度学习的朋友会有帮助。
模型的保存
没有深层次去看源码理解,只是会使用,大概有三种吧 1.joblib保存为.m文件,也可以保存为.pkl文件 2.pickle模块 这两种方法的区别: 1.pickle模块不能序列化lambda function.查看下面的链接可知pickle模块可序列那些类型   https://docs.python.org/3/library/pickle.html#what-
微软CNTK 2.0版本发布,支持C#
微软 CNTK 2.0 版本今天正式发布。 CNTK(Cognitive Toolkit)是微软的深度学习工具包,可以帮助企业加速图像和语音识别进程。有了今天的更新,企业可以在本地或云端结合 Azure GPU 使用 CNTK了。   伴随着今天的新版本发布,用户可以使用包括 Python(版本2.7、3.4 和3.5),C++,以及 C#/.NET 管理的认知工具包软件库获得额外的绑定
CNTK-window安装需要的全部部件
cntk开源包r已经从github上clone下来,到百度网盘提取 http://pan.baidu.com/s/1eSzidOI
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 python下的cntk教程 java 机器学习 训练