tf.train.shuffle_batch要求定义张量的shape,Tensor不定长时如何使用shuffle_batch 5C

做音频数据处理,想将数据和label做成tfrecord再用shuffle_batch抽取。

由于数据是不定长的音频,label也是不定长的一维数组,因此无法在写入tfrecord时规定长度,试图用batch读取时出现如下错误

All shapes must be fully defined: [TensorShape([Dimension(None)]), TensorShape([Dimension(None)])]

不同音频和不同label的长度差距较大,无法补成定长,请问还有别的方式使用shuffle_batch吗

0

1个回答

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
tensorflow---线程如何使用以及在tf.train.shuffle_batch()等函数当中如何使用
多线程输入数据处理   TFRecord输入数据格式 TensorFlow提供一种统一的TFRecord来存储数据,TFRecord文件中的数据都是通过tf.train.Example Protocol Buffer的格式来存储。 message Example { Features features = 1; }; message Features { map&lt...
关于tensorflow中张量维度—Shape参数的理解
初学tensorflow,大佬勿喷 在编写神经网络手写数字识别时,打印权重矩阵的维度 print(wih.shape) # 得到 (100,784) 这里我的理解是,100行,784列的矩阵,感觉没什么问题。 然后学习tensorflow张量的时候,编写了如下代码 a = tf.constant([1.0,2.0],name="a") b = tf.constant([2.0,3.0],name...
TensorFlow 获取张量形状的操作 tf.shape()、属性shape 及 方法get_shape() 的基本用法及实例代码
一、环境 TensorFlow API r1.12 CUDA 9.2 V9.2.148 cudnn64_7.dll Python 3.6.3 Windows 10   二、官方说明 1、tf.shape(tensor) 获取输入张量 input 的形状,以 1 维整数张量形式表示 https://tensorflow.google.cn/api_docs/python/tf/s...
tensorflow 张量的阶、形状、数据类型及None在tensor中表示的意思
x = tf.placeholder(tf.float32, [None, 784])x isn't a specific value. It's a placeholder, a value that we'll input when we ask TensorFlow to run a computation. We want to be able to input any number of...
TensorFlow学习--张量的数据类型/rank/shape和常用API
TensorFlow即张量的流动,即保持计算节点不变让数据以张量的形式进行流动.张量tensor可以是一个变量/数组/多维数组等.一个tensor包含一个静态的rank和一个shape. tensor的几个重要属性: Data type/数据类型 即tensor存储的数据类型. 数据类型 Python 类型 描述 DT_FLOAT tf.float32 ...
tensorflow的张量维度和形状shape,以及张量中元素的读取
之前一直弄混张量的维度和shape的关系,认为通过tf.shape()获得的就是维度,现在发现错误,记下来。 tf.shap()用来获取的是张量的各个维度上的元素数目。 1 #维度为0的标量 [1, 2, 3] #维度为1,包含3个元素 [[1, 2], [...
keras 中获取张量 tensor 的维度大小。
在进行keras 网络计算时,有时候需要获取输入张量的维度来定义自己的层。但是由于keras是一个封闭的接口。因此在调用由于是张量不能直接用numpy 里的A.shape()。这样的形式来获取。这里需要调用一下keras 作为后端的方式来获取。当我们想要操作时第一时间就想到直接用 shape ()函数。其实keras 中真的有shape()这个函数。 shape(x)返回一个张量的符号shape...
通俗易懂的理解Tensor(张量)、Rank、Shape
前言:实践深度学习框架TensorFlow、PyTorch等的第一道拦路虎就是对Tensor的理解。 以下是我在理解张量的过程中的一些总结。 1、什么是张量 这是bilibili搬运youtube的一个视频,很直观的解释了张量的含义。 **通俗一点讲:**张量是对标量,矢量,矩阵的推广。张量的表达看起来像是数组,其实每个值是在对应空间上的分量的大小。基向量和分量一起形成了张量的表达,他在物理学上的...
tf.train.batch的偶尔乱序问题
tf.train.batch的偶尔乱序问题 觉得有用的话,欢迎一起讨论相互学习~Follow Me tf.train.batch的偶尔乱序问题 我们在通过tf.Reader读取文件后,都需要用batch函数将读取的数据根据预先设定的batch_size打包为一个个独立的batch方便我们进行学习。 常用的batch函数有tf.train.batch和tf.train.shuffle...
tensorflow 关于张量 shape 数组
```python # 2-D tensor `a` a = tf.constant([1, 2, 3, 4, 5, 6], shape=[2, 3]) => [[1. 2. 3.] [4. 5. 6.]] # 2-D tensor `b` b = tf.constant
tensorflow 打印张量时,输出不完全,总有省略号怎么办
转载自:http://blog.csdn.net/goofysong https://blog.csdn.net/goofysong/article/details/52160012使用print(tensor)时,中间有省略号。。解决如下在代码前添加import numpy as np  np.set_printoptions(threshold=np.inf)  ...
tensorflow如何查看张量属性,如阶数
tf.placeholder(dtype, shape=None, name=None) 此函数可以理解为形参,用于定义过程,在执行的时候再赋具体的值 参数: dtype:数据类型。常用的是tf.float32,tf.float64等数值类型shape:数据形状。默认是None,就是一维值,也可以是多维,比如[2,3], [None, 3]表示列是3,行不定name:名称。
Tensorflow中张量的定义与创建
一、张量的定义 Tensor即为张量,它是Tensorflow中最基础的数据结构,可理解为n维数组或矩阵,一般将零维的张量称为标量或者常数,一维的张量可理解为向量,二维张量可理解为矩阵,三维则是三维数组。 二、张量的创建 Tensorflow提供 constant 这个函数: constant(value, dtype=None, shape=None, name="Const", verify_...
TensorFlow学习笔记-组合训练数据
Tensorflow数据预处理操作:http://blog.csdn.net/lovelyaiq/article/details/78716325   Tensorflow读出TFRecord中的数据,然后在经过预处理操作,此时需要注意:数据还是单个,而网络的输入一般以Batch为单位,因此我们需要将单个的数据组合成一个Batch,做为神经网络的输入。   Tensorflow提供组合训练数据
取得tensor里的shape操作
import tensorflow as tfimport numpy as npx=tf.placeholder(dtype = tf.float32, shape = (256,32,32,3),name = 'y')shape=x.shape.as_list()shape[256, 32, 32, 3]
TensorFlow系列03——TensorFlow基本概念Tensor理解
【前言】这篇文章将告诉你tensorflow的基本概念以及tensorflow的基本操作 TensorFlow的基本概念Tensor TensorFlow的核心API TensorFlow提供非常丰富的API,最底层的API—TensorFlow Core—提供了完整的编程控制接口。更高级别的API则是基于TensorFlow Core API之上,并且非常容易学习和使用,更高层次的API能
学习TensorFlow,打印输出tensor的值
在学习TensorFlow的过程中,我们需要知道某个tensor的值是什么,这个很重要,尤其是在debug的时候。也许你会说,这个很容易啊,直接print就可以了。其实不然,print只能打印输出shape的信息,而要打印输出tensor的值,需要借助class tf.Session, class tf.InteractiveSession。因为我们在建立graph的时候,只建立tensor的结构
pytorch 获取tensor维度信息
参考https://stackoverflow.com/questions/46826218/pytorch-how-to-get-the-shape-of-a-tensor-as-a-list-of-int >>> import torch >>> from torch.autograd import Variable >>> from ...
TensorFlow之张量的形状相关操作
  TensorFlow之张量的形状相关的操作函数主要讲解一下四种。 1、tf.shape 查看张量的形状,即返回一个一阶张量表示输入张量的形状。 tf.shape(input, name=None, out_type=tf.int32) input:输入的张量name:操作的名称out_type:输出的类型(int32 or int64), 默认tf.int32   2、tf.s...
tensorflow基础之张量(Tensor)、阶(Rank)、计算图(Graph)、节点(Node)
tensorflow对张量(Tensor)是这样定义的: 张量是对矢量和矩阵向潜在的更高维度的泛化。TensorFlow 在内部将张量表示为基本数据类型的 n 维数组。 显然,tensorflow将张量定义为多维数组。 【相关资料】 TensorFlow从0到1 - 2 - TensorFlow核心编程 笔记 | 什么是张量(tensor)& 深度学习 转|浅谈什么是张量tensor ...
tensorflow 中查看张量值的方法
在调试用TensorFlow编写的程序的时候,需要知道某个tensor的值是什么。直接print只能打印输出张量的shape,dtype等信息,而要查看张量的值的方法如下: 【1】用class tf.Session或 class tf.InteractiveSession类中的eval 例如:
tensorflow学习笔记(2)张量与计算图
参考: http://jorditorres.org/research-teaching/tensorflow/first-contact-with-tensorflow-book/first-contact-with-tensorflow/#cap1 https://www.jianshu.com/p/c62fdd13561e
什么是Tensor
tensor是tensorflow基础的一个概念——张量。 Tensorflow用到了数据流图,数据流图包括数据(Data)、流(Flow)、图(Graph)。Tensorflow里的数据用到的都是tensor,所以谷歌起名为tensorflow。 下面介绍张量几个比较重要的概念 张量的维度(秩):Rank/Order Rank为0、1、2时分别称为标量、向量和矩阵,Rank为3时...
Theano Tutorial文档翻译(三) - 基础张量功能
翻译了一部分Theano文档的基础张量功能
Tensorflow基础--创建张量、变量及占位符
Tensorflow介绍Google的Tensorflow引擎提供了一种解决机器学习问题的高效方法。机器学习在各个行业应用广泛,特别是计算机视觉、语音识别、语言翻译和健康医疗等领域。创建张量首先引入tensorflowimport tensorflow as tf创建指定维度的零张量print('零张量'.center(50,'-')) zero_tsr = tf.zeros([3,3])创建指...
Tensorflow tensor随机存取和遍历处理
tensor可以像普通numpy array那样随机存取吗,注意这个是表面的现象。 tensor并不是内容空间的容器,所以没有读取这一说 tensor只是operation的输入和输出的值 import tensorflow as tf data=tf.constant([[1,2,3],[4,5,6]]) posi=tf.convert_to_tensor([0,2]) re=data[p...
matlab tensor张量库的安装与测试
1)matlab tensor张量库的安装      最新版本 Tensor Toolbox 2.6,下载地址:http://www.sandia.gov/~tgkolda/TensorToolbox/index-2.6.html下载之前需要简单的注册一下,提交相关的使用者基本信息,点击提交后直接跳转到下载页面,下载即可,有zip和tar.gz格式。http://www.sandia.gov
TensorFlow的常量值张量和序列
常量值张量(Constant Value Tensors)TensorFlow提供了多种方式生成常量值的张量。与变量不同,常量在运行前不再需要显式初始化。tf.constant这一个最为常见。定义如下:tf.constant(value, dtype=None, shape=None, name='Const', verify_shape=False)value为常量值或者列表,dtype为类型,...
关于tensor的shape理解
关于tensor的shape和dimension 刚把mnist又过了一遍,突然感觉对tensor的shape有了新的理解,虽然很基础,还是想分享一下 关于tensor的维度,也就是阶啦,从认知上理解,一维就是线(数组或者向量),二维就是面(矩阵),三维就是体(数据体),四维是数据阵列 等等等等;新的理解是在表现方式上的,也就是打印出的样子,例如: [ [1,1,1] [1,1,1] ] 显然...
Tensorflow,张量类型不匹配问题。
ten = tf.Variable(tf.random_normal([2,2])) 默认为float32类型,若要转换为float64 方法1:tf.Variable(tf.random_normal([2,2],dtype=tf.float64)) 方法2:tf.cast(ten,tf.float64) 方法3:通过spaceholder(tf.float64,[])传入时类型转换...
pytorch 查看tensor的数据类型
import torch x=torch.Tensor([1,2]) print('x: ',x) print('type(x): ',type(x)) print('x.dtype: ',x.dtype) # x的具体类型 y=x.int() print('y: ',y) print('type(y): ',type(y)) print('y.dtype: ',y.d...
pytorch下只打印tensor的数值不打印出device等信息的方法
torch.Tensor类型的数据loss和acc打印时 ,如果写成以下写法 print('batch_loss: '+str(loss.data)+'batch acc: '+str(acc.data)) 则不仅会打印出loss和acc的值,还会打印出device信息和 tensor字样,如下: 如果仅想打印出数值,使得打印出的信息更加简洁,则要用以下写法 print('batch_loss...
【keras】基本概念计算方法、Tensor张量、数据类型data_format、函数式模型、batch、epoch
1、符号计算 Keras的底层库使用Theano或TensorFlow,这两个库也称为Keras的后端。无论是Theano还是TensorFlow,都是一个“符号式”的库。 符号主义的计算首先定义各种变量,然后建立一个“计算图”,计算图规定了各个变量之间的计算关系。建立好的计算图需要编译以确定其内部细节,然而,此时的计算图还是一个“空壳子”,里面没有任何实际的数据,只有当你把需要运算的输入放进
Tensorflow不定长卷积与解卷积
Tensorflow不定长卷积与解卷积   在用CNN处理某些图像或时序输入时,需要考虑输入长度不固定的情况。例如在做场景文字识别时,输入的图像是已经被检测出来的长方形的包含文字的图像,这些 “检测框” 的长度不一。一般有两种做法,第一种从数据下手,将输入 padding 或 resize,所谓 padding 即给定一个固定长度,将短于该长度的样本补零,将长于该长度的样本截断或丢弃,所谓 res...
两个维度不同的张量相乘
context_vector = math_ops.reduce_sum( array_ops.reshape(attn_dist, [batch_size, -1, 1, 1]) * encoder_state, [1, 2]) # shape (batch_size, attn_size). encoder_state: (batch_size, attn_l...
tensorflow使用张量时的一些注意点tf.concat、tf.reshape、tf.stack
有一段时间没用tensorflow了,现在跑实验还是存在一些坑了,主要是关于张量计算的问题。tensorflow升级1.0版本后与以前的版本并不兼容,可能出现各种奇奇怪怪的问题。 1 tf.concat函数 tensorflow1.0以前函数用法:tf.concat(concat_dim, values, name=’concat’),第一个参数为连接的维度,可以将几个向量按指定维度连接起来。
tensorflow几种常见的初始化张量【Method-1】
import tensorflow as tf # 1.计算机的伪随机数是由随机种子根据一定的计算方法计算出来的数值。所以,只要计算方法一定,随机种子一定,那么产生的随机数就是固定的。 # 2.只要用户或第三方不设置随机种子,那么在默认情况下随机种子来自系统时钟。 # 均匀分布 A = tf.random_uniform(shape=[2, 2], minval=0, maxval=1, d...
TensorFlow学习系列(二):形状和动态维度
这篇教程是翻译Morgan写的TensorFlow教程,作者已经授权翻译,这是原文。 目录TensorFlow学习系列(一):初识TensorFlowTensorFlow学习系列(二):形状和动态维度TensorFlow学习系列(三):保存/恢复和混合多个模型TensorFlow学习系列(四):利用神经网络实现泛逼近器(universal approximator)TensorFlow学习系列(五)
TensorFlow创建变量
一、使用tf.Variable函数创建变量 tf.Variable(initial_value=None,trainable=True,collections=None,validate_shape=True,caching_device=None,name=None,variable_def=None,dtype=None,expected_shape=None,import_scope=No
TensorFlow之张量声明
TensorFlow之张量声明      TensorFlow的主要数据结构是张量,它用张量来操作计算图。在TensorFlow里可以把变量或者占位符声明为张量。首先,需要知道如何创建张量。1.开始    创建一个张量,声明其为一个变量。TensorFlow在计算图中可以创建多个图结构。在这里需要指出,在TensorFlow中创建一个张量,并不会立即在计算图中增加什么只有把张量赋值给一个变量或占位...
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 张量是大数据的基础 产品经理要求