如何将自己的数据制作成类似MNIST数据集格式?
tensorflow吧
全部回复
仅看楼主
level 1
hellojju 楼主
MNIST数据集是初学深度学习的经典数据集。那么问题来了,在我的领域中,我需要使用其他图像,需要其他类似的数据集。 甚至于,我目前希望将一些矩阵数据当做图片来处理(因为图片归根结底也就是个矩阵)。
假设我已有的数据是2000个二维矩阵(类似于2000张图片),每个矩阵的维度一致,都是M*N, 我怎么样才能将这些二维矩阵制作成类似MNIST的数据集,这样才能套用后面的各种算法。
再说清楚一点,就是相当于我想套用一些经典的深度学习算法,但是我的输入不是MNIST数据集,我要把我的数据整成类似MNIST格式差不多的输入格式。
请问各位,有没有什么好的办法?
2017年07月18日 03点07分 1
level 1
hellojju 楼主
因为刚刚看完Tensorflow官方文档第一个例子,MNIST手写数字识别问题。我就想把我领域中的2000个矩阵当做2000张图片,套用一下softmax回归模型,试试分类效果。 但是不知道怎么把我这2000个矩阵以及对应标签转换成类似MNIST数据集中的train-images-idx3-ubyte.gz和train-labels-idx1-ubyte.gz这种输入格式。
请求各位高手给予指点,谢谢!
2017年07月18日 03点07分 2
可以用白米醋嘛楼主
2018年01月15日 08点01分
@架嘉子 不好意思,没试过呀,只试过白醋
2018年01月15日 09点01分
这个问题解决了吗?
2019年05月18日 05点05分
你好,请问你知道怎么处理了吗?谢谢!
2020年10月10日 03点10分
level 2
看 tf.slim 里面有
2017年07月18日 06点07分 3
能具体说一下嘛?
2020年12月01日 04点12分
level 1
你好 我也是困惑于如何用自己的数据做出mnist数据集
请问你有什么进展吗 可以交流一下吗 有什么联系方式吗
2017年07月24日 08点07分 4
我发现去制作类似mnist的数据集,有点走偏了。不要去考虑怎么制作数据集,因为这个数据集读进来之后也就是矩阵,我们自己的数据有矩阵就行了。我们应该关注于怎么设计计算图、损失函数,关注编码的原理和流程。建议看看郑泽宇编的那本《TensorFlow实战Google深度学习框架》的前几章。
2017年08月02日 02点08分
读取的效率是不一样的
2018年08月17日 02点08分
@hellojju 你好,请问您搞定了吗?怎么搞定的呢?期待回复,谢谢!
2020年10月10日 11点10分
level 1
你好:
我的问题和你一样,也是有这样二维的数据,不知道你解决了吗?想和你交流一下。
2017年08月04日 07点08分 7
我准备直接用这些数据,不用制作成类似mnist的数据集。
2017年08月04日 07点08分
@hellojju 兄弟啊 你成功了么
2017年08月06日 06点08分
@街头小霸王luc 还在学习他们的例子。因为我要用卷积神经网络,我从头开始看的。
2017年08月06日 11点08分
我也是二维数据,预处理这块不知道怎么弄了,求交流
2017年10月30日 06点10分
level 2
mnist 4个data set 都是ndarray 55000,784 和 10000,784. 理论上直接传值给placeholder feed一下就可以了... 但是我觉得2000实验数据太少了...
2017年08月06日 16点08分 8
嗯,2000多是少了,没办法,我们这个正样本就只有2000多,剩下的都是无标记样本。
2017年08月07日 03点08分
level 1
我有50个向量,其大小都为28*28的结果.请问我怎么把它当作和mnist一样输入进去?
2017年09月04日 06点09分 10
请问你解决了吗?
2018年03月21日 08点03分
level 1
可以转成tf.record格式的数据再喂进去,不过我还没有成功,你可以试试,成功了告诉我一下
2017年10月20日 03点10分 12
您知道怎么喂尽自己的网络吗?求解答
2017年10月25日 10点10分
我也是转换成了tfrecord文件,就是不知道怎么引入网络模型,请问你成功了吗?交流一下吧
2017年11月01日 08点11分
回复 志同道合的云儿 :朋友你做好了吗?我已经做成了tfcord文件,但不知道怎么喂入神经网络,可以指点[呵呵]你一下吗
2019年05月06日 03点05分
@既然苹果 您好,请问能指点下是怎么做的吗?我现在还是原始数据
2020年12月01日 02点12分
level 1
同样遇到此问题,我是想用MATLAB训练CNN,也是直接用矩阵的,不知道怎么制作自己的数据集,楼主解决了吗?[乖]
2017年10月26日 13点10分 14
我也在做这个,请问你解决了么?
2017年12月12日 07点12分
@ymmmmmmmmmy121 请问您解决了么,方便交流一下么
2018年02月27日 05点02分
@李晓慕森 我直接制成了train_x,train_y,test_x,test_y四个文件了
2018年03月01日 11点03分
@ymmmmmmmmmy121 四个文件夹的话具体能讲解一下么,非常感谢您
2018年03月05日 12点03分
level 2
楼主,我用的是tfrecord文件,用自己的图片转的这种格式,可是我在引入模型的时候遇到了问题,设置好网络模型参数后不知道怎么将自己的数据文件导入到模型中去,您这一块做好了吗?能交流一下吗?
2017年11月01日 08点11分 15
亲,你用tfrecord文件的方式成功了吗,能否交流一下呢,我困扰了一个多月了,毫无进展
2019年02月26日 17点02分
@lChuan🍁 你好,我也遇到类似问题,可以交流一下吗
2019年11月27日 01点11分
level 1
可以用白米醋嘛?
2018年01月15日 08点01分 16
level 1
可以用白米醋嘛?
2018年01月15日 08点01分 17
level 1
楼主,请问你如果不做成minist数据集的话,你是怎么给训练集加标签的呢,我看着他们制作成minist数据集的话都是把标签生成txt文件。如果不制作成minist数据集的话怎么给数据加标签呢
2018年01月29日 04点01分 18
你好请问您给训练集成功加上标签了吗?我现在也行加标签但不知道怎么弄
2019年01月09日 03点01分
额加上了
2019年03月09日 12点03分
请问怎么设置标签的啊?
2019年05月29日 02点05分
不知道怎么设置,不知道怎么弄?请教一下
2019年05月29日 02点05分
level 1
我用csv搭建了图片跟标签的联系,制作了一个样本集,不过提示值错误
ValueError: cannot reshape array of size 0 into shape (838860800,469762048,469762048,1)
官方的demo里
def _read32(bytestream):
dt = numpy.dtype(numpy.uint32).newbyteorder('>')
return numpy.frombuffer(bytestream.read(4), dtype=dt)[0]
说每次取4个byte来返回,可能是我格式不对导致整个数据都乱了,打算换个方法再试试
2018年02月02日 09点02分 19
请问成功了吗?可以请教一下吗?
2020年12月01日 04点12分
level 8
mnist 4个data set 都是ndarray 55000,784 和 10000,784. 理论上直接传值给placeholder feed一下就可以了... 但是我觉得2000实验数据太少了...
2018年03月16日 13点03分 20
1 2 尾页