hadoop 不能上传文件至hdfs,但是通过shell是可以的,怎么处理?
hadoop吧
全部回复
仅看楼主
level 3
sun_zhengbo 楼主
core-site的配置
hdfs-site的配置
运行代码,报错信息:.
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/hello.txt could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1595)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3287)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:677)
at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.addBlock(AuthorizationProviderProxyClientProtocol.java:213)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:485)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2086)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2082)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2080)
at org.apache.hadoop.ipc.Client.call(Client.java:1471)
at org.apache.hadoop.ipc.Client.call(Client.java:1408)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:230)
at com.sun.proxy.$Proxy12.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:404)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:256)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:104)
at com.sun.proxy.$Proxy13.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1704)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1500)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:668)
Process finished with exit code -1
2018年04月12日 06点04分 1
level 2
这个问题解决了吗,我遇到相同的情况了
2018年04月15日 02点04分 3
没有,估计解决不可,我都搞了几天了,实在搞不动了
2018年04月15日 03点04分
level 3
Web访问50070端口页面看看集群有几个datanode节点
2018年04月15日 05点04分 4
请问怎么查看?
2018年04月15日 09点04分
level 3
sun_zhengbo 楼主
我部署的伪分布式,显示的live node是1,dead node 是0
2018年04月15日 10点04分 14
@黄金猎人KO 大哥,已添加,请同意,谢谢
2018年04月15日 11点04分
level 2
大哥,你好,我也遇到这个问题了,始终解决不了,你解决了没,我qq624754299
2018年04月24日 00点04分 18
集群搭建好了,节点也都是活的,就是从本地上传文件到hdfs也是报这样的错
2018年04月24日 00点04分
level 1
本地路径你换成Linux试试
2018年06月19日 07点06分 19
level 1
解决了吗?没解决加我QQ1414394043
2018年06月28日 14点06分 20
level 1
报的啥异常?
2018年07月10日 02点07分 21
level 1
你好,请问你解决了吗?我也遇到这个问题了,求解决方法[哈哈]
2018年07月11日 17点07分 22
1