Idea项目出现问题!哪位大神帮看看,附源码
idea吧
全部回复
仅看楼主
level 1
Hermio🌈 楼主
idea使用中,数据统计出现问题,代码没错,不知道是数据源还是配置出现了错误,附上图一:输出结果(问题);图二:输入输出地址;图三:数据源;源代码
图一
图二:输入输出地址
图三:数据源
源代码:
package org.example;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;
import java.lang.reflect.Array;
import java.util.Arrays;
import java.util.Iterator;
public class MyJavaAndSpark {
public static void main(String[] args) {
//参数检查
if (args.length < 2) ;
{
System.err.println("Usage:MyJavaAndSpark <input><output>");
System.exit(1);
}
//创建sparkconf
SparkConf conf = new SparkConf().setAppName("MyJavaAndSpark");
conf.setMaster("local[4]");
JavaSparkContext sc = new JavaSparkContext(conf);
//读取数据
JavaRDD<String> inputRDD = sc.textFile(args[0]);
//进行相关计算
JavaRDD<String> words = inputRDD.flatMap(new FlatMapFunction<String, String>() {
@Override
public Iterator<String> call(String s) throws Exception {
return Arrays.asList(s.split("\\s+")).iterator();
}
});
JavaPairRDD<String, Integer> result = words.mapToPair(new PairFunction<String, String, Integer>() {
@Override
public Tuple2<String, Integer> call(String s) throws Exception {
return new Tuple2<>(s, 1);
}
}).reduceByKey(new Function2<Integer, Integer, Integer>() {
@Override
public Integer call(Integer x, Integer y) throws Exception {
return x + y;
}
});
//保存结果
result.saveAsTextFile(args[1]);
//关闭sc
sc.stop();
}
}
2020年02月27日 11点02分 1
level 2
老哥,你那个控制台怎么隐藏的路径
2020年03月03日 11点03分 2
1