等离子1007 等离子1007
关注数: 0 粉丝数: 10 发帖数: 166 关注贴吧数: 6
前天装了个spark,发个安装笔记,经本人亲自测试成功 环境:ubuntu17.10.1 jdkSE8 (测试9不行,坑啊) hadoop 2.9.0 scala 2.10.7 spark 2.3.0 经测试成功 2018.04.10 允许所有用户访问显示器: xhost + 编辑profile sudo gedit /etc/profile 启动spark ./sbin/start-all.sh 看监听端口 netstat -tnpl 配置环境变量 sudo gedit /etc/profile source /etc/profile 一般软件安装 sudo tar -zxf ~/下载/spark-1.6.0-bin-without-hadoop.tgz -C /usr/local/ sudo mv ./spark-1.6.0-bin-without-hadoop/ ./spark sudo chown -R hadoop:hadoop ./spark vbox增强不能运行: sudo apt-get install gcc make perl 再装一次,重启 别忘了vbox常规选项,高级,打开双向剪贴功能 ===========安装计划=========== java/hadoop/scala/spark全部安装在/usr/local/目录下 到各自网站下载安装包然后解压改名 ===========java安装=========== java需要配置的环境变量 export JAVA_HOME=/usr/local/java8 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH ===========ssh安装=========== 是否启动:ps -e | grep ssh 安装:sudo apt-get install openssh-server 启动:sudo /etc/init.d/ssh start 先登录并退出:ssh localhost 进入ssh目录:cd ~/.ssh/ 产生秘钥:ssh-keygen -t rsa 加入授权:cat ./id_rsa.pub >> ./authorized_keys 登录测试不输入密码则为正确:ssh localhost ===========hadoop安装=========== 配置三个文件:hadoop目录/etc/hadoop/ sudo gedit ./etc/hadoop/core-site.xml <!-- 指定HDFS老大(namenode)的通信地址 --> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/tam/temp</value> </property> /home/tam/temp没有则创建 sudo gedit ./etc/hadoop/hdfs-site.xml <!-- 设置hdfs副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> sudo gedit ./etc/hadoop/hadoop-env.sh # The java implementation to use. export JAVA_HOME=/usr/local/java8 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:/usr/local/hadoop/bin 系统环境加: #hadoop export PATH=/usr/local/hadoop/bin:/usr/local/hadoop/sbin:$PATH 重启 格式化:hadoop namenode -format 启动服务:/usr/local/hadoop/sbin/start-all.sh 看看:jps 停止服务:/usr/local/hadoop/sbin/stop-all.sh ===========spark安装=========== 配置环境变量: sudo gedit /etc/profile #spark export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin source /etc/profile 生成env文件:cp conf/spark-env.sh.template conf/spark-env.sh 修改之:sudo gedit conf/spark-env.sh export JAVA_HOME=/usr/local/java8 export SCALA_HOME=/usr/local/scala export HADOOP_HOME=/usr/local/hadoop #hadoop集群的配置文件的目录 export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop #spark集群的Master节点的ip地址 export SPARK_MASTER_IP=192.168.100.109 #每个worker节点能够最大分配给exectors的内存大小 export SPARK_WORKER_MEMORY=1g #每个worker节点所占有的CPU核数目 export SPARK_WORKER_CORES=1 #每台机器上开启的worker节点的数目 export SPARK_WORKER_INSTANCES=1 生成默认slaves文件:cp conf/slaves.template conf/slaves 修改slave文件:sudo gedit conf/slaves 启动spark:/usr/local/spark/sbin/start-all.sh 启动spark-shell:/usr/local/spark/bin/spark-shell
【猜想】死星武器-行星炮 相信大家都看过《星球大战》吧,影片中银河帝国的终极武器--死星,其装备的行星炮一次发射便摧毁了奥德兰星球(Alderaan)。我现在就教大家怎么做一个。 首先我们来讨论一下行星炮的可行性。其实在宇宙中这种死亡光束并不少见,黑洞和矮星两极的射流就是例子。在这种射流的前方任何物体都将被摧毁,无论是行星甚至是整个恒星系都无法幸存。对的,我们要找的就是这个。如果要设计一门行星炮我们可以参考这种射流的原理。下面我们就来研究一下怎么造一门行星炮。 要制作一个行星炮首先需要巨大的能量,目前人类已掌握的最高能量就是核聚变。只要集中足够多的氘和氚就可以产生需要的能量。当这些能量注入一个星球的内核会引起局部波动,随着波动的蔓延,整个星球会变得不稳定,最后导致星球在自身重力、内部热源、注入能量等的共同作用下分崩离析。 其次,这些能量需要被聚焦到一个点,最后像光束一样被发射出去,否则死星就真的死了。这个可以通过建立一个强大的磁场来实现。通过磁笼约束的原理来将这些高能的等离子风暴变成一条细长的光束。这个有点类似于托克马克环,只不过它不是封闭的,而是开放的。就目前的科技来讲,这点是最难的,毕竟托克马克环的尺寸还是太小,最后导致发射出去的能量会扩散的很快,这就导致了我们的行星炮只能有几十公里的射程。要很好的集中能量,这个磁场就必须在很大的范围内拥有足够的强度。依靠现在的科技,这些只要有足够的人力物力就可以实现。相信50年左右人类就足够有能力打造一门射程在0.1au左右的行星炮。200年后射程1ly以上。 最后谈一谈行星炮的应用。我们打造这门炮并不是需要摧毁什么外星文明或是我们自己。行星炮最重要的应用应该在于对小行星的控制。目前毁灭人类文明最大的敌人就是小行星或者彗星撞击。我们可以在它们离地球很远的时候给它一炮,使其偏离轨道或者直接将其粉碎。
1 下一页