等离子1007
等离子1007
关注数: 0
粉丝数: 10
发帖数: 166
关注贴吧数: 6
前天装了个spark,发个安装笔记,经本人亲自测试成功 环境:ubuntu17.10.1 jdkSE8 (测试9不行,坑啊) hadoop 2.9.0 scala 2.10.7 spark 2.3.0 经测试成功 2018.04.10 允许所有用户访问显示器: xhost + 编辑profile sudo gedit /etc/profile 启动spark ./sbin/start-all.sh 看监听端口 netstat -tnpl 配置环境变量 sudo gedit /etc/profile source /etc/profile 一般软件安装 sudo tar -zxf ~/下载/spark-1.6.0-bin-without-hadoop.tgz -C /usr/local/ sudo mv ./spark-1.6.0-bin-without-hadoop/ ./spark sudo chown -R hadoop:hadoop ./spark vbox增强不能运行: sudo apt-get install gcc make perl 再装一次,重启 别忘了vbox常规选项,高级,打开双向剪贴功能 ===========安装计划=========== java/hadoop/scala/spark全部安装在/usr/local/目录下 到各自网站下载安装包然后解压改名 ===========java安装=========== java需要配置的环境变量 export JAVA_HOME=/usr/local/java8 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH ===========ssh安装=========== 是否启动:ps -e | grep ssh 安装:sudo apt-get install openssh-server 启动:sudo /etc/init.d/ssh start 先登录并退出:ssh localhost 进入ssh目录:cd ~/.ssh/ 产生秘钥:ssh-keygen -t rsa 加入授权:cat ./id_rsa.pub >> ./authorized_keys 登录测试不输入密码则为正确:ssh localhost ===========hadoop安装=========== 配置三个文件:hadoop目录/etc/hadoop/ sudo gedit ./etc/hadoop/core-site.xml <!-- 指定HDFS老大(namenode)的通信地址 --> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/tam/temp</value> </property> /home/tam/temp没有则创建 sudo gedit ./etc/hadoop/hdfs-site.xml <!-- 设置hdfs副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> sudo gedit ./etc/hadoop/hadoop-env.sh # The java implementation to use. export JAVA_HOME=/usr/local/java8 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:/usr/local/hadoop/bin 系统环境加: #hadoop export PATH=/usr/local/hadoop/bin:/usr/local/hadoop/sbin:$PATH 重启 格式化:hadoop namenode -format 启动服务:/usr/local/hadoop/sbin/start-all.sh 看看:jps 停止服务:/usr/local/hadoop/sbin/stop-all.sh ===========spark安装=========== 配置环境变量: sudo gedit /etc/profile #spark export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin source /etc/profile 生成env文件:cp conf/spark-env.sh.template conf/spark-env.sh 修改之:sudo gedit conf/spark-env.sh export JAVA_HOME=/usr/local/java8 export SCALA_HOME=/usr/local/scala export HADOOP_HOME=/usr/local/hadoop #hadoop集群的配置文件的目录 export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop #spark集群的Master节点的ip地址 export SPARK_MASTER_IP=192.168.100.109 #每个worker节点能够最大分配给exectors的内存大小 export SPARK_WORKER_MEMORY=1g #每个worker节点所占有的CPU核数目 export SPARK_WORKER_CORES=1 #每台机器上开启的worker节点的数目 export SPARK_WORKER_INSTANCES=1 生成默认slaves文件:cp conf/slaves.template conf/slaves 修改slave文件:sudo gedit conf/slaves 启动spark:/usr/local/spark/sbin/start-all.sh 启动spark-shell:/usr/local/spark/bin/spark-shell
这是啥?
我只发图,我不说话 你猜这是啥?
有了这玩意,貌似美工都可以开发页面了 完全可视化的环境,目前不好找,下载链接: https://tieba.baidu.com/f?kw=epage
ePage历史修改记录
关于本吧,新人必看 本吧成立的目的是为了给ePage开发平台的使用者一个交流学习的空间。ePage是目前全球唯一能做到网页1:1可视化设计的开发平台,不仅提供了前端设计,也提供了后台脚本设计。总之,使用ePage可以在代码开放的基础上完全独立的完成大型Web工程项目。 这里会定期发送ePage最新的更新动态、最新的系统升级包以及范例资源等等。您也可以在这里提出关于ePage设计开发系统中遇到的问题。本吧有专人负责,问题一般会在24小时内得到答复。 --ePage设计开发团队
王石到底是啥背景啊,好像很牛的样子 有懂的人说说看呗,让我们这些小散有点方向
【设计】顺着光柱爬上去! 记得听过一个笑话,某酒鬼把手电一开,说:你有本事顺着这个光柱爬上去,另一酒鬼说,那不行,你关电门我不就摔下来了。 按照这个思路我们可以搞个类似牵引光束的东西出来,具体原理如下: 发射一束激光,我们知道激光的相位一致性非常强,这就像一个人手里拿着一块磁铁用极高的速度旋转发射出来电磁波是一个道理,只不过光波的频率非常高而已。 在目标端,我们想办法让一堆原子按照完全相同的相位差和频率进行旋转就可以在这些原子上获得宏观的推力或者拉力。 当然了,以我们目前的科技水平做到第二点是不可能的,但这个想法在理论上是完全行得通的。 期待未来100年--牵引光束!
【原创】我给时间旅行报个价 假设你和你的随身物品重量是100公斤,把你加速到99%光速 根据质量公式m=M/(1-v*v/(c*c))^0.5,你大概重700公斤左右 再由能量公式E=m*v*v/2得出需要32*10^21J的能量,相当于5*10^15度电 按照每度电5毛钱的价格(批发从优)大概需要5000万亿人民币 当然了,时间旅行需要进行加速-减速-掉头-加速-减速的过程,那总共需要将以上价格*4 也就是需要2万万亿人民币 以上报价仅能量成本,不含集成费。欢迎预定,预付款1%就可以。
万科不倒,房价不降,支持踩死万科的请举手! 万科不倒,房价不降,支持踩死万科的请举手!
请问老司机炸门问题 如果用C4炸铁门是否有爆炸范围,如果有的话,比如我在二楼的铁门前面放一个10/10的木楼梯或者楼板什么的,一炸就碎了,是不是能做到防入侵呢?
【求助】太阳系为什么没有暗物质? 按照目前的说法暗物质所占的比例为80%-90%, 而在我们的太阳系中,太阳的质量占太阳系总质量的99.8%,其它天体(暗物质,包括我们的地球)的总和不到太阳的0.2%。请问太阳系中暗物质比例为什么远远低于整个宇宙暗物质的平均比例? 难道我们是特殊的吗?
【猜想】死星武器-行星炮 相信大家都看过《星球大战》吧,影片中银河帝国的终极武器--死星,其装备的行星炮一次发射便摧毁了奥德兰星球(Alderaan)。我现在就教大家怎么做一个。 首先我们来讨论一下行星炮的可行性。其实在宇宙中这种死亡光束并不少见,黑洞和矮星两极的射流就是例子。在这种射流的前方任何物体都将被摧毁,无论是行星甚至是整个恒星系都无法幸存。对的,我们要找的就是这个。如果要设计一门行星炮我们可以参考这种射流的原理。下面我们就来研究一下怎么造一门行星炮。 要制作一个行星炮首先需要巨大的能量,目前人类已掌握的最高能量就是核聚变。只要集中足够多的氘和氚就可以产生需要的能量。当这些能量注入一个星球的内核会引起局部波动,随着波动的蔓延,整个星球会变得不稳定,最后导致星球在自身重力、内部热源、注入能量等的共同作用下分崩离析。 其次,这些能量需要被聚焦到一个点,最后像光束一样被发射出去,否则死星就真的死了。这个可以通过建立一个强大的磁场来实现。通过磁笼约束的原理来将这些高能的等离子风暴变成一条细长的光束。这个有点类似于托克马克环,只不过它不是封闭的,而是开放的。就目前的科技来讲,这点是最难的,毕竟托克马克环的尺寸还是太小,最后导致发射出去的能量会扩散的很快,这就导致了我们的行星炮只能有几十公里的射程。要很好的集中能量,这个磁场就必须在很大的范围内拥有足够的强度。依靠现在的科技,这些只要有足够的人力物力就可以实现。相信50年左右人类就足够有能力打造一门射程在0.1au左右的行星炮。200年后射程1ly以上。 最后谈一谈行星炮的应用。我们打造这门炮并不是需要摧毁什么外星文明或是我们自己。行星炮最重要的应用应该在于对小行星的控制。目前毁灭人类文明最大的敌人就是小行星或者彗星撞击。我们可以在它们离地球很远的时候给它一炮,使其偏离轨道或者直接将其粉碎。
[原创]我们一起来造死星 相信大家都看过《星球大战》吧,影片中银河帝国的终极武器--死星,其装备的行星炮一次发射便摧毁了奥德兰星球(Alderaan)。我现在就教大家怎么做一个。
好不容易登陆EVE星,问题是怎么返回 自己设计了个三级火箭,载一人,经历无数次变轨,总算在EVE星上伞降成功。问题是燃料已经完全耗尽,可怜的宇航员插完旗后,就只能永远呆那里了。 如果要有能力从EVE返回,该采用什么方案?
才看完,有个问题实在搞不懂 既然主炮威力如此强悍,为什么不多带个几门,不多100门就可以当机关枪用了,秒杀一切恒星系,什么战斗机,战术的,我指挥都没问题额。上面说过这炮属于终极武器,很贵。都未来世界了,钱还是问题吗?再说了,按照这个进度,美元那时候都不知道贬值的多厉害。100门炮我看连全世界百分之一的GDP都要不了。莫非是地球那时腐败至极,全球联合舰队的军费都拿去修颐x园V8版本了?
【猜想】关于可控核聚变 现在的可控核聚变就一种方案--托克马克--即磁场约束方案 这种方案存在以下问题: 1. 强大的磁场需要消耗巨大电力 2. 维持磁场线圈需要近似绝对零度的温度 3. 等离子团很难控制,会漂移 4. 问题还很多,以上几个就致命了。最后产能还不够消耗的,反应不能延续很长时间。 我感觉吧可以换个思路考虑这问题,把耗能的部分去掉,换成一个很大的空间,比如一个直径1公里以上的真空球,让小部分的重水在中心位置用高能激光点燃。只要控制好水的多少剩下的工作就是在球的内表面收集能量。这样不就很简单了,里面也没有啥耗能大户,因为是真空也没有冲击波,只要把光能和热能收集起来就好了。
响尾蛇vs外滩 EVE 海盗势力 响尾蛇级战列舰 长轴828米 金茂大厦高度412米 图片完全按照真实比例绘制,飞行高度约100米,最近部分距离金茂大厦约10米
响尾蛇开到外滩是啥感觉 EVE 海盗势力 响尾蛇级战列舰 秉持着海盗一贯的恶劣习性,“野兔” 克拉克·卡萨加米无耻地窃取了毒蝎级战 列舰的设计思路,并融入了自己的风格。 其结果就是:可怕的响尾蛇级诞生了, 这是任何古斯塔斯大规模战斗中的旗舰 型号。当然也有另外一种说法,卡萨加米 之所以对毒蝎的起源三缄其口,可能是因 为暗示着它的设计从头到尾都是由他自己 完成的 响尾蛇长轴828米 金茂大厦高度412米 根据这两个数据正努力做个图出来让大家看看响尾蛇到底有多大
1
下一页