P01_Spark开发测试运行环境安装

作者: 金沙澳门官网网址  发布:2019-09-25

 

斯Parker开辟测验运营意况设置

VirtualBox下载地址
https://www.virtualbox.org/wiki/Downloads

图片 1

image.png

操作系统下载地址
http://mirrors.aliyun.com/
https://mirrors.aliyun.com/centos/6.9/isos/x86_64/

本文假定你已经精晓怎么设置VirtualBox虚构机软件,並且一度安装好了。

在Windows下安装CentOS虚构机,并计划网卡

  1. 采纳课程提供的镜像:CentOS-6.8-i386-minimal.iso。
  2. 制造虚构机:展开Virtual Box,点击“新建”开关;输入设想机名为sparkproject1,选择操作系统为Linux,选用版本为Red Hat;分配1024MB内存;前边全部选项整体用默许的安装;注意,在Virtual disk file location and size中,绝对要和煦选取贰个索引来寄存在设想机文件;最后点击“create”开关,起初创办虚构机。
  3. 设置网卡(桥接网卡):选择创造好的设想机,点击“设置”开关,在互联网一栏中,连接情势中,选拔“Bridged Adapter”,即桥接网卡。
  4. 安装CentOS 6.8操作系统:选拔创制好的设想机,点击“开头”按键;接纳安装介质(即本地的CentOS 6.8镜像文件);采用第一项开首设置-Skip-款待界面Next-选用暗许语言-Baisc Storage Devices-Yes, discard any data-主机名:sparkproject1-选取时区-设置开头密码为hadoop-Replace Existing Linux System-Write changes to disk-初步安装。
  5. 设置完以往,会唤醒你要重启一下,正是reboot,reboot就足以了。

首先我们供给预备好centos的iso镜像文件,能够从centos的官网下载。

配置Linux网卡

  1. 先临时设置设想机ip地址:ifconfig eth0 192.168.1.110,在/etc/hosts文件中安插本地ip到host的映照
  2. 计划windows主机上的hosts文件:C:WindowsSystem32driversetchosts,192.168.1.110 sparkproject1
  3. 选用SecureCRT从windows上连续虚构机
  4. 永世性配置CentOS互连网
    vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.110
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
  1. 重启网卡
    service network restart

以下操作使用的VirtualBox版本号是5.2.0

闭馆防火墙

service ip6tables stop
service iptables status
service ip6tables status

chkconfig ip6tablesoff

vi /etc/selinux/config

在win7的调节面板中,关闭windows的防火墙!假诺不闭馆防火墙的话,就怕,或许win7和虚构机直接无法ping通!

一、创建虚构机

配置DNS服务器

1、配置DNS服务器

nameserver 114.114.114.114

ping www.baidu.com

1.下载好操作系统镜像文件后,张开VirtualBox,点击新建虚构机(第一遍新建设想机推荐应用指引方式,熟稔操作步骤后建议使用专家情势)

消除不只怕访谈外网的主题素材

固然更改了ip地址,重启网卡,可能依然联不通网。那么能够先将IPADD奥德赛、NETMASK、GATEWAY给删除,将BOOTPROTO改成dhcp。然后用service network restart重启网卡。此时linux会自动给分配一个ip地址,用ifconfig查看分配的ip地址。然后再一次遵照在此以前说的,配置网卡,将ip改成都电子通信工程高校动分配的ip地址。最后再重启三回网卡。

图片 2

安装JDK 1.7

JDK 1.7下载地址
http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

图片 3

image.png

1、将jdk-7uXX-linux-i586.rpm上传到设想机中
2、安装JDK:rpm -ivh jdk-7uXX-linux-i586.rpm
3、配置jdk相关的情况变量
vi /etc/profile
export JAVA_HOME=/usr/java/latest
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
4、测量检验jdk安装是不是成功:java -version

scala下载地址
http://www.scala-lang.org/blog/announcements/

虚构机名称能够不管道输送入,类型选用linux,在操作系统的批发版本中一向不找到可选的centos版本,我们选拔Other Linux版本(其余版本)代替,假使我们设置的是63位操作系统那么相应的选拔是(64-bit),纵然是叁十人那么相应的取舍是(32-bit),可以从大家下载的操作系统的iso镜像文件名称中摸清操作系统位数(下载此前大家就应当领会的)。

安装spark Standalone

spark下载地址
http://spark.apache.org/downloads.html

1、将spark-1.6.3-bin-hadoop2.6.tgz使用xftp上传到/usr/local目录下。
2、解压缩spark包:tar -zxvf spark-1.6.3-bin-hadoop2.6.tgz
3、重命名spark目录:mv spark-1.6.3-bin-hadoop2.6 spark
4、修改spark蒙受变量
vi /etc/preofile

export PATH=$SPARK_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

source /etc/preofile

颠倒是非补充:CentOS Linux 的批发版本是透过编写翻译 Red Hat, Inc 公开提供的 Red Hat 集团级 Linux 开源代码而产生的。所以那边依据官方的布道应该接纳redhat的发行版(其实这里选择Other Linux来创设虚构机也从没怎么难题)。

修改spark-env.sh文件

1、cd /usr/local/spark/conf
2、cp spark-env.sh.template spark-env.sh
3、vi spark-env.sh
export JAVA_HOME=/usr/java/latest
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

2.以上设置实现后,点击下一步 进行分配内部存款和储蓄器

测量试验情况

用yarn-client情势提交spark作业

--class org.apache.spark.example.JavaSparkPi 
--master yarn-client 
--num-executors 1 
--driver-memory 10m 
--executor-memory 10m 
--executor-cores 1 
/usr/local/spark/lib/spark-examples-1.6.3-hadoop2.6.jar 

用yarn-cluster格局提交spark作业

/usr/local/spark/bin/spark-submit 
--class org.apache.spark.example.JavaSparkPi 
--master yarn-cluster 
--num-executors 1 
--driver-memory 10m 
--executor-memory 10m 
--executor-cores 1 
/usr/local/spark/lib/spark-examples-1.6.3-hadoop2.6.jar 

图片 4

设置第二台和第三台虚构机

1、安装上述手续,再安装两台大同小异情形的虚构机。
2、另外两台机器的hostname分别安装为sparkproject2和sparkproject3就可以
3、在设置的时候,别的两台虚构机的centos镜像文件必得再一次拷贝一份,放在新的目录里,使用分别本人的镜像文件。
4、虚拟机的硬盘文件也非得另行选用二个新的目录,以更好的界别。
5、安装好之后,记得要在三台机器的/etc/hosts文件中,配置全三台机械的ip地址到hostname的映照,而不能只布署本机,那一个相当的重要!
6、在windows的hosts文件中也要布署全三台机器的ip地址到hostname的映照。

利用提出的内存大小就可以,依据宿主机的布局能够自个儿开展调治,这里的值可以通晓为虚拟机最大可占用宿主机的有一点点内部存款和储蓄器。

安顿集群ssh免密码登陆

1、在三台机械的/etc/hosts文件中,都布署对三台机器的ip-hostname的照耀

2、首先在三台机械上布置对本机的ssh免密码登陆
生开销机的公钥,进度中持续敲回车就可以,ssh-keygen命令暗中同意会将公钥放在/root/.ssh目录下
ssh-keygen -t rsa
将公钥复制为authorized_keys文件,此时使用ssh连接本机就无需输入密码了
cd /root/.ssh
cp id_rsa.pub authorized_keys

3、接着布署三台机器相互之间的ssh免密码登陆
选择ssh-copy-id -i spark命令将本机的公钥拷贝到钦定机器的authorized_keys文件中(方便好用)

3.内部存款和储蓄器分配达成,点击下一步设置虚构硬盘

图片 5

那边有四个选项,能够挑选选用已部分设想硬盘文件,恐怕先不增多虚构硬盘,等成立好设想机后再增加,这里我们选择第三个现行反革命创制虚构硬盘

4.点击创造,步入设想硬盘文件类型选项

图片 6

暗许选项就能够,暗中认可选项的是VirtualBox虚构机软件专用的磁盘影像格式,其余设想机软件可能不或然读取。

5.点击下一步,进行设置什么样分配虚构硬盘

图片 7

暗中同意选项就可以,两个有什么不一致界面仲春经有很详细的表达了。

6.点击下一步,钦命设想硬盘文件的寄存地方和设想硬盘的分寸。

图片 8

设想硬盘的深浅使用第3步中推荐介绍的硬盘大小就能够。

7.点击成立,虚构机创造实现

图片 9

主界面中已经见到刚刚创设的设想机。

二、安装操作系统

 1.符合规律运行刚刚创造好的设想机

图片 10

提示我们采取三个虚拟光盘文件(iso文件)也许光驱来运维虚构Computer

2.抉择我们策动好的操作系统iso镜像文件,点击运行

图片 11

第贰个选取是设置CentOS7,首个选用是检查操作系统文件是不是损坏并安装CentOS7。

3.我们选拔第三个挑选按下回车键直接设置,步向语言选择分界面

图片 12

选择汉语->简体汉语

4.点击分界面右下角的一而再按键实行下一步

图片 13

提示先完结带有米黄叹号的剧情,不然不能够开展下一步,大家看看安装地方处在此情景,并显示已选取自动分区

 5.月光蓝叹号只是警告大家暗中同意使用了自行分区,目标是让我们确定一下,是还是不是要求手动分区,大家点步向

图片 14

一经无需手动分区,还动用暗中认可的电动分区举办设置的话,大家向来点击左上角的成功退出

6.退出后回去刚刚那么些摘要的分界面,发掘色激情叹号不见了

图片 15

右下角能够起来安装了,可是安装在此以前大家须要把以太网打开,不然系统安装后相当的小概联网,况兼在命令行操作系统内展开网络需求修改配置相对坚苦。

7.摘要的分界面上得以见见互连网和主机名的展现为未链接,大家点踏向

图片 16

点击展开以太网,点击完结退出

8.此时的网络和主机名展现无线已接连

 图片 17

9.要是须要图形分界面,能够点击软件选取,采取基本条件(如果急需图形分界面请下载完整版的操作系统iso镜像文件)

图片 18

那边选拔最小安装就可以,linux作为服务器时一般不需求图形分界面(图形分界面会消耗掉一定的硬件质量),有贰个巅峰仿真器,然后能够由此shell命令去操作系统就丰硕了。

10.回去安装音讯摘要分界面,点击开头安装

图片 19

警戒大家设置root密码和开创客商,并且下边彰显已经发轫设置操作系统

11.设置root密码

图片 20

点击达成两回到位root密码设置

12.回去配置分界面,开掘创制客户的告诫消失了

本文由金沙澳门官网发布于金沙澳门官网网址,转载请注明出处:P01_Spark开发测试运行环境安装

关键词: 金沙澳门官网