斯Parker新手入门

作者: 数据库信息  发布:2019-10-09

主要包括以下三部分,本文为第二部分:
一. Scala环境准备 查看
二. Hadoop集群(伪分布模式)安装
三. Spark集群(standalone模式)安装 查看

安装java

Hadoop集群(伪分布模式)安装

  1. 依赖项:jdk(hadoop与java版本兼容性参考链接)、ssh;
    执行ssh localhost若提示:
    localhost: ssh: connect to host localhost port 22: Connection refused
    则需要:
    a.检查是否安装了openssh,若没有则建议通过brew install openssh安装(需要先安装brew,安装brew前还需要先安装xcode,安装方法见官网,官网的方法若超时,可以先在浏览器中打开curl链接并复制到本地保存(如~/Desktop/install),然后修改安装命令为:
    /usr/bin/ruby -e "$(cat ~/Desktop/install)"
    ),启动方式:
    sudo /usr/sbin/sshd

    若启动失败并提示:
    Could not load host key: /etc/ssh/ssh_host_rsa_key
    Could not load host key: /etc/ssh/ssh_host_dsa_key
    Could not load host key: /etc/ssh/ssh_host_ecdsa_key
    Could not load host key: /etc/ssh/ssh_host_ed25519_key

    则,执行以下操作后重新启动:
    sudo cp ~/.ssh/id_rsa /etc/ssh/ssh_host_rsa
    sudo cp ~/.ssh/id_rsa.pub /etc/ssh/ssh_host_rsa.pub

    启动后通过ps -ef | grep ssh检查ssh服务是否存在
    b.检查是否存在以下文件,且authorized_keys 中包含id_rsa.pub中的内容
    ~/.ssh/id_rsa.pub
    ~/.ssh/id_rsa
    ~/.ssh/authorized_keys

    若没有id_rsa.*文件,则执行以下操作:
    ssh-keygen -t rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 0600 ~/.ssh/authorized_keys

  2. 修改/etc/hosts文件(可选)
    添加本机ip到localhost的映射(sudo vim /etc/hosts),如下所示:
    xx.xx.xx.xx localhost
    这一步是为了可以使用形如:hdfs://xx.xx.xx.xx:9000/file/path的格式访问hdfs,否则只能使用localhost。

  3. 下载hadoop-2.7.6安装包,解压到~/tools/hadoop-2.7.6
  4. 修改配置
    a.etc/hadoop/core-site.xml中添加如下配置:
    xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

    b.etc/hadoop/hdfs-site.xml中添加如下配置:
    xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </configuration>

    以上为hdfs相关配置,若要使用yarn,还需进行以下配置
    c.拷贝etc/hadoop/mapred-site.xml.template到etc/hadoop/mapred-site.xml并添加如下配置:
    xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

    d.etc/hadoop/yarn-site.xml中添加如下配置:
    xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

    注:默认存储路径为/tmp/hadoop-<username>/,可以通过配置 “dfs.namenode.name.dir”、 “dfs.datanode.data.dir” 显式指定,参考文档;

  5. 启动服务
    a.格式化namenode
    ./bin/hdfs namenode -format

    b.启动HDFS
    ./sbin/start-dfs.sh
    c.若要启用历史任务服务,执行以下命令:
    ./sbin/mr-jobhistory-daemon.sh start historyserver

    d.若要使用yarn,执行以下命令
    ./sbin/start-yarn.sh

    启动后通过jps命令查看启动的服务,应包含:DataNode、NameNode、SecondaryNameNode(若启动了yarn,还包括:NodeManager、ResourceManager;若启动了历史服务,还包括:JobHistoryServer);

  6. 通过以下网址查看服务状态
    a.历史任务:http://localhost:19888/
    b.集群状态:http://localhost:8088/
    c.NameNode状态:http://localhost:50070/

  7. 测试
    通过以下命令测试hdfs是否可用:
    ./bin/hadoop fs -ls /
    ./bin/hadoop fs -ls hdfs://localhost:9000/
    ./bin/hadoop fs -ls hdfs://xx.xx.xxx.xxx:9000/
    ./bin/hdfs dfs -ls /
    ./bin/hdfs dfs -ls hdfs://localhost:9000/
    ./bin/hdfs dfs -ls hdfs://xx.xx.xxx.xxx:9000/

    若服务可用,需要创建以下目录:
    hdfs://localhost:9000/user/<username>

  8. 停止服务
    可将以下命令写入stop.sh批量执行:
    ./sbin/stop-dfs.sh
    ./sbin/stop-yarn.sh
    ./sbin/mr-jobhistory-daemon.sh stop historyserver

注:若配置了yarn(4.c),则官网中下面的例子是无法成功执行的;若只配置了hdfs(4.a,4.b),是没有问题的:

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input output 'dfs[a-z.] '

参考文档:官方文档

删除自带的java

rpm -qa|grep java

yum -y remove xxx

解压java到opt目录配置环境变量

vi /etc/profile

设置JAVA_HOME变量

export JAVA_HOME=/opt/jdk1.8.0_161

设置JRE_HOME变量

export JRE_澳门金莎娱乐网站 ,HOME=/opt/jdk1.8.0_161/jre

设置PATH变量

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

更新环境变量

source /etc/profile

验证

java -version

安装hadoop

准备

解压

tar -zxvf hadoop-2.7.5.tar.gz

进入目录

cd hadoop-2.7.5

配置环境变量

vi etc/hadoop/hadoop-env.sh

在最后添加一行

export JAVA_HOME=/opt/jdk1.8.0_161

测试,会输出一些help之类的配置

bin/hadoop

伪分布式安装

hadoop 启动

vi etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

vi etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

无密码登录配置

创建秘钥

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

拷贝秘钥

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

改变权限

chmod 0600 ~/.ssh/authorized_keys

测试

ssh localhost

启动hdfs

格式化文件系统

bin/hdfs namenode -format

启动hdfs

sbin/start-dfs.sh

验证

浏览器查看 http://localhost:50070/

或者命令行查看

jps

本文由金沙澳门官网发布于数据库信息,转载请注明出处:斯Parker新手入门

关键词: 金沙澳门官网

上一篇:MongoDB安装及启动
下一篇:没有了