分类「大数据」的所有文章
注意当前环境基于 《HDFS 部署之四 （yarn和mapreduce）》的环境 # flink 下载页面 https://flink.apache.org/downloads.html#apache-flink-1100 cd /usr/local/src # 下载 flink wget https://apache.mirrors.lucidnetworks.net/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz # 下载 Pre-bundled Hadoop 2.8.3 wget https://repo....
当前环境是 《HDFS 部署之四 （yarn和mapreduce）》 的环境 Example: WordCount v1.0 # 添加环境变量 ssh node-1 "echo 'export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar' >> /etc/profile.d/hdfs.sh" ssh node-2 "echo 'export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar' >> /etc...
当前环境是《HDFS 部署之三（完全分布式 高可用）》 的环境 以下操作全部在 node-1 节点上执行 cd $HADOOP_HOME # 编辑 hadoop-env.sh 文件底部添加如下 # YAEN export YARN_RESOURCEMANAGER_USER=root export HDFS_DATANODE_SECURE_USER=root export YARN_NODEMANAGER_USER=root # 编辑 yarn-site.xml 内容如下 <configuration> ...
节点的分配如下 node-1：NN、ZKFC、JN、ZK、DN node-2：NN、ZKFC、JN、ZK、DN node-3：JN、ZK、DN 环境准备 1、修改对应host 2、设置各节点ssh相互免密登陆 3、安装fuser命令 yum install -y psmisc 4、下载安装包(下载到/usr/local/src/) jdk8 官网：https://www.oracle.com/ 下载地址： https://www.oracle.com/java/technologies/javase/j...
1、环境准备 需要两台服务器 分别是 nameNode 和 dataNode 1、修改两台服务器host如下 192.168.95.113 name-node-01 192.168.95.114 data-node-01 2、两台服务器ssh免密登陆 3、下载安装包 jdk8 官网：https://www.oracle.com/ 下载地址： https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html hadoop-2.10.0 官网：...
1 环境准备 下载安装包 jdk8 官网：https://www.oracle.com/ 下载地址： https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html hadoop-2.10.0 官网：http://hadoop.apache.org/ 下载地址：https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz 2 部署 jdk 和 hadoop 部署 jdk cd /us...
1 常用命令 命令基本格式: hadoop fs -cmd < args > 列出根目录下的文件和文件夹：hadoop fs -ls / 列出hdfs文件系统所有的目录和文件：hadoop fs -ls -R / 创建文件夹： hadoop fs -mkdir < hdfs path> hadoop fs -mkdir -p < hdfs path> 上传: hadoop fs -put < local > < hdfs > hadoop fs -put - <...
