基於雲服務MRS構建DolphinScheduler2調度系統的案例詳解
為什麼寫這篇文章？
- 網上關於DolphinScheduler的介紹很多但是都缺少瞭與實際大數據平臺結合的案例指導。
- DolphinScheduler1.x版本，2.x重構瞭內核實現，性能提升20倍！但是因為重構導致2.x與1.x部署過程存在差異，按照1.x部署2.x版本存在不少坑。
- 選擇輕量化、免運維、低成本的大數據雲服務是業界趨勢，如果搭建DolphinScheduler再同步自建一套Hadoop生態成本太高！因此我們通過結合華為雲MRS服務構建數據中臺。
環境準備
- dolphinscheduler2.0.3安裝包
- MRS 3.1.0普通集群
- Mysql安裝包 5.7.35
- ECS centos7.6
安裝MRS 客戶端
MRS客戶端提供java、python開發環境，也提供開通集群中各組件的環境變量：Hadoop、hive、hbase、flink等。
參見登錄ECS安裝集群外客戶端
安裝MySQL服務
1. 創建ECS用戶
為瞭方便數據庫管理，對於安裝的MySQL數據庫，生產上建立瞭一個mysql用戶和mysql用戶組：
# 添加mysql用戶組 groupadd mysql # 添加mysql用戶 useradd -g mysql mysql -d /home/mysql # 修改mysql用戶的登陸密碼 passwd ****
2.解壓安裝包
``` cd /usr/local/ tar -xzvf mysql-5.7.13-linux-glibc2.5-x86_64.tar.gz # 改名為mysql mv mysql-5.7.13-linux-glibc2.5-x86_64 mysql ```
賦予用戶讀寫權限
chown -R mysql:mysql mysql/
3. 配置文件初始化
1. 創建配置文件my.cnf
``` vim /etc/my.cnf [client] port = 3306 socket = /tmp/mysql.sock [mysqld] character_set_server=utf8 init_connect='SET NAMES utf8' basedir=/usr/local/mysql datadir=/usr/local/mysql/data socket=/tmp/mysql.sock log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid #不區分大小寫 lower_case_table_names = 1 sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION max_connections=5000 default-time_zone = '+8:00' ```
2. 初始化log文件，防止沒有權限
``` #手動編輯一下日志文件，什麼也不用寫，直接保存退出 cd /var/log/ vim mysqld.log :wq 退出保存 chmod 777 mysqld.log chown mysql:mysql mysqld.log ```
3. 初始化pid文件，防止沒有權限
``` cd /var/run/ mkdir mysqld cd mysqld vi mysqld.pid :wq保存退出 # 賦權 cd .. chmod 777 mysqld chown -R mysql:mysql /mysqld ```
4. 初始化數據庫
初始化數據庫，並指定啟動mysql的用戶，否則就會在啟動MySQL時出現權限不足的問題
/usr/local/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --lc_messages_dir=/usr/local/mysql/share --lc_messages=en_US
初始化完成後，在my.cnf中配置的datadir目錄（/var/log/mysqld.log）下生成一個error.log文件，裡面記錄瞭root用戶的隨機密碼。
cat /var/log/mysqld.log
執行後記錄最後一行：root@localhost: xxxxx 。 這裡的xxxxx就是初始密碼。後面登入數據庫要用到。
4. 啟動數據庫
#源目錄啟動： /usr/local/mysql/support-files/mysql.server start
設置開機自啟動服務
# 復制啟動腳本到資源目錄 cp /usr/local/mysql/support-files/mysql.server /etc/rc.d/init.d/mysqld # 增加mysqld服務控制腳本執行權限 chmod +x /etc/rc.d/init.d/mysqld # 將mysqld服務加入到系統服務 chkconfig --add mysqld # 檢查mysqld服務是否已經生效 chkconfig --list mysqld # 切換至mysql用戶，啟動mysql，或者稍後下一步再啟動。 service mysqld start # 從此就可以使用service mysqld命令啟動/停止服務 su mysql service mysqld start service mysqld stop service mysqld restart
5.登陸，修改密碼，預置dolphinscheduler的用戶
1. 修改密碼
```
# 系統默認會查找/usr/bin下的命令;建立一個鏈接文件。
ln -s /usr/local/mysql/bin/mysql /usr/bin
# 登陸mysql的root用戶
mysql -uroot -p
# 輸入上面的默認初始密碼（root@localhost: xxxxx）
# 修改root用戶密碼為XXXXXX
set password for root@localhost=password("XXXXXX");
```
2. 預置dolphinscheduler的用戶
```
mysql -uroot -p
mysql>CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
# 修改 {user} 和 {password} 為你希望的用戶名和密碼,192.168.56.201是我的主機ID
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost' IDENTIFIED BY 'dolphinscheduler';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'192.168.56.201' IDENTIFIED BY 'dolphinscheduler';
#刷新權限
mysql> flush privileges;
#檢查是否創建用戶成功
mysql> show databases;
#出現dolphinscheduler,查看創建的用戶
mysql> use mysql;
mysql> select User,authentication_string,Host from user;
```
安裝dolphinscheduler服務
1. 建立本機id免密
在任意文件夾下進行這一步均可，為防止誤會，我在dolphinscheduler203進行這一步，創建用戶dolphinscheduler,後面所有操作都是再這個用戶下做的。設置root免密登錄該用戶：
# 創建用戶需使用 root 登錄 useradd dolphinscheduler # 添加密碼 echo "dolphinscheduler" | passwd --stdin dolphinscheduler # 配置 sudo 免密 sed -i '$adolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' /etc/sudoers sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers # 修改目錄權限,在這一步前將jdbcDriver(我的mysql版本5.6.1,driver版本8.0.16)放入lib裡,一並修改權限 chown -R dolphinscheduler:dolphinscheduler dolphinscheduler203 #進入新用戶 su dolphinscheduler ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys
2. 修改配置參數
修改install-config.conf文件
[dolphinscheduler@km1 dolphinscheduler203]$ vi conf/config/install-config.conf 修改： ips="192.168.56.201" masters="192.168.56.201" workers="192.168.56.201:default" alertServer="192.168.56.201" apiServers="192.168.56.201" pythonGatewayServers="192.168.56.201" # DolphinScheduler安裝路徑，如果不存在會創建,這裡不能放你解壓後的ds路徑，放置後在運行代碼時同名文件、文件夾會沖突導致消失 installPath="/opt/dolphinscheduler203" # 部署用戶，填寫在 **配置用戶免密及權限** 中創建的用戶 deployUser="dolphinscheduler" # --------------------------------------------------------- # DolphinScheduler ENV # --------------------------------------------------------- # 安裝的JDK中 JAVA_HOME 所在的位置 javaHome="/opt/hadoopclient/JDK/jdk1.8.0_272" # --------------------------------------------------------- # Database # --------------------------------------------------------- # 數據庫的類型，用戶名，密碼，IP，端口，元數據庫db。其中 DATABASE_TYPE 目前支持 mysql, postgresql, H2 # 請確保配置的值使用雙引號引用，否則配置可能不生效 DATABASE_TYPE="mysql" SPRING_DATASOURCE_URL="jdbc:mysql://192.168.56.201:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8" # 如果你不是以 dolphinscheduler/dolphinscheduler 作為用戶名和密碼的，需要進行修改 SPRING_DATASOURCE_USERNAME="dolphinscheduler" SPRING_DATASOURCE_PASSWORD="dolphinscheduler" # --------------------------------------------------------- # Registry Server # --------------------------------------------------------- # 註冊中心地址，zookeeper服務的地址 registryServers="192.168.56.201:2181"
zk地址獲取方式：
登錄manager，訪問zookeeper服務，copy管理ip即可（前提ECS與MRS集群網絡已打通）：
2. 修改 conf/env 目錄下的 dolphinscheduler_env.sh
以相關用到的軟件都安裝在/opt/Bigdata/client下為例：
• export HADOOP_HOME=/opt/Bigdata/client/HDFS/Hadoop • export HADOOP_CONF_DIR=/opt/Bigdata/client/HDFS/Hadoop • export SPARK_HOME2=/opt/Bigdata/client/Spark2x/spark • export PYTHON_HOME=/usr/bin/pytho • export JAVA_HOME=/opt/Bigdata/client/JDK/jdk1.8.0_272 • export HIVE_HOME=/opt/Bigdata/client/Hive/Beeline • export FLINK_HOME=/opt/Bigdata/client/Flink/flink • export DATAX_HOME=/xxx/datax/bin/datax.py • export PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$DATAX_HOME:$PATH
說明
- 這一步非常重要,例如 JAVA_HOME 和 PATH 是必須要配置的，沒有用到的可以忽略或者註釋掉
- 環境變量查找方式說明：假設MRS客戶端安裝在/opt/Bigdata/client
source /opt/client/bigdata_env HADOOP_HOME環境地址：通過echo $HADOOP_HOME獲得 /opt/Bigdata/client/HDFS/Hadoop HADOOP_CONF_DIR：/opt/Bigdata/client/HDFS/Hadoop SPARK_HOME: 通過echo $SPARK_HOME獲得/opt/Bigdata/client/Spark2x/spark JAVA_HOME: 通過echo $JAVA_HOME獲得/opt/Bigdata/client/JDK/jdk1.8.0_272 HIVE_HOME：通過echo $HIVE_HOME獲得/opt/Bigdata/client/Hive/Beeline FLINK_HOME：通過echo $FLINK_HOME 獲得/opt/Bigdata/client/Flink/flink
3. 將mysql 驅動包放入lib下
tar -zxvf mysql-connector-java-5.1.47.tar.gz
cp mysql-connector-java-5.1.47.jar /opt/dolphinscheduler203/lib/
4.創建元數據庫數據表
執行sh script/create-dolphinscheduler.sh
5. 服務安裝、啟停
每次啟停都可以重新部署一次：sh install.sh
啟停命令
# 一鍵停止集群所有服務 sh ./bin/stop-all.sh # 一鍵開啟集群所有服務 sh ./bin/start-all.sh # 啟停 Master sh ./bin/dolphinscheduler-daemon.sh stop master-server sh ./bin/dolphinscheduler-daemon.sh start master-server # 啟停 Worker sh ./bin/dolphinscheduler-daemon.sh start worker-server sh ./bin/dolphinscheduler-daemon.sh stop worker-server # 啟停 Api sh ./bin/dolphinscheduler-daemon.sh start api-server sh ./bin/dolphinscheduler-daemon.sh stop api-server # 啟停 Logger sh ./bin/dolphinscheduler-daemon.sh start logger-server sh ./bin/dolphinscheduler-daemon.sh stop logger-server # 啟停 Alert sh ./bin/dolphinscheduler-daemon.sh start alert-server sh ./bin/dolphinscheduler-daemon.sh stop alert-server # 啟停 Python Gateway sh ./bin/dolphinscheduler-daemon.sh start python-gateway-server sh ./bin/dolphinscheduler-daemon.sh stop python-gateway-server
6. 登錄系統
訪問前端頁面地址：http://xxx:12345/dolphinscheduler
用戶名密碼：admin/dolphinscheduler123
提交MRS任務
1.登錄進入dolphinscheduler webui
2. 配置MRS-hive連接
登錄mrs manager查看hiveserver ip:
創建Hive數據連接，普通集群沒有權限可以使用默認用戶hive，如有需要可以使用在MRS裡面已經創建的用戶:
3. 創建任務
1、創建項目
2、創建工作流
3、在工作流編輯任務
4、任務上線
5、啟動任務流之後可以查詢工作流實例和任務實例
6、登錄Manager頁面，選擇“集群 > 服務 > Yarn > 概覽”
7、單擊“ResourceManager WebUI”後面對應的鏈接，進入Yarn的WebUI頁面，查看Spark任務是否運行
到此這篇關於基於雲服務MRS構建DolphinScheduler2調度系統的文章就介紹到這瞭,更多相關DolphinScheduler調度系統內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！
推薦閱讀：
- 基於Jupyter notebook搭建Spark集群開發環境的詳細過程
- pycharm利用pyspark遠程連接spark集群的實現
- Go語言dolphinscheduler任務調度處理
- 新手Hadoop安裝 環境搭建
- Hadoop環境配置之hive環境配置詳解