宙斯Zeus淘寶Hadoop作業(yè)平臺(tái)

宙斯(zeus)是什么

宙斯是一個(gè)完整的Hadoop的作業(yè)平臺(tái)
從Hadoop任務(wù)的調(diào)試運(yùn)行到生產(chǎn)任務(wù)的周期調(diào)度 宙斯支持任務(wù)的整個(gè)生命周期

從功能上來說，支持：
Hadoop MapReduce任務(wù)的調(diào)試運(yùn)行
Hive任務(wù)的調(diào)試運(yùn)行
Shell任務(wù)的運(yùn)行
Hive元數(shù)據(jù)的可視化查詢與數(shù)據(jù)預(yù)覽
Hadoop任務(wù)的自動(dòng)調(diào)度
完整的文檔管理

宙斯開源，不僅僅是開源技術(shù)，更是開源產(chǎn)品

開發(fā)中心，一個(gè)文檔管理，開發(fā)調(diào)試的環(huán)境，在任務(wù)上線前的主要工作區(qū)域
調(diào)度中心，生產(chǎn)任務(wù)的調(diào)度環(huán)境，當(dāng)任務(wù)調(diào)試通過后，在此處配置調(diào)度信息進(jìn)行生產(chǎn)調(diào)度

宙斯運(yùn)行原理

使用指南

快速啟動(dòng)(Quick Start)：
1.設(shè)置配置項(xiàng)
在/web/src/main/filter/antx.properties 中對(duì)配置項(xiàng)進(jìn)行設(shè)置
設(shè)置完成后，復(fù)制到${user.home}/antx.properties處
2.pom.xml本地jar地址修改
在/web/pom.xml中修改properties中的local.highcharts
因?yàn)榇薺ar不在maven倉(cāng)庫(kù)中，此jar已經(jīng)在/web/libs/highcharts-1.4.0.jar
將systemPath路徑設(shè)置為絕對(duì)路徑
3.數(shù)據(jù)庫(kù)配置
zeus數(shù)據(jù)庫(kù):/web/src/main/resources/persistence.xml中對(duì)數(shù)據(jù)庫(kù)進(jìn)行配置
hive元數(shù)據(jù)庫(kù):/web/src/main/resources/templates/hive-site.xml中對(duì)Hive metastore數(shù)據(jù)庫(kù)進(jìn)行配置
4.打包
mvn package
打包在/web/target/exploded/zeus-web.war下
使用tomcat之類容器運(yùn)行即可

以上步驟可以保證這個(gè)web項(xiàng)目正常啟動(dòng)，如果需要正式上線此項(xiàng)目，還需要配置以下內(nèi)容：
1.動(dòng)態(tài)模板配置
宙斯系統(tǒng)中有很多模板是可以動(dòng)態(tài)修改的，包括以下一些，建議在正式運(yùn)行之前都配置好
首頁(yè)展示內(nèi)容 啟動(dòng)后參見頁(yè)面指南
首頁(yè)通知內(nèi)容 啟動(dòng)后參見頁(yè)面指南
hive 默認(rèn)udf函數(shù) com.taobao.zeus.jobs.sub.HiveJob實(shí)現(xiàn)TODO內(nèi)容

2.登陸系統(tǒng)
宙斯不包含單獨(dú)的注冊(cè)系統(tǒng)
建議使用單點(diǎn)登陸來實(shí)現(xiàn)登陸
大致原理：
(1) web.xml添加一個(gè)filter，用來跳轉(zhuǎn)到單點(diǎn)登陸系統(tǒng)
(2) Spring容器中添加一個(gè)Bean，實(shí)現(xiàn)com.taobao.zeus.web.Login.Filter.SSOLogin接口

3.配置hadoop相關(guān)環(huán)境 默認(rèn)的hadoop-site.xml和hive-site.xml在 /web/src/main/resources/templates下
修改相應(yīng)的配置以對(duì)應(yīng)相應(yīng)的hadoop集群

4.超級(jí)管理員配置 在com.taobao.zeus.store.Super中進(jìn)行配置