兔子紅箭頭引導(dǎo)關(guān)注

來(lái)源于公眾號(hào)：?數(shù)據(jù)倉(cāng)庫(kù)與Python大數(shù)據(jù)

數(shù)據(jù)倉(cāng)庫(kù)研發(fā)規(guī)范整體流程

下圖為根據(jù)階段規(guī)劃與角色職責(zé)的內(nèi)容，整理出的數(shù)據(jù)倉(cāng)庫(kù)研發(fā)規(guī)范的整體流程。

附錄

數(shù)據(jù)倉(cāng)庫(kù)需求模板
數(shù)據(jù)探查報(bào)告
ETL文檔
調(diào)度設(shè)計(jì)文檔
單元測(cè)試報(bào)告
發(fā)布操作文檔
代碼評(píng)審報(bào)告
測(cè)試分析方案報(bào)告
交付測(cè)試報(bào)告
質(zhì)量評(píng)估報(bào)告模板
驗(yàn)收?qǐng)?bào)告模板

一、數(shù)據(jù)倉(cāng)庫(kù)需求模板

本章節(jié)將為您介紹數(shù)據(jù)倉(cāng)庫(kù)需求模板、常規(guī)需求申請(qǐng)單和迭代需求申請(qǐng)單。

填寫說(shuō)明：

*為必填項(xiàng)目，其它可以選擇性進(jìn)行填寫。
指標(biāo)邏輯可以引用指標(biāo)和術(shù)語(yǔ)（或指標(biāo)庫(kù)）中的定義。
如果數(shù)據(jù)范圍、更新頻率、時(shí)間窗口、數(shù)據(jù)提供形式和表頭信息不一致，可以針對(duì)指標(biāo)項(xiàng)單獨(dú)說(shuō)明。
如果涉及到數(shù)據(jù)提供或數(shù)據(jù)交互，數(shù)據(jù)驗(yàn)收人、待驗(yàn)收數(shù)據(jù)樣本和數(shù)據(jù)驗(yàn)收方式為必填項(xiàng)，其它項(xiàng)并非強(qiáng)制需求。

數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)需求模板


數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)需求模板
需求申請(qǐng)	需求申請(qǐng)人*
	需求使用方*
	期望完成日期*
	需求類型*
需求目的	需求背景*
	期望目標(biāo)*
	應(yīng)用系統(tǒng)名
	應(yīng)用系統(tǒng)聯(lián)系人
需求內(nèi)容	需求概覽	需求范圍*	描述此次需求涉及的范圍（可以從人群特征，業(yè)務(wù)場(chǎng)景等維度定義數(shù)據(jù)范圍、改造哪些表等）。
		包含的指標(biāo)	多個(gè)指標(biāo)以逗號(hào)分隔。如果指標(biāo)較多，可以在日常業(yè)務(wù)需求附表中的指標(biāo)名稱一欄填寫。
		數(shù)據(jù)交互方式	涉及到數(shù)據(jù)輸出的，需要描述數(shù)據(jù)的交互方式、格式等。
		附件說(shuō)明	如果有附件需要補(bǔ)充的，請(qǐng)?jiān)诖苏f(shuō)明，并同步附加附件。
項(xiàng)目涉眾	數(shù)據(jù)產(chǎn)品經(jīng)理
	設(shè)計(jì)人員
	開(kāi)發(fā)人員
	測(cè)試人員
	數(shù)據(jù)安全與合規(guī)人員
需求版本變更歷史
版本號(hào)	版本確認(rèn)日期	版本變更點(diǎn)	提交人

常規(guī)需求申請(qǐng)單

指標(biāo)需求中通常會(huì)涉及到下表中的約定項(xiàng)，如果需要自定義約定項(xiàng)，可以在自定義格式列進(jìn)行填寫。


約定項(xiàng)	默認(rèn)格式	自定義格式
日期	yyyymmdd
比率值	4位小數(shù)點(diǎn)
時(shí)間戳	yyyy-mm-dd hh24:mi:ss，格林尼治時(shí)間。
金額	單位為分。
時(shí)間粒度	日：T-1日的00:00~24:00。
	周：周一到周日，對(duì)應(yīng)指標(biāo)僅周日有值。
	月：自然月，對(duì)應(yīng)指標(biāo)僅月末最后一天有值。
	年累計(jì)：自然年，1月1日到T-1。
	財(cái)年累計(jì)：財(cái)年4月1日到T-1。


約定項(xiàng)	約定項(xiàng)	填寫內(nèi)容
時(shí)間窗口（歷史數(shù)據(jù)要求）*	存儲(chǔ)周期*
更新頻率（日、周、月、小時(shí)、分鐘、其它）*	期望數(shù)據(jù)更新時(shí)間*
數(shù)據(jù)驗(yàn)收人	待驗(yàn)收數(shù)據(jù)樣本
數(shù)據(jù)驗(yàn)收方式	數(shù)據(jù)提供形式	物理表數(shù)據(jù)文件數(shù)據(jù)查詢服務(wù)或接口
備注


?NO.	粒度	目錄	接口表	指標(biāo)名稱*	指標(biāo)邏輯*	空值/異常值處理*	監(jiān)控項(xiàng)	值是否唯一*	數(shù)據(jù)來(lái)源*	安全等級(jí)*	備注

迭代需求申請(qǐng)單


數(shù)據(jù)倉(cāng)庫(kù)需求變更申請(qǐng)單
需求變更申請(qǐng)	原始需求ID*
	需求申請(qǐng)人*
	需求使用方*
	期望完成日期*
需求變更原因	需求變更背景*
	是否可以在需求評(píng)審前預(yù)知*
	如何避免此類變更發(fā)生*
需求變更內(nèi)容	原始需求（對(duì)于新增的需求，填無(wú)）*	變更內(nèi)容*	變更類型*
需求變更內(nèi)容

二、代碼評(píng)審報(bào)告

代碼評(píng)審要求


用例小類	測(cè)試要點(diǎn)	說(shuō)明	是否已檢查
數(shù)據(jù)一致性測(cè)試	主鍵唯一性	產(chǎn)出表必須有物理主鍵或邏輯主鍵，且在數(shù)據(jù)上主鍵成立。	是
	主鍵和外鍵邏輯關(guān)系	檢查設(shè)計(jì)文檔里關(guān)于主外鍵的設(shè)計(jì)是否在開(kāi)發(fā)階段得以實(shí)現(xiàn)，且在數(shù)據(jù)上成立，例如是否存在外鍵丟失。	是
	系統(tǒng)/業(yè)務(wù)間格式和類型一致性檢查	檢查設(shè)計(jì)文檔描述的字段定義是否與實(shí)際值一致。例如日期是否包含時(shí)分秒，金額字段是否為Double，單位為元/分，保留小數(shù)位數(shù)。	是
	業(yè)務(wù)來(lái)源一致性檢查	從同樣業(yè)務(wù)來(lái)源的指標(biāo)是否在數(shù)據(jù)上一致。例如同樣是余額指標(biāo)，數(shù)據(jù)來(lái)源是否一致或來(lái)自同一加工鏈路，如果不是，則結(jié)果是否一致。	是
	同名邏輯定義檢查	字段或邏輯定義相同，是否存在值不一樣的情況。例如同樣是貸款發(fā)放額，不同的表之間數(shù)據(jù)是否一致。	是
數(shù)據(jù)完整性	數(shù)據(jù)獲取是否完整	代碼中的數(shù)據(jù)獲取邏輯是否完整。例如累計(jì)客戶數(shù)，是否完整包含了歷史上有效存在，但當(dāng)前不存在的客戶。	是
	邊界值檢查	代碼中對(duì)于邊界值的處理是否正確。例如最近30天包含今天但不包含第前30天的。例如日期篩選是否為雙閉區(qū)間。	是
	過(guò)濾條件完整性	過(guò)濾條件是否完整。例如篩選當(dāng)前有效會(huì)員需要加上會(huì)員狀態(tài)的限制。	是
指標(biāo)間邏輯檢查	同表字段間邏輯檢查	同表不同字段間在業(yè)務(wù)上存在的邏輯是否在數(shù)據(jù)上成立。例如貸款為結(jié)清狀態(tài)，則結(jié)清日期一定非空；狀態(tài)為逾期，則逾期金額一定大于0。	是
指標(biāo)間邏輯檢查	跨表/跨系統(tǒng)邏輯檢查	跨表/跨系統(tǒng)間在業(yè)務(wù)上存在的邏輯是否在數(shù)據(jù)上成立。例如不良貸款余額>0，則該賬戶三級(jí)分類應(yīng)為次級(jí)、可疑和損失。	是

代碼評(píng)審測(cè)試用例記錄


備注	測(cè)試結(jié)果	測(cè)試結(jié)果備注	是否轉(zhuǎn)化監(jiān)控	監(jiān)控閾值	創(chuàng)建日期	創(chuàng)建人	所屬項(xiàng)目名稱
檢查主鍵的唯一性	通過(guò)		是	<1	2019/3/16	XXX	訂單主題分析

三、驗(yàn)收?qǐng)?bào)告模板

測(cè)試驗(yàn)收點(diǎn)


序號(hào)	測(cè)試驗(yàn)證點(diǎn)（按實(shí)際情況增減）	是否通過(guò)
1	數(shù)據(jù)主鍵是否重復(fù)。
2	結(jié)果數(shù)據(jù)的明細(xì)分布，包括數(shù)據(jù)量、空值、均值及其他相關(guān)業(yè)務(wù)指標(biāo)的分布。
3	抽樣檢查：與需求設(shè)定時(shí)的抽樣樣本進(jìn)行對(duì)比，查看是否存在差異。
4	如果是迭代需求，需要與一期的結(jié)果進(jìn)行對(duì)比，查看數(shù)據(jù)量差異、明細(xì)差異等。
5	某些數(shù)值型結(jié)果機(jī)型同比、環(huán)比，獲得大概增長(zhǎng)率和變化范圍，判斷數(shù)據(jù)的正確性。

需求實(shí)現(xiàn)情況

已實(shí)現(xiàn)內(nèi)容。
未實(shí)現(xiàn)內(nèi)容：需要說(shuō)明未實(shí)現(xiàn)的原因。

發(fā)現(xiàn)問(wèn)題列表


序號(hào)	問(wèn)題描述	風(fēng)險(xiǎn)影響分析	風(fēng)險(xiǎn)等級(jí)	建議跟進(jìn)負(fù)責(zé)人
Delay_1	由于XX API回參格式限制，XX字段返回結(jié)果無(wú)法適配計(jì)算引擎字段類型。	接口改造需花費(fèi)X天，導(dǎo)致項(xiàng)目整體進(jìn)度Delay X天。	高	張三

驗(yàn)收評(píng)估結(jié)果

業(yè)務(wù)方（數(shù)據(jù)產(chǎn)品經(jīng)理）：通過(guò)/不通過(guò)。

驗(yàn)收通過(guò)。遺留的問(wèn)題在本項(xiàng)目中可以接受，但Delay_1缺陷必須在xxxx年x月x日之前啟動(dòng)升級(jí)包修復(fù)。

四、交付測(cè)試報(bào)告

代碼交付情況

關(guān)鍵指標(biāo)包括BUG（每輪測(cè)試發(fā)現(xiàn)的缺陷總數(shù)）、執(zhí)行率和通過(guò)率。

文檔交付情況

文檔測(cè)試準(zhǔn)入條件

交付測(cè)試遺留問(wèn)題

記錄交付測(cè)試通過(guò)后，遺留在功能測(cè)試階段未解決的問(wèn)題。

五、單元測(cè)試報(bào)告

單元測(cè)試要求


用例小類	測(cè)試要點(diǎn)	說(shuō)明
規(guī)范性	命名規(guī)范檢查（表、視圖、工作流、字段）	是否符合MaxCompute數(shù)倉(cāng)建設(shè)規(guī)范管理指南中命名規(guī)范的表命名規(guī)范。
	代碼格式和注釋規(guī)范性	是否符合MaxCompute數(shù)倉(cāng)建設(shè)規(guī)范管理指南中的編碼規(guī)范。
	表引用規(guī)范性	數(shù)據(jù)不允許跨層引用。
	表更新策略規(guī)范	建議臨時(shí)表均為非分區(qū)表，正式表均為分區(qū)表。
	是否支持重跑	代碼必須支持重跑。
源數(shù)據(jù)質(zhì)量	非空值檢查	檢查所用字段是否存在空值，以及代碼對(duì)空值處理的策略是否正確。
	字段枚舉值檢查	字段的枚舉值是否都在代碼考慮范圍內(nèi)，是否有可能會(huì)出現(xiàn)新值。
	主鍵檢查	物理主鍵或邏輯主鍵是否成立。
	數(shù)據(jù)完整性檢查	代碼中引用的數(shù)據(jù)能否支撐實(shí)際需求。
	字段間邏輯檢查	字段間的業(yè)務(wù)邏輯關(guān)系是否在數(shù)據(jù)上成立，例如余額=總的發(fā)放-總的回收。
代碼質(zhì)量/BUG檢查	歷史拉鏈表檢查斷鏈/交叉鏈	使用標(biāo)準(zhǔn)SQL進(jìn)行檢驗(yàn)。
	數(shù)據(jù)傾斜檢查	是否存在傾斜的情況，是否有大表join小表未用mapjoin等。
	表分區(qū)選擇檢查	代碼對(duì)表分區(qū)的選擇是否正確。
	關(guān)聯(lián)條件檢查	關(guān)聯(lián)條件是否正確，是否會(huì)產(chǎn)生意料外的結(jié)果，例如多對(duì)多關(guān)聯(lián)、笛卡爾積。
	字段類型檢查	字段類型是否正確，例如：金額字段必須為X數(shù)據(jù)類型，編號(hào)字段必須為X數(shù)據(jù)類型。
	執(zhí)行效率檢查	單條SQL執(zhí)行時(shí)間不超過(guò)30分鐘，單個(gè)腳本執(zhí)行時(shí)間不超過(guò)60分鐘。
數(shù)倉(cāng)特殊需求	臟數(shù)據(jù)檢查	檢查是否有臟數(shù)據(jù)。
	增量/全量數(shù)據(jù)抽取規(guī)范	抽取時(shí)間大于X分鐘的，則考慮更改為增量抽取。
	數(shù)倉(cāng)抽取時(shí)間點(diǎn)檢查	數(shù)倉(cāng)抽取時(shí)業(yè)務(wù)系統(tǒng)是否ready，抽取的數(shù)據(jù)是否完整。
指標(biāo)特性檢查	細(xì)分指標(biāo)趨勢(shì)檢查	例如會(huì)員拉鏈表記錄數(shù)相比前一天必須是正增長(zhǎng)、當(dāng)日累計(jì)值-上日累計(jì)值必須大于0。
	不同粒度數(shù)據(jù)轉(zhuǎn)換正確性	例如細(xì)粒度向粗粒度匯總，通常使用最大/最高/最小/最低等過(guò)濾條件，如：支用層逾期天數(shù)轉(zhuǎn)換到客戶層指標(biāo)（最高逾期天數(shù)）。最高逾期天數(shù) = Max（支用層逾期天數(shù)）。
	值域范圍檢查	檢查字段值的范圍是否正確，如：金額>=0，比率<=1，天數(shù)<=業(yè)務(wù)起始日期至今，還款日期>=放款日期。
	代碼值分布檢查	從業(yè)務(wù)邏輯考量字段值的分布情況是否合理。
	可累加值與不可累加值檢查	檢查可累加值和不可累加值的處理邏輯正確性，如：計(jì)算客戶數(shù)總計(jì)時(shí)需要做去重處理，金額則可以累加。

單元測(cè)試用例記錄


序號(hào)	用例大類	測(cè)試要點(diǎn)	表	字段	自定義表達(dá)式	備注
1	規(guī)范性	命名規(guī)范檢查（表、視圖、工作流、字段）	jrcdm_agt_ovd_ins_detail_fact_dd
2	規(guī)范性	是否支持重跑	jrcdm_agt_ovd_ins_detail_fact_dd
3	源數(shù)據(jù)質(zhì)量	主鍵檢查	afclms_clms_loan_contract	contract_no
4	指標(biāo)特性檢查	值域范圍檢查	jrcdm_cust_drawndn_fact_ds	prin_max_ovd_days， inte_max_ovd_days	prin_max_ovd_days>=inte_max_ovd_days	檢驗(yàn)逾期天數(shù)的業(yè)務(wù)邏輯。
5	指標(biāo)特性檢查	值域范圍檢查	x_jredw_da_drawndn_ovd_date_info	Prin_Ovd_Start_Dt	Prin_Ovd_Start_Dt<=Prin_Ovd_End_Dt, Inte_Ovd_Start_Dt <=Inte_Ovd_End_Dt	檢查業(yè)務(wù)邏輯正確性。


測(cè)試結(jié)果	測(cè)試結(jié)果備注	是否轉(zhuǎn)化監(jiān)控	監(jiān)控閾值	創(chuàng)建日期	創(chuàng)建人	所屬項(xiàng)目名稱
通過(guò)				2013/7/16	XXX	某項(xiàng)目
通過(guò)				2013/7/16	XXX	某項(xiàng)目
通過(guò)				2013/7/16	XXX	某項(xiàng)目
通過(guò)		是	<1	2013/7/16	XXX	某項(xiàng)目
未通過(guò)	開(kāi)發(fā)代碼中存在以下兩個(gè)問(wèn)題：未對(duì)期次還款日大于當(dāng)前日期的記錄進(jìn)行過(guò)濾，這部分為未到期記錄，需要排除。未對(duì)記錄中創(chuàng)建時(shí)間小于期次還款日的、未結(jié)清的期次記錄的逾期結(jié)束時(shí)間，賦予與逾期開(kāi)始時(shí)間一致的處理。	是	<1	2013/7/16	XXX	某項(xiàng)目

六、發(fā)布操作文檔


序號(hào)	節(jié)點(diǎn)ID	文件名	發(fā)布次序	是否需要生產(chǎn)冒煙	是否需要重跑歷史數(shù)據(jù)	重跑歷史時(shí)間段	發(fā)布驗(yàn)證是否通過(guò)
1	xxxxx	dw_user_log_info_d.sql	1	Y	Y	20190326-20190426	Y

七、數(shù)據(jù)探查報(bào)告

數(shù)據(jù)探查報(bào)告模板，如下表所示。


字段順序	字段名	字段注釋	字段類型	總行數(shù)	空值個(gè)數(shù)


空值比例	唯一個(gè)數(shù)	均值(number)::TOP1(string)	最小值::TOP2	1%分位數(shù)::TOP3	5%分位數(shù)::TOP4


25%分位數(shù)::TOP5	中位數(shù)::BOT5	75%分位數(shù)::BOT4	95%分位數(shù)::BOT3	99%分位數(shù)::BOT2	最大值::BOT1

八、質(zhì)量評(píng)估報(bào)告模板

測(cè)試情況說(shuō)明

測(cè)試用例執(zhí)行通過(guò)率：0%~100%。
每日發(fā)現(xiàn)故障趨勢(shì)圖。
線下缺陷嚴(yán)重程度分類。

需求實(shí)現(xiàn)說(shuō)明

需求覆蓋率（在測(cè)分文檔中，需求與功能對(duì)應(yīng)列表為準(zhǔn)）：0%~100%。

需求變更情況：包括已走正式流程的需求變更，郵件通告的需求變更，以及當(dāng)前功能改動(dòng)了原有需求的說(shuō)明。


階段	說(shuō)明	分類
測(cè)分階段	增加老會(huì)員模式下添加銀行卡的出錯(cuò)情況提示。	需求變更
	老會(huì)員添加卡的流程中，增加生僻字用戶的判斷。	需求變更
	增加推薦規(guī)則模板：推薦規(guī)則為空時(shí)的展示方式。	需求變更

未實(shí)現(xiàn)需求：請(qǐng)說(shuō)明需求未實(shí)現(xiàn)的原因。

遺留問(wèn)題列表


序號(hào)	問(wèn)題描述	風(fēng)險(xiǎn)影響分析	風(fēng)險(xiǎn)等級(jí)	建議跟進(jìn)負(fù)責(zé)人
Delay_1	由于XX API回參格式限制，XX字段返回結(jié)果無(wú)法適配計(jì)算引擎字段類型。	接口改造需花費(fèi)X天，導(dǎo)致項(xiàng)目整體進(jìn)度Delay X天。	高	XXX

質(zhì)量評(píng)估結(jié)果

測(cè)試是否通過(guò)
保留建議
遺留的問(wèn)題在本項(xiàng)目中可以接受，但Delay_1缺陷必須在XXX年X月X日之前啟動(dòng)升級(jí)包修復(fù)。

免責(zé)聲明：
本公眾號(hào)所有分享的軟件和資料來(lái)自網(wǎng)絡(luò)收集和整理，所有文字和圖片版權(quán)歸屬于原作者所有，且僅代表作者個(gè)人觀點(diǎn)，與數(shù)據(jù)工匠俱樂(lè)部無(wú)關(guān)，文章僅供讀者學(xué)習(xí)交流使用，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容，如文章內(nèi)容涉及侵權(quán)，請(qǐng)聯(lián)系后臺(tái)管理員刪除

(歡迎大家加入數(shù)據(jù)工匠知識(shí)星球獲取更多資訊。)

聯(lián)系我們

掃描二維碼關(guān)注我們

微信：SZH9543

郵箱：[email protected]

QQ：2286075659

數(shù)據(jù)倉(cāng)庫(kù)研發(fā)規(guī)范（附錄）