spark kmean 分析城市擁堵區(qū)域
該系統(tǒng)是個(gè)演示系統(tǒng),需要用spark ml 中的kmeans 去分析深圳出租車的gps軌跡數(shù)據(jù),找到城市擁堵的區(qū)域,并將處理后的結(jié)果保存在hbase 中。出租車的gps 數(shù)據(jù)需要先導(dǎo)入kafka,因?yàn)闀r(shí)間場(chǎng)景就是Gps 采集入kafka. 最后通過web 項(xiàng)目中的百度地圖和echarts 來展示hbase 中加工后的數(shù)據(jù),來實(shí)時(shí)展示城市的擁堵區(qū)域。
系統(tǒng)目前的進(jìn)度狀況, 已經(jīng)完成spark,hadoop,kafka,hbase等集群的搭建,spark 項(xiàng)目也已經(jīng)搭建起來,kmeans 初步解析和預(yù)處理,訓(xùn)練等初步動(dòng)作已經(jīng)完成,需要深入和細(xì)化,如何進(jìn)一步訓(xùn)練和分析是否堵了,哪里堵了,加工后的數(shù)據(jù)格式怎么樣的,還未解決,這塊希望能得到解決。
評(píng)論
圖片
表情
