Mincemeat-node極簡(jiǎn)MapReduce框架

Mincemeat-node 是使用Node.js實(shí)現(xiàn)的極簡(jiǎn)MapReduce框架，可以快速的部署投入工作，免去Hadoop繁瑣的配置，享受隨心大數(shù)據(jù)。

Mincemeatpy實(shí)現(xiàn)的是一種非常簡(jiǎn)單的MapReduce模型，僅僅實(shí)現(xiàn)了任務(wù)的分布計(jì)算，并沒有類似HDFS這樣的支撐，因此只適合做計(jì)算量很 大的工作，但是相對(duì)于Hadoop的好處在于部署非常的方便，單文件隨處運(yùn)行，在實(shí)際使用中非常的方便，這也是我想用Node.js去實(shí)現(xiàn)的原因之一。 Node.js的網(wǎng)絡(luò)異步處理模型非常適合于這種突發(fā)通信量較大，性能要求比較高的場(chǎng)景，并且也是單文件隨處運(yùn)行的典型。相對(duì)的，Node.js也有一個(gè) 很嚴(yán)重的缺點(diǎn)：無法很好的利用多核CPU。因此在代碼的實(shí)現(xiàn)上，我還是使用了多進(jìn)程的方式來達(dá)到最大化的利用計(jì)算資源，并且對(duì)Client的負(fù)載進(jìn)行檢測(cè) 以便做負(fù)載均衡。