Prefect工作流自動(dòng)化管理系統(tǒng)

Prefect 是一個(gè)新的工作流管理系統(tǒng)，為現(xiàn)代基礎(chǔ)設(shè)施而設(shè)計(jì)，由開源的 Prefect Core 工作流引擎驅(qū)動(dòng)。用戶將任務(wù)組織成流程，而 Prefect 則負(fù)責(zé)其他工作。Prefect 可編排現(xiàn)代數(shù)據(jù)堆棧，是構(gòu)建、運(yùn)行和監(jiān)控大規(guī)模數(shù)據(jù)管道的最簡(jiǎn)單的方法。

使用靈活的 Python 框架輕松將任務(wù)組合到工作流中，然后通過 Prefect UI 或 API 部署、安排和監(jiān)控它們的執(zhí)行。

讓 Prefect 負(fù)責(zé)調(diào)度、基礎(chǔ)設(shè)施、錯(cuò)誤處理、重試、日志、觸發(fā)器、數(shù)據(jù)序列化、參數(shù)化、動(dòng)態(tài)映射、緩存、并發(fā)等。

from prefect import task, Flow, Parameter


@task(log_stdout=True)
def say_hello(name):
    print("Hello, {}!".format(name))


with Flow("My First Flow") as flow:
    name = Parameter('name')
    say_hello(name)


flow.run(name='world') # "Hello, world!"
flow.run(name='Marvin') # "Hello, Marvin!"

特性：

• 自動(dòng)化所有事情
• 本地測(cè)試，全球部署：工作流是在本地開發(fā)和測(cè)試的，然后部署到大規(guī)模執(zhí)行

• 簡(jiǎn)單而強(qiáng)大：Prefect Cloud 由 GraphQL、Dask 和 Kubernetes 驅(qū)動(dòng)