一、準(zhǔn)備工作

查看下Docker和Docker Compose版本，確保你安裝了這些軟件。

在 Flink 官網(wǎng)上下載 Flink 的 Docker 鏡像。您可以使用以下命令從 Docker Hub 中下載：

docker pull flink:1.18.0-scala_2.12

此命令將下載 Flink 1.18.0 版本的 Docker 鏡像，并且使用 Scala 2.12 進(jìn)行編譯。

二、編寫Docker Compose文件

Docker Compose可以通過(guò)一個(gè)YAML文件來(lái)定義和管理多個(gè)容器的服務(wù)。我們將使用Docker Compose來(lái)定義Flink集群的容器服務(wù)。

創(chuàng)建一個(gè) docker-compose.yml 文件，該文件描述了您要啟動(dòng)的容器及其配置。下面是一個(gè)基本的示例文件：

      version: '3'

services:
  jobmanager:
    image: flink:1.18.0-scala_2.12
    command: jobmanager
    ports:
      - "8081:8081"
    volumes:
      - ./settings/:/settings
      - ./data/:/data
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
    restart: always
  taskmanager:
    image: flink:1.18.0-scala_2.12
    command: taskmanager
    depends_on:
      - jobmanager
    scale: 1
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
        taskmanager.numberOfTaskSlots: 20
    volumes:
      - ./settings/:/settings
      - ./data/:/data
    restart: always

    

上述代碼定義了兩個(gè)服務(wù)：jobmanager和taskmanager。jobmanager用于管理Flink作業(yè)，taskmanager用于執(zhí)行Flink作業(yè)的任務(wù)。

三、構(gòu)建和啟動(dòng)容器

在終端中，切換到包含docker-compose.yml文件的目錄，然后執(zhí)行以下命令構(gòu)建和啟動(dòng)容器：

docker-compose up -d

以上命令將會(huì)以后臺(tái)模式啟動(dòng)Flink容器集群

四、訪問(wèn)Flink Web界面

一旦容器啟動(dòng)完成，可以通過(guò)瀏覽器訪問(wèn)Flink Web界面。在瀏覽器中輸入http://localhost:8081，即可訪問(wèn)Flink的Web界面。在該界面中，可以查看作業(yè)列表、監(jiān)控任務(wù)狀態(tài)等信息。

五、提交Flink作業(yè)

現(xiàn)在，可以通過(guò)Flink Web界面提交和管理Flink作業(yè)。首先，將一個(gè)Flink作業(yè)的JAR文件上傳到Flink Web界面。然后，通過(guò)界面上的操作，選擇相應(yīng)的作業(yè)并點(diǎn)擊Submit按鈕來(lái)提交作業(yè)。

另外，也可以通過(guò)命令行方式提交Flink作業(yè)。在終端中，執(zhí)行以下命令來(lái)提交Flink作業(yè)：

      docker exec -it <jobmanager_container_id> flink run -m taskmanager:8081 /path/to/job.jar

    

其中，是Flink集群中jobmanager容器的ID，/path/to/job.jar是Flink作業(yè)的JAR文件路徑。

注意：上面的提交是舊的方式，筆者這里用的Flink 1.18版本，上面的命令行已經(jīng)舍棄了。

//先把你本地的jar包文件

docker cp /你的文件目錄/flink-release-1.18.0/flink-reimann-test/target/flink-reimann-test-1.18.0.jar:/opt/flink/test

docker exec -it/bin/bash

bin/flink run -c org.apache.flink.PartitionerTest test/flink-reimann-test-1.18.0.jar

Web界面會(huì)展示剛才跑的任務(wù)

還有一種界面上提交任務(wù)的方式，我這里就不說(shuō)了，留給你自己去探索。

六、關(guān)閉容器

當(dāng)不再需要使用Flink集群時(shí)，可以通過(guò)以下命令關(guān)閉并刪除容器：

      docker-compose down

    

歡 迎 大 家 關(guān) 注 我 的 公 眾 號(hào) 【 老 周 聊 架 構(gòu) 】 ，AI 、大數(shù)據(jù)、云原生、物聯(lián)網(wǎng)等相關(guān)領(lǐng)域的技術(shù)知識(shí)分享。