日韩999_亚洲第一色网站_性色av一区二区_一级做a爱片性色毛片高清_日韩欧美中文字幕在线观看_国产一级片

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  應聘面試  >  大數據面試題  > Flink兩階段提交(2PC)

Flink兩階段提交(2PC)

來源:千鋒教育
發布人:wjy
時間: 2022-09-02 15:42:28 1662104548

借助一個文件寫入的例子來說明兩階段提交,在Flink中使用兩階段提交,需要實現TwoPhaseCommitSinkFunction這個抽象類的四個方法,我們下面來說明。

protected abstract TXN beginTransaction() throws Exception; protected abstract void preCommit(TXN transaction) throws Exception; protected abstract void commit(TXN transaction); protected abstract void abort(TXN transaction);  

1. beginTransaction - 在事務開始前,我們在目標文件系統上面的臨時目錄上創建一個臨時文件。隨后,我們在程序處理的時候可以將數據寫入到這個文件。

2. preCommit - 在預提交階段,我們刷新文件到磁盤,關閉文件。

3. commit - 在提交階段,我們原子性的將預提交階段的文件移動到真正的目標目錄。需要注意的是,這增加了輸出數據的可見性的延遲,因為不mv是看不到數據的,延遲時間就是設定的checkpoint的時間。

4. abort - 在終止階段,我們刪除臨時文件 *如果步驟中有任何錯誤,Flink會通過最新的checkpoint來恢復程序狀態。

比如預提交成功了,在通知到達operator之前失敗了。

這時候,Flink將operator的狀態恢復到預提交階段,即還未真正提交的時候。

為了能在重啟的時候能夠正確的終止或者提交事務,我們需要在預提交階段將足夠的信息保存到checkpoint中。

在這個例子中,這些信息是臨時文件以及目標目錄的地址, 當從checpoint恢復時,Flink會先執行一個Commit操作。

Flink兩階段提交(2PC)

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 日韩视频在线观看一区 | 欧美一区二区三区不卡 | 精品国产人成亚洲区 | 日韩不卡在线视频 | 黑人又粗又长 | 欧美九九视频 | 九色91精品国产网站 | 九色中文 | 在线观看人成网站深夜免费 | 国产自产视频 | 黄色网址在线免费观看 | 日本黄大片在线观看 | 成品视频观看免费 | 国产剧情精品在线 | 99精品视频99 | 国产区视频在线观看 | 免费看视频网站 | 青青久精品观看视频最新 | 国产一区二区三区久久小说 | 欧洲精品一区二区三区在线观看 | 国产精品久久久久久久久久影院 | 日韩欧美一区二区中文字幕 | 毛茸茸xxxx的视频 | 久久精品国产亚洲沈樵 | 国产精品天天看特色大片不卡 | 韩日精品在线 | jizzjizz日本人 | 巨大欧美黑人xxxxbbbb | 两个人看的视频www在线高清 | 欧美精品束缚一区二区三区 | 欧美b| 久久影片 | 99久久精品无码一区二区毛片 | 2018年国产成人精品视频 | 免费在线a视频 | 色中文网| 日本人视频-jlzz jlzz jlzz | 在线看片a| 天天舔天天干 | 黄免费网站 | a级日本|