藉助Flink與Pulsar，BIGO打造實時訊息處理系統
對於這樣一個需求，我們可能會有幾種方案：第一種方案，我們會直接使用 Pulsar 的 HDFS 的 connector，會把 topic 裡面的資料會消費出來然後落到 HDFS 上面去，這樣做的話，當我們需要對 topic 裡面進行一系列的...
《基於Apache Flink的流處理》讀後感
二、流式計算要解決的關鍵技術問題1、分散式環境下的事件排程和處理一方面，事件到達的速度可能非常快，需要將其分散到各節點並行處理，以實現scalability...
Flink操練(二十六)之map求平均值
/** * @program： Flink_learn * @description： 整數平均值 * @author： Mr...
Flink操練(三十五)之自定義鍵控狀態（四）ReducingState
/** * @program： Flink_GY * @description： AggregatingState求平均值 * @author： Mr...
Flink操練(二十八)之自定義sink
/** * @program： Flink_learn * @description： 自定義輸出 * @author： Mr...
Flink的類載入器解析
反向類載入和類載入器解析順序在涉及動態類載入的設定中（外掛元件、會話設定中的 Flink 作業），通常有兩個類載入器的層次結構：（1）Java 的應用程式類載入器，它包含類路徑中的所有類，以及（2）動態外掛/ 使用者程式碼類載入器...
Flink從kafka訊息佇列讀取資料-示例
bat ——bootstrap-server localhost：9092 ——topic test20201217編寫Flink從kafka訊息佇列讀取資料程式碼工程中新增pom.xml依賴 org...
Flink編寫實時任務WordCount 示例
12、準備一份txt檔案，存放工程src\main\resources\目錄下檔案填寫示例內容如：hello worldhello flinkhello sparkhello hoodoopand kafkaand hdfsDataFlow...
Flink計算支援的資料型別
使用最廣泛的型別有如下幾種：基礎資料型別Flink支援Java、Scala所有基本資料型別，如Integer、String、Double、Long 等java編寫示例：DataStream stream1 = env...
使用FLINK SQL從savepoint恢復hudi作業 （flink 1.13）
org/maven2/org/apache/flink/flink-sql-connector-kafka_2...
Zeppelin結合Flink查詢hudi資料
sh startLog dir doesn‘t exist， create /data/zeppelin/logsPid dir doesn’t exist， create /data/zeppelin/runZeppelin start ...
使用flink SQL Client將mysql資料寫入到hudi並同步到hive
匯入mysql資料使用flink sql client進行如下操作構建源表create table stu4（ id bigint not null， name string， school string， nickname str...
一篇圖文掌握把Hive表切換到Iceberg表
2 準實時操作CDC資料Iceberg 是統一的資料湖儲存，支援多樣化的計算模型，也支援各種引擎（包括 Spark、Presto、hive）來進行分析...
Flink操練(三十二)之自定義鍵控狀態（二）ListState
} }}總結Flink提供了三種基於key/value的state介面，ListState介面適用於快取多個值的計算...
Apache Flink會超越Apache Spark麼？
下面是Apache Spark和Apache Flink之間的8個比較：結論兩者都是通用資料流處理應用程式，它們提供的API以及體系結構和核心元件是不同的...
一文秒懂大資料流實時處理框架Flink與Spark的異同點
03 Flink功能特徵（1）處理特徵Flink具有如下的處理特徵：1）支援高吞吐、低延遲、高效能的流處理2）支援帶有事件時間的視窗（Window）操作3）支援有狀態計算的Exactly-once語義4）支援高度靈活的視窗（Window）操...
大資料-flink-將watermarks遲到資料旁路輸出
flink flink-streaming-java_2...
大資料-Flink-流處理框架-檢查點恢復+flink檢查點演算法+儲存點
從檢查點恢復狀態在執行流應用程式期間，Flink 會定期儲存狀態的一致檢查點，如果發生故障， Flink 將會使用最近的檢查點來一致恢復應用程式的狀態，並重新啟動處理流程...