在昨天的文章中介绍了Spark Streaming作业提交的数据接收部分的源码(《Spark Streaming作业提交源码分析接收数据篇》),今天来介绍Spark Streaming中如何处理这些从外部接收到的数据. 在调用StreamingContext的start函数的时候,会调用JobScheduler的start函数.而JobScheduler的start函数会启动ReceiverTracker和jobGenerator. 在启动jobGenerator的时候,系统会根据这次是从Checkpoint恢复与否分别调用restart和startFirstTime函数.
Spark Streaming作业提交源码分析数据处理篇 – 过往记忆
来自：www.iteblog.com/archives/1336