2022年最强大数据面试宝典(全文50000字,建议收藏)(五)
5. 介绍下Flink的容错机制(checkpoint)Checkpoint机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保证应用流图状态的一致性。Flink的Checkpoint机制原理来自“Chandy-Lamport...

2022年最强大数据面试宝典(全文50000字,建议收藏)(四)
35. Spark Master 使用 Zookeeper 进行 HA,有哪些源数据保存到 Zookeeper 里面?spark 通过这个参数 spark.deploy.zookeeper.dir 指定 master 元数据在 zookeeper 中保存的位置,包括 Worker,Driver 和 Application 以及 Executors。standby 节点要从 zk 中,获得元数据信....
2022年最强大数据面试宝典(全文50000字,建议收藏)(三)
2. Spark 有哪些组件?master:管理集群和节点,不参与计算。worker:计算节点,进程本身不参与计算,和 master 汇报。Driver:运行程序的 main 方法,创建 spark context 对象。spark context:控制整个 application 的生命周期,包括 dagsheduler 和 task scheduler 等组件。client:用户提交程序的入....
2022年最强大数据面试宝典(全文50000字,建议收藏)(二)
16. YARN的任务提交流程是怎样的当jobclient向YARN提交一个应用程序后,YARN将分两个阶段运行这个应用程序:一是启动ApplicationMaster;第二个阶段是由ApplicationMaster创建应用程序,为它申请资源,监控运行直到结束。 具体步骤如下:用户向YARN提交一个应用程序,并指定ApplicationMaster程序、启动ApplicationMaster的....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
Java面试那些事儿
手把手带您学习Java,开启编程之路。
+关注