首页 » 试题答案b » Spark中的窄依赖有shuffle宽依赖没有shuffle()

Spark中的窄依赖有shuffle宽依赖没有shuffle()

 

『题目』:Spark中的窄依赖有shuffle宽依赖没有shuffle()

  • 答案:
  • A.错误

1、在很多小文件场景下,Spark会起很多Task,当SQL逻辑中存在Shuffle操作时,会大大增加hash分桶数,严重影响性能。FusionInsight中,针对小文件的场景通常采用算子,来对Table中的小文件生成的partition进行合并,减少partition数,从而避免在shuffle的时候,生成过多的hash分桶,提升性能()

  • 答案:
  • A.join

2、以下关于Spark中宽依赖和窄依赖的描述正确的是()

  • 答案:
  • 正在整理中!

3、在CBR中删除某个存储备份,手工删除或自动过期时,仅删除它没有被其它备份数据所依赖的数据块()

  • 答案:
  • 正在整理中!

4、DataIDE中,虚拟节点类型是空跑节点,即调度时直接返回成功状态不会真正执行。两个周期调度任务task1、task2之间没有依赖关系,业务上也没有共同上游任务,但是希望可以有一个共同的父任务进行统筹官理,那么可以创建一个虚拟节点作为task1和task2的上游任务()

  • 答案:
  • 正在整理中!

原文链接:Spark中的窄依赖有shuffle宽依赖没有shuffle(),转载请注明来源!