Hive支持并行并行是什么意思思

点击联系发帖人 时间：2018-08-24 17:32
并行是什么意思

        Hive会将一个查询转化成一个或者多個阶段这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段默认情况下，Hive一次只会执行一个阶段不过，某个特定的job可能包含众多的阶段而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并行执行的这样可能使得整个job的执行时间缩短。不过如果有更多的阶段可以并行执行，那么job可能就越快完成

}

重新启动hive看到刚刚配置的参数巳经生效了：

经过测试，添加了这两个参数以后extract_trfc_page_kpi脚本执行时间从耗时20分钟，优化为耗时3分钟

}

当并行度为32的时候,速度提升了将菦20倍,但是会占用更多的map和reduce资源

}

我要回帖

更多关于 并行是什么意思 的文章

更多推荐

版权声明：文章内容来源于网络，版权归原作者所有，如有侵权请点击这里与我们联系，我们将及时删除。

点击添加站长微信