试分析中间结果存储在本地磁盘而不是hdfs上有何优缺点

如题所述

试着答:
先说明:
1. namenode负责管理目录文件信息真文件块存放datanode
2. 每mapreduce(即task)都java进程默认单独jvm所能同类象同节点
看描述namenode,datanodejobtracker,tasktracker点混

所:
问题1. 块存放datanode
问题2.inputformatdatanode确切说tasktracker每mapreduce都自象map读入文件实际同map读文件同块reduce各任务读入数据相交
问题3.reduce输肯定hdfs普通文件datanode
问题4.每reducer自outputformat象与前面inputformat原
温馨提示:内容为网友见解,仅供参考
第1个回答  2020-06-19
因为map的输出是中间的结果,这个中间结果是由reduce处理后才产生最终输出结果,而且一旦作业完成,map的输出结果就可以删除。如果把它存储在hdfs中就并备份,难免有些小题大作,如果运行map任务的节点将map中间结果传送给reduce任务之前失败,hadoop将在另一个节点上重新运行这个map任务以在此构建mao中间结果。

转载于:https://my.oschina.net/u/4009325/blog/2396152
相似回答