MapReduce怎样读取本地目录的文件

如题所述

推荐答案推荐于2016-08-15

只有在客户端提交MapReduce任务的时候才有可能获取本地文件，当MapReduce执行的时候，Map和Redure任务都是分发到不同的节点运行，一般都不是客户端所在的节点，所以没法获取客户端本地文件。但是通过Java IO API应该可以获取Map或者Reduce运行所在节点的本地文件。或者使用Hadoop的DistributedCache将需要使用到的文件缓存在共享存储，以供Map或者Reduce运行时使用

温馨提示：答案为网友推荐，仅供参考

当前网址：http://22.wendadaohang.com/zd/C2ICh0ICIfSSXX06TI6.html

相似回答

7.3MapReduce工作流程答：记录阅读器(Record Reader)根据分片读取数据，输出key-value对。用户自定义的map函数处理key-value，输出中间结果。中间结果进行shuffle处理，包括分区、排序、合并，形成key-list[value]。reduce函数处理key-value，输出结果。OutputFormat检查输出格式，并确保输出目录存在，然后将结果写入HDFS。文件在HDFS中存储...

在mapreduce程序中怎么读取压缩包来处理答：mapreduce支持几种特定的压缩格式，会自行对这些格式的压缩包进行解压缩操作。具体实现在LineRecordReader类中，该类继承自RecordReader，是MapReduce中用于读取文件的类，该类在读取文件内容前会根据文件后缀判断是否进行解压缩。

大家正在搜

文件或目录损坏且无法读取怎么办 d盘文件或目录损坏无法读取 u盘文件或目录损坏且无法读取读取文件夹下所有文件 java获取文件夹下所有文件文件目录怎么做文件或目录损坏怎么办 java读取txt文件 java读取文件