windows 运行hadoop自带例子程序wordcount总是死在Map 0% Reduce0%

windows xp 系统运行.
hadoop版本是1.0.4。

(1)新建一个”input”目录,然后在里面新建test1”、“test2”文本文件,并分别写入“hello world”、“hello hadoop”
$ mkdir input
$ cd input
$ echo “hello world”>test1.txt
$ echo “hello hadoop”>test2.txt
注:input文件的路径为: /home/hadoop/input
(2)将本地文件“input”复制到hadoop的目录下
注:复制粘贴删除重命名可以不用指令,直接鼠标右键。方法是先在终端输入:
$ sudo nautilus

(3)将hadoop里面的“input”文件上传到HDFS文件系统中,然后重命名为“in”,然后新建数据输出目录“out”,指令及其结果如下:
$ bin/hadoop dfs –put input in
$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out
(4)任务执行完毕,查看结果
$ bin/hadoop dfs –cat out/*
hadoop 1
hello 2
world 1
cat: Source must be a file.
(6)输出文件从Hadoop分布式文件系统,复制到本地文件系统中查看,指令及其结果如下:、
$ bin/hadoop dfs -get out output
$ cat output/*
cat: output/_logs: Is a directory
hadoop 1
hello 2
world 1

进入hadoop目录后,HDFS的一些命令 $ cd/usr/hadoop
bin/hadoop dfs -mkdir [文件夹名称] //建立文件夹
bin/hadoop dfs –ls //查看当前的HDFS根目录
bin/hadoop dfs -rmr [文件或文件名] //删除根目录下的文件或文件夹
bin/hadoop dfs -put [文件名1] [文件名2] //将dbrg1中hadoop目录下的文件名1拷贝到HDFS

希望可以帮助到你,望采纳,谢谢!
温馨提示:内容为网友见解,仅供参考
第1个回答  2013-02-26
HADOOP 不能运行在WINDOWS上。
图片只是Eclipse在WINDOWS上的开发客户端

你说的情况有很多种可能。
首先是配置,单机、伪集群,集群的配置各不相同。
从图上看,你的HDFS配置应该是成功了
请仔细检查MAP-RED的配置,或者贴出来。

检查HOSTS、PROFILE、*ENV等配置。

如果还是不能解决问题,请到HADOOP目录/logs 中查看各个组件的LOG记录,看看有没有异常信息。追问

org.apache.hadoop.mapred.TaskTracker: Error initializing attempt_201302271029_0001_m_000002_1:
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=SYSTEM, access=EXECUTE, inode="tmp":Administrator:supergroup:rwx------这是日志,好像还是权限问题。

追答

你启动hadoop的用户是什么?ROOT?HADOOP?
最简单的办法 ,在WINDOWS 下创建一个HADOOP(或ROOT)用户,登入这个用户,打开ECLIPSE,就可以避免权限问题了

本回答被网友采纳
第2个回答  2013-02-22
新建一个”input”目录,然后在里面新建test1”、“test2”文本文件,并分别写入“hello world”、“hello hadoop”
$ mkdir input
第3个回答  2013-02-22
然后在里面新建test1”、“test2”文本文件,并分别写入“hello world”
第4个回答  2013-04-09
你好,我现在也出现这个问题,你是怎么解决
相似回答