- 帖子详情
Spring + Maven + Hadoop
IT小君
2023-10-24T23:40:36 我在Spring + Maven + Hadoop环境中遇到了一些问题。
我正在使用Apache Hadoop,但没有使用SpringSource提供的spring-hadoop。
我在Maven中添加了以下依赖项来使用java中的Hadoop。
并且我执行了Hadoop的MapReduce作业,MapReduce作业工作正常。
但是我无法在Hadoop Web UI的"正在运行的作业"列表中看到已执行的作业(http://xxx.xxx.xxx.xxx:50030/jobtracker.jsp)。
我是通过java应用程序启动,而不是使用hadoop命令(例如ex-bin/hadoop -jar ....jar)。这可能是原因吗?
Hadoop提供了API可以在本地运行MR作业,无需设置Hadoop集群。 如果您在Hadoop的Web界面中没有看到您的作业在运行/完成-似乎您是在本地运行MR作业。
要远程运行-请指定适当的作业跟踪器主机,在您的情况下http://xxx.xxx.xxx.xxx:9001