Spring + Maven + Hadoop

IT小君   2023-10-24T23:40:36
我在Spring + Maven + Hadoop环境中遇到了一些问题。 我正在使用Apache Hadoop,但没有使用SpringSource提供的spring-hadoop。 我在Maven中添加了以下依赖项来使用java中的Hadoop。 并且我执行了Hadoop的MapReduce作业,MapReduce作业工作正常。 但是我无法在Hadoop Web UI的"正在运行的作业"列表中看到已执行的作业(http://xxx.xxx.xxx.xxx:50030/jobtracker.jsp)。 我是通过java应用程序启动,而不是使用hadoop命令(例如ex-bin/hadoop -jar ....jar)。这可能是原因吗?
评论(1)
IT小君

Hadoop提供了API可以在本地运行MR作业,无需设置Hadoop集群。 如果您在Hadoop的Web界面中没有看到您的作业在运行/完成-似乎您是在本地运行MR作业。

要远程运行-请指定适当的作业跟踪器主机,在您的情况下http://xxx.xxx.xxx.xxx:9001

2023-10-24T23:40:47   回复