本节将通过构建一个简单的项目工程,围绕对实现分布式文件系统(HDFS)的操作展开讲述,让读者能够轻松完成实际操作。
提示:以统计单词出现频率为背景,对分布式文件系统(HDFS)上存放的业务数据进行统计,通过编写MapReduce算法来实现统计相同单词出现的次数。
关于项目工程的构建,这里介绍两种项目工程,它们分别是普通的Java项目工程和Maven项目工程,在构建一个Hadoop项目时,读者可以选择自己熟悉的方式来创建。
1.1构建JavaProject结构工程
下面创建一个基于JavaProject(普通的Java项目)的Hadoop项目,具体操作步骤如下。
(1)打开IDE(代码编辑器),弹出可视化界面后,依次选择File
New
JavaProject命令,如图2-1所示。
图2-1IDE(代码编辑器)选择项
(2)IDE(代码编辑器)会弹出NewJavaProject对话框,如图2-2所示,选择默认的Usedefaultlocation复选框,并填写项目名game-x-j,选择本地的JRE环境为JavaSE-1.8,最后单击Finish按钮。
图2-2填写Java项目工程信息
1.2构建Maven结构工程
下面介绍另一种方式——通过Maven来创建Hadoop项目工程,这种方式和JavaProject创建项目工程不同,需要填写groupId、artifactId和version等项目信息。
提示:Maven项目工程是一种对象模型(POM),可以通过描述信息来管理项目的构建、报告和文档。推荐读者在学习的过程当中使用Maven结构来创建项目。
1.IDE(代码编辑器)选择项
打开IDE(代码编辑器),弹出可视化界面后,依次选择File
New
Other命令,如图2-所示。
图2-IDE(代码编辑器)选择项
2.项目类型选择
完成上述操作后,IDE(代码编辑器)会弹出一个对话框,如图2-4所示,在其中找到Maven目录并单击展开,然后选择MavenProject子目录,之后单击Next按钮。
图2-4选择MavenProject项目
.项目工程属性选择
在NewMavenProject对话框中选中Createasimpleproject复选框并单击Next按钮,如图2-5所示。
图2-5设置Maven项目工程属性
4.项目信息填写
在Artifact工作区间,填写GroupId、ArtifactId和Version个属性值即可,最后单击Finish按钮,完成基于Maven结构的Hadoop项目工程的创建操作,如图2-6所示。
图2-6填写Maven项目工程信息
提示:这里的Hadoop项目名为game-x,这里通过后缀m来表示该项目工程为Maven工程。其中,GroupId是项目组织唯一标识,对应Java包结构;ArtifactId是项目唯一标识,对应项目名;Version用于项目工程版本控制。
转载请注明:http://www.0431gb208.com/sjslczl/1575.html