引言
Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。它由Hadoop分布式文件系统（HDFS）和MapReduce编程模型组成。本指南旨在帮助初学者和中级开发者快速掌握Hadoop的基本概念和编程技巧，并通过一些简单的示例来加深理解。
Hadoop架构概览
Hadoop的核心组件包括：
HDFS (Hadoop Distributed File System)：用于存储大规模数据集。
MapReduce：一种编程模型，用于并行处理大规模数据集。
开发环境准备
为了开始Hadoop开发，您需要完成以下步骤：
安装Java：Hadoop基于Java编写，因此需要安装JDK。
安装Hadoop：下载并安装Hadoop，通常使用二进制发布版。
配置Hadoop：编辑core-site.xml, hdfs-site.xml, mapred-site.xml等配置文件。
设置环境变量：确保$HADOOP_HOME指向Hadoop安装目录，并将其加入到PATH变量中。
编程基础
Hadoop提供了多种编程接口：
Java API：最常用的API，适合大多数应用场景。
其他语言接口：如Python的mrjob, Ruby的mruby, Scala的Apache Spark等。
Java API入门
下面是一个使用Java API编写的简单WordCount示例：
创建项目：使用Maven或Gradle创建一个新的Java项目。
添加依赖：在pom.xml中添加Hadoop依赖。
编写Mapper类：```javaimport java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;
public class WordCountMapper extends Mapper {
private final static IntWritable one = new IntWritable(1); private Text word = new Text();
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
for (String token : line.split("\\s+")) {
word.set(token);
context.write(word, one);
}
}
}
4. **编写Reducer类**：
```java
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
public class WordCountReducer extends Reducer
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
编写Driver程序：```javaimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WordCountDriver {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCountDriver.class); job.setMapperClass(WordCountMapper.class); job.setReducerClass(WordCountReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); }}
6. **编译和打包**：使用Maven或Gradle编译并打包项目。
7. **提交Job**：使用`hadoop jar`命令提交MapReduce Job。
```bash
hadoop jar target/wordcount-1.0-SNAPSHOT.jar com.example.WordCountDriver input output
检查输出：使用hadoop fs -cat命令查看输出文件。
hadoop fs -cat output/part-r-00000
其他语言接口
除了Java之外，Hadoop还支持多种语言的接口。下面介绍几个常见的选择：
Python：使用mrjob库。
Ruby：使用mruby库。
Scala：虽然不是直接与Hadoop交互，但经常与Apache Spark一起使用。
Python示例
下面是一个使用mrjob库编写的WordCount示例：
安装mrjob：
pip install mrjob
编写Python脚本：
from mrjob.job import MRJob
class WordCount(MRJob):
def mapper(self, _, line):
for word in line.split():
yield word, 1
def reducer(self, word, counts):
yield word, sum(counts)
if __name__ == '__main__':
WordCount.run()
运行脚本：
python wordcount.py input > output
结论
Hadoop为开发者提供了一个强大的平台来处理大规模数据集。通过学习上述示例，您可以开始探索更多复杂的Hadoop应用。记得参考官方文档和社区资源来深入了解各种高级特性和优化技巧。