Hadoop 英文原文：How To Build Optimal Hadoop Cluster

序文

数据库和文件中贮存的数据量天天都在增加，因而我们需求构建可以贮存大量数据（“大数据”），而且便宜、可保护、可伸缩的情况。传统的关系数据库（RDBMS）系统在以后的需求下本钱太高而且不成伸缩，因而开发、运用可以知足需求的新技术正应时宜。

在这些标的目的中，云计算是此中一项抢先的技术。云计算有很多分歧的完成，我们选择的是Hadoop，这是一个具有Apache答应、基于Google Map Reduce的框架。

在本文中，我将测验考试阐明怎么构建一个可伸缩的Hadoop集群，以存储、索引、检索和保护实际上无限容量的数据。

本文将逐渐引见这些部分的装置和设置装备摆设:

• 收集系统构造
• 操作系统
• 硬件请求
• Hadoop软件装置/设置

收集架构

依据我们今朝可以拿到的文档，可以以为云内的节点越在物理上靠近，越能取得更好的功能。依据经历，收集延时越小，功能越好。

为了减少布景流量，我们为这个云创立了一个虚拟专用网。别的，还为使用Server们创立了一个子网，作为拜访云的进口点。

这个虚拟专用网的估计时延约莫是1-2毫秒。如许一来，物理邻近性就不再是一个问题，我们应当经过情况测试来验证这一点。

建议的收集架构：

• 专用TOR（Top of Rack）交流机
• 运用专用中心交流刀片或交流机
• 确保使用Server“接近”Hadoop
• 思索运用以太网绑定

图1 - Hadoop集群的收集架构

操作系统

我们选择Linux作为操作系统。Linux有很多分歧的刊行版，包含Ubuntu、RedHat和CentOS等，不管选择哪个都可以。基于支撑和答应用度的思索，我们终极选择了CentOS 5.7。最好是定制一个CentOS的映像，把那些需求的软件都预装出来，如许一切的机械可以包括类似的软件和Tools，这是一个很好的做法。

依据Cloudera的建议，OS层应当采取以下设置：

• 文件系统

        Ext3文件系统
        撤消atime
        不要运用逻辑卷治理

• 应用alternatives来治理链接
• 运用设置装备摆设治理系统（Yum、Permission、sudoers等）
• 减少内核交流
• 撤消普通用户拜访这些云计算机的权限
• 不要运用虚拟化
• 最少需求以下Linux号令：

        /etc/alternatives
        ln、chmod、chown、chgrp、mount、umount、kill、rm、yum、mkdir

硬件请求

因为Hadoop集群中只要两种节点（Namenode/Jobtracker和Datanode/Tasktracker），因而集群内的硬件设置装备摆设不要超越两种或三种。

图2 - Hadoop集群Server脚色

硬件建议：

• Namenode/Jobtracker：1Gb/s以太网口x2、16GB内存、4个CPU、100GB磁盘
• Datanode：1Gb/s以太网口x2、8GB内存、4个CPU、多个磁盘，总容量500GB以上

实践的硬件设置装备摆设可以与我们建议的设置装备摆设分歧，这取决于你们需求存储和处置的数据量。但我们激烈建议不要在集群中混用分歧的硬件设置装备摆设，以避免那些较弱的机械成为系统的瓶颈。 本文中的一切译文仅用于进修和交换目标，转载请务必注明文章译者、出处、和本文链接。 2KB翻译任务按照 CC 协议，假如我们的任务有进犯到您的权益，请实时联络我们。

2KB项目（www.2kb.com，源码交易平台）,提供担保交易、源码交易、虚拟商品、在家创业、在线创业、任务交易、网站设计、软件设计、网络兼职、站长交易、域名交易、链接买卖、网站交易、广告买卖、站长培训、建站美工等服务