Twitter Google 英文原文：Return of the Borg: How Twitter Rebuilt Google’s Secret Weapon

Illustration: Ross Patton

John Wilkes说，参与Google就象在《黑客帝国》（The Matrix）里吞下那粒白色的药丸。

四年前，Wilkes仅仅是从外部对Google有所了解。那时他和万万千万的人一样，在往常生活中对Google搜索、Gmail和Google地图高度依托。但后来他参与了处于Google在线帝国最中间位置的工程团队（engineering team）， 大思想家之队（the team of big thinkers）。该团队担负设计驱动Google每项Web处事所需的基础性的硬件和软件系统。

这些系统跨越了由大量数据两头组成的一个全国性的搜集，就在短短一秒中之内，该系统能对数十亿的在线央求做出照应。当Wilkes第一次亲眼看到运转中的这些系统时，他就感到象Neo吞下了那粒白色的小药丸一样，在走出矩阵（the Matrix）里的虚拟全国后，突然就看到了真正决定一切的、组成一个硕大搜集的各种机械。他被这些系统的范畴惊讶到呆若木鸡 —— 他可是一位在惠普实验室（HP Labs）Task了25年其实不断尽力于推动今世打算技能行进的研究员。

Wilkes在阐明事前的经历时说：“我是个老家伙了，在之前，MB级的数据就不算小了，但当我分开Google后，我不克不及不在我那些数字后面再添三个零。” 他在阐明到，在Google这个地方，存储数据的系统剩下PB级的可用空间时就会发出紧急警告。换句话说，用不了几个小时的光景，数亿兆字节的数据就会象洪水般涌出去填满Google的一大量机械。

我更倾向于把这个系统叫做无以名状的系统。 — John Wilkes

随后，John Wilkes一边还在埋头琢磨Google的数据两头帝国终究有多大的范畴时，一边走上岗位，开发用来调和全体这个系统的软件。

这个软件系统叫做伯格（Borg），而且它就是Google最不为人所知的、让Google可以矫捷发展为Web上一支最凹陷的主力军的秘密之一。Wilkes甚至不把这个系统叫做伯格。他说：“我更倾向于把这个系统叫做无以名状的系统。” 但他告诉我们说，Google已经应用这个系统有9到10年的时间了，他和他的团队目前正在构建一个新版本的Tools来替换它, 代号为欧米伽（Omega）。

博格系统可以非常高效地在谷歌数目众多的Server阵列等分配Task。据威尔克斯所说，系统及其高效，甚至可以说是帮谷歌省下一个数据两头。是的，一个残缺的数据两头。这听上去似乎是天方夜谭——也许可以说它就是——可是，谷歌为其搜集帝国开发的新一代软硬件总是会渐渐的渗透到互联网的其它角落。博格系统也不例外。

在 Twitter 公司，一小队工程师使用某名为 “Mesos” 的软件平台开发出了与之类似的系统。“Mesos” 平台由加州大学伯克利分校研究人员开发，代码开源——也就是说，任何人都可以自由的应用它——现在，它正逐渐扩展到其他范围。

其它翻译版本 (1) 加载中

“博格”这个名字十分贴切。谷歌的这个系统供应了一此中央大脑，它可以操纵一切数据两头上的一切Task。多么,谷歌将不必为每个软件系统搭建自力的Server，如谷歌搜索、Gmail、谷歌地图等——它只需搭建一组Server，用来同时实行各种不合的Task就可以够了。一切的这些Task都将被联络为很小的Task，然后博格系统将把这些Task发送就职何它能找到空闲打算本钱中，如打算本钱、打算机内存，或是存储空间。

威尔克斯说，这就仿佛是在拾掇一大聚积木——每块积木的外形和大小都不相似——博格系统的Task就是找到将一切的积木都装到桶里的方法。打算机Task比方积木，而桶则指Server。关键在于不能糜掷桶里的任何空间。

“假设只是将积木轻易的丢到桶里，那么结果就是，要么会有十分多积木装不出来（因为适配不好），要么会有木桶装不满而糜掷”威尔克斯如是说：“但假设你细心安排，你可以用更少的桶装更多的积木。”

“Mesos 使得 Twitter 工程师们更随便的跨数据两头运转其运用。这非常弱小。”—— Ben Hindman

还有其他的方法可以做到这点。你可以使用Server虚拟化技能。但虚拟化将增加不必要的复杂性，但假设去掉这类额外消耗，威尔克斯认为，谷歌的数据两头设置范畴将得以减少几个百分点。“这可以说是一个不必制造的数据两头。”威尔克斯说：“这里几个百分点，何处几个百分点，哇噢，你可以省下十分多钱。

在 Twitter公司，Mesos 实在不具有博格系统相当的影响力。Twitter 的营业范畴比谷歌小十分多，可是 Twitter 的营业总是在不时增加，Mesos 可以更好处理营业的增加。博格 和 Mesos 实在不单单是从Server群上榨取打算才干。它们可以让谷歌或 Twitter 多么的公司将数据两头看成单独的一台配备来对待。

谷歌 或 Twitter 可以仿佛在台式电脑上运转软件一样的在这些海量打算配备上运转软件——这将使得类似 Gmail 、谷歌地图和某些 Twitter 运用的开发人员的Task得以简化。

曾在加州大学伯克利分校创立 Mesos 项目，目前担当 Twitter Mesos 项目总监的 Ben Hindman 称：“Mesos 可以让 Twitter工程师们更随便的跨数据两头运转运用。而这真的非常有效。”

Twitter 公司的 Ben Hindman. 摄影： Ariel Zambelich/Wired

它是一个数据两头，但看起来更象是一块芯片

博格系统和 Mesos 都很庞大。为了更晴天文解它们，最好从小处着手，先从英特尔公司供应给 Ben Hindman 的实验性打算机芯片说起。

大约五年前，事前 Hindman 还在加州大学伯克利分校攻读打算机科学博士学位，而事前的打算机芯片已经是“多核处理器”了。传统的处理器——打算机的地方大脑——同时候只能实行一条指令。但多核处理器容许并行处理多条指令。本质上来说，它是一个含有多个处理器或中间的芯片。

在伯克利分校， Ben Hindman 的研究标的目标是尽可能高效的将打算Task分拨到那些芯片中。英特尔公司供应了试验用的芯片。他将那些芯片连接在一同，制作出了具有64个或128其中心的机械。然后他开发了一套运转多种运用软件的系统，将打算平均的分拨给一切的中间，那边的打算才干闲置，就将指令传递到那边去。

“我们创造，运用次序可以非常巧妙的将其打算Task分拨给打算本钱，但同时它们也非常贪婪。它们忽略其它可能正在运转的运用次序，将一切的打算本钱都抓在自己手里，” Hindman 说：“为此我们开发了一套系统，它可以限制运用次序可访问的中间数量，以便其它运用访问其它中间。且分拨可以适时修改。”

“一个芯片含有64颗或128颗中间，一致个数据两头具有64台或128台机械没有什么差异。”
—— Ben Hindman

Hindman 不时在用一台打算机履行研究。可是当研究时，他可以将这个基础系统运用到全体数据两头中去。“一个具有64颗或128颗中间的芯片，一致个具有64台或128台机械的数据两头没有什么差异”，他说。但如是去做却是出于意外。

当 Hindman 研究多中间处理器问题时，他的冤家—— Andy Konwinski 和 Matei Zaharia——正在伯克利分校打算机科学系的别的一个部门研究可以跨数据两头运转的软件平台。它们被称为“分布式系统”，正是它们构成了现今大大多数大型搜集处事的支柱。它们包含非常多组件，一如使用海量Server处理数据的 Hadoop，和十分多可以将数据储存在多台打算机中的“NoSQL”数据库。

然后，Hindman 和他的冤家决定共同开发一个项目——不只是因为他们互相欣赏。更因为他们矫捷的意想到他们研究的范围当然不合，却互相互补。

之前，你可以在一个Server集群上运转类似 Hadoop 一样的分布式系统。当你需求运转别的一个分布式系统时，你需求搭建一个新的Server集群。但很快Hindman 和他的冤家们创造，基于 Hindman 的芯片研究项目所取得的阅历，他们可以更高效的运转分布式系统。仿佛 Hindman 对多中间处理器同时候运转多种运用所履行的研究一样，他们可以建立一个在单Server集群上同时运转多个分布式系统的平台。

因此便有了 Mesos 。

本文中的一切译文仅用于学习和交流目的，转载请务必注明文章译者、出处、和本文链接。 2KB翻译Task依照 CC 协议，假设我们的Task有侵犯到您的权益，请及时联系我们。

2KB项目（www.2kb.com，源码交易平台）,提供担保交易、源码交易、虚拟商品、在家创业、在线创业、任务交易、网站设计、软件设计、网络兼职、站长交易、域名交易、链接买卖、网站交易、广告买卖、站长培训、建站美工等服务