分类目录: 云计算/云存储

[转]图解分布式一致性协议Paxos

转载自:loop in codes

Paxos协议/算法是分布式系统中比较重要的协议,它有多重要呢?
<分布式系统的事务处理>

Google Chubby的作者Mike Burrows说过这个世界上只有一种一致性算法,那就是Paxos,其它的算法都是残次品。

<大规模分布式存储系统>

理解了这两个分布式协议之后(Paxos/2PC),学习其他分布式协议会变得相当容易。

学习Paxos算法有两部分:a) 算法的原理/证明;b) 算法的理解/运作。

阅读全文 »

| 1 分2 分3 分4 分5 分 (4.92- 12票) Loading ... Loading ... | 同时归档在:架构设计, 算法数据结构 | 标签: , |

OpenStack Swift源码导读之——可插拔的后端设备实现

Swift作为一个存储的具体实现出现在OpenStack中,与Cinder的定位有差别,这导致Swift的兼容并包性不够强。必须基于XFS文件系统来存储数据?显然Swift也希望能将数据存储到更多的后端设备中,这样Swift可以与具体的XFS文件系统解耦,作为独立的存储软件存在。这能使得Swift存储的构建更加灵活,同时也能吸引更多的存储厂商投入到其怀抱中。

Swift提供了一种简单机制来实现后端存储设备的pluggable——可插拔的后端。这篇文章想探讨一下该机制。在亚特兰大峰会上面,这一特性是Swift的热门话题之一,对于亚特兰大OpenStack峰会涉及Swift的话题这里有汇总:链接

阅读全文 »

| 1 分2 分3 分4 分5 分 (5.00- 12票) Loading ... Loading ... | 同时归档在:Swift, 架构设计 | 标签: , , , , , |

两步验证确保云上个人数据安全

苹果的“艳照门”事件在让广大屌丝看到了任何时尚成人杂志都无法看到的“绝密”照片外,也引发了一些思考。在云技术日益普及,并给我们的工作生活带来极大便利的同时,云安全始终是一个隐藏的巨大威胁。云不像本地的物理设备,可以隔绝网络,放到保险箱里面锁起来,云必须是互联互通的,只要有网络的地方,就有黑客的攻击路径。题外话,即使是本地硬盘,也可能数据泄漏,08年的香港娱乐圈的“艳照门”事件即是苹果电脑送修引发。

两步验证应该是目前最安全的账户保护机制。所有的网银、网购账号无不是使用该方案。形式多样,本质都是使用另外一个手持设备或者微型密钥生成器,来进行第二道认证。只有同时知道账号的密码并且拿到了密钥生成器才能访问账号。频繁使用的服务,敲一次密码都觉得麻烦,还要额外加上一次设备验证,着实麻烦了些。但是,要想到,即使是苹果这样的公司都会疏忽,忘记对“Find My iPhone”服务限制密码试错的次数,其他服务就更难说了,因此我们能做到就是尽可能减小自己的账号被泄漏的机会。

阅读全文 »

| 1 分2 分3 分4 分5 分 (4.82- 11票) Loading ... Loading ... | 同时归档在:移动互联 | 标签: , , , , |

OpenStack Swift源码导读之——业务整体架构和Proxy进程

OpenStack的源码分析在网上已经非常多了,针对各个部分的解读亦是非常详尽。这里我根据自己的理解把之前读过的Swift源码的一些要点记录一下,希望给需要的同学能带来一些帮助。

一、Swift的整体框架图

Swift代码树

阅读全文 »

| 1 分2 分3 分4 分5 分 (4.61- 23票) Loading ... Loading ... | 同时归档在:Swift, 架构设计 | 标签: , , , , |

腾讯自研的弹性云计算系统

来自InfoQ大讲堂的腾讯云虚拟主机的分享。包含云虚拟云主机平台CVM的总体架构、HA与配置升级、在线热迁移及弹性计算的未来与挑战。从文中的介绍可见,整个CVM为腾讯自研,参考了业界的OpenStack的架构。从视频中可以看到CVM的发展历程,目前存在的一些问题,以及做得比较好的热迁移和配置升级方案。

cvm

演讲PPT文档链接。视频链接

| 1 分2 分3 分4 分5 分 (3.77- 13票) Loading ... Loading ... | 归档目录:云计算/云存储 | 标签: , , |

百度是如何使用hadoop的

百度作为全球最大的中文搜索引擎公司,提供基于搜索引擎的各种产品,几乎覆盖了中文网络世界中所有的搜索需求,因此,百度对海量数据处理的要求是比较高的, 要在线下对数据进行分析,还要在规定的时间内处理完并反馈到平台上。百度在互联网领域的平台需求要通过性能较好的云平台进行处理了,Hadoop就是很好 的选择。在百度,Hadoop主要应用于以下几个方面:

阅读全文 »

| 1 分2 分3 分4 分5 分 (3.77- 13票) Loading ... Loading ... | 同时归档在:Hadoop, 架构设计 | 标签: , , , , , |

存储前沿趋势开讲

存储前沿趋势开讲啦第一季:为大数据再造存储

image

观看地址:腾讯视频

| 1 分2 分3 分4 分5 分 (3.58- 12票) Loading ... Loading ... | 同时归档在:存储技术 | 标签: , |

OpenStack与运维

via:InfoQ

| 1 分2 分3 分4 分5 分 (4.45- 11票) Loading ... Loading ... | 同时归档在:架构设计 | 标签: , |

漫谈云上架构和运维的艺术

PPT演示文稿下载

via:InfoQ Club

| 1 分2 分3 分4 分5 分 (4.78- 9票) Loading ... Loading ... | 同时归档在:架构设计 | 标签: , |

七牛镜像存储试用手记

最近发现购买的“乞丐”版网站空间的流量不够用了。尽力把较大的分享资料文档都放在网盘上面,但是网盘的分享功能实在太不稳定了,说禁用就禁用,说变化分享规则就变化规则,根本不靠谱。当然这也不能怪BAT们,也许是国内的政策不能允许大规模的分发。

想起了曾经关注过的七牛云存储,只知道七牛是按照亚马逊的S3功能点来实现的,而且专注于网站静态资源托管,在这一块下了很多功夫。一直没有将站点的数据迁移过去,总觉得迁移太麻烦,还有迁移之后,又担心不能长久使用,说不定哪一天一声不响的就不再提供服务了,到时各种麻烦。

阅读全文 »

| 1 分2 分3 分4 分5 分 (4.67- 9票) Loading ... Loading ... | 同时归档在:建站技术 | 标签: , , |
返回顶部