关于
我的项目
相关阅读
热度排行
- [转] 宫崎骏用动漫教给我们的人生哲理,每一句都能说到心里! - (日期:[八月 24, 2013] 点击:[53,200])
- Google 网页爬虫报告无法连接站点解决办法 - (日期:[七月 20, 2014] 点击:[38,637])
- 架设Tiny Tiny RSS(TTRSS)阅读器,找回Google Reader! - (日期:[九月 27, 2013] 点击:[27,767])
- SkyDrive、DropBox和Google Drive三大公有云存储服务对比 - (日期:[六月 25, 2013] 点击:[25,570])
- 升级到至强E5440后,与i5 CPU笔记本性能对比 - (日期:[二月 18, 2014] 点击:[23,708])
- 公钥私钥加密解密数字证书数字签名详解 - (日期:[四月 19, 2014] 点击:[22,958])
- 本站建站技术合集 - (日期:[九月 20, 2013] 点击:[22,486])
- 使用OpenerDNS解决无法访问Google的问题 - (日期:[七月 5, 2014] 点击:[21,788])
- WordPress博客添加“返回顶部”按钮 - (日期:[七月 14, 2013] 点击:[21,199])
- Linux文件系统基础之inode和dentry - (日期:[三月 13, 2015] 点击:[20,165])
- 云存储中的HTTP鉴权算法分析 - (日期:[二月 7, 2014] 点击:[18,639])
- 存储基础知识之——磁盘阵列原理及操作实战 - (日期:[二月 9, 2014] 点击:[17,490])
- 精选37条强大的常用linux shell命令组合 - (日期:[九月 4, 2013] 点击:[17,427])
- DNS原理、架构和配置详解 - (日期:[九月 6, 2013] 点击:[16,800])
- Netty和Jetty的Java NIO 网络框架模型分析 - (日期:[七月 13, 2013] 点击:[16,332])
- CoreOS 初识之安装 - (日期:[十一月 16, 2014] 点击:[16,169])
- Windows与Linux文件系统互访的几种方法 - (日期:[八月 21, 2014] 点击:[15,732])
- Dijkstra算法求解最短路径分析 - (日期:[七月 12, 2014] 点击:[14,924])
- NAS解决方案实现多媒体文件共享播放 - (日期:[十二月 21, 2014] 点击:[13,911])
- 简介 - (日期:[九月 1, 2012] 点击:[13,754])
- 如何编程实现 2 + 2 = 5? - (日期:[六月 2, 2014] 点击:[13,269])
- 搭建了一个iNews程序 - (日期:[十月 15, 2013] 点击:[13,236])
- 2014年9月曝出的Bash ShellShock漏洞简析 - (日期:[九月 26, 2014] 点击:[13,137])
- 彻底解决WordPress博客垃圾评论的问题 - (日期:[八月 5, 2013] 点击:[13,085])
- 如何使用1M的内存排序100万个8位数 - (日期:[三月 27, 2014] 点击:[12,552])
- 全部日志列表 - (日期:[十一月 11, 2012] 点击:[12,327])
- 关于回调函数和this指针探讨 - (日期:[八月 24, 2014] 点击:[12,207])
- 给定一个long型常量,其值为x,给定long型变量a,要求a & x 的取值集合 - (日期:[九月 8, 2012] 点击:[11,701])
- WordPress建站必备实用插件 - (日期:[八月 7, 2014] 点击:[11,359])
- Amazon 云计算业务全面介绍 - (日期:[三月 9, 2014] 点击:[11,268])
分类目录
文章归档
- 2024年四月 (1)
- 2024年二月 (1)
- 2023年九月 (1)
- 2023年一月 (1)
- 2022年十月 (1)
- 2022年八月 (2)
- 2022年四月 (1)
- 2022年三月 (1)
- 2021年十二月 (2)
- 2021年十月 (2)
- 2021年九月 (1)
- 2021年八月 (1)
- 2021年五月 (1)
- 2021年三月 (2)
- 2021年一月 (2)
- 2020年十二月 (5)
- 2020年十一月 (2)
- 2020年十月 (2)
- 2020年九月 (1)
- 2020年八月 (5)
- 2020年七月 (2)
- 2019年九月 (1)
- 2018年八月 (1)
- 2018年七月 (1)
- 2018年六月 (1)
- 2018年五月 (1)
- 2018年三月 (1)
- 2018年二月 (1)
- 2018年一月 (2)
- 2017年十二月 (3)
- 2017年十月 (4)
- 2017年九月 (1)
- 2017年七月 (1)
- 2017年六月 (1)
- 2016年十二月 (1)
- 2016年十月 (1)
- 2016年九月 (1)
- 2016年七月 (2)
- 2016年六月 (1)
- 2016年二月 (3)
- 2015年十二月 (3)
- 2015年十一月 (2)
- 2015年十月 (1)
- 2015年八月 (2)
- 2015年七月 (4)
- 2015年六月 (1)
- 2015年三月 (2)
- 2015年二月 (1)
- 2015年一月 (4)
- 2014年十二月 (2)
- 2014年十一月 (2)
- 2014年十月 (5)
- 2014年九月 (8)
- 2014年八月 (11)
- 2014年七月 (17)
- 2014年六月 (7)
- 2014年五月 (15)
- 2014年四月 (16)
- 2014年三月 (14)
- 2014年二月 (5)
- 2013年十二月 (5)
- 2013年十一月 (3)
- 2013年十月 (13)
- 2013年九月 (13)
- 2013年八月 (13)
- 2013年七月 (9)
- 2013年六月 (8)
- 2013年五月 (1)
- 2013年三月 (3)
- 2013年一月 (1)
- 2012年十一月 (1)
- 2012年九月 (12)
- 2012年八月 (3)
- 2011年二月 (1)
- 2009年三月 (1)
- 2009年二月 (1)
- 2008年十一月 (1)
- 2008年六月 (1)
- 2008年四月 (1)
- 2008年三月 (1)
OpenStack Swift源码导读之——可插拔的后端设备实现
Swift作为一个存储的具体实现出现在OpenStack中,与Cinder的定位有差别,这导致Swift的兼容并包性不够强。必须基于XFS文件系统来存储数据?显然Swift也希望能将数据存储到更多的后端设备中,这样Swift可以与具体的XFS文件系统解耦,作为独立的存储软件存在。这能使得Swift存储的构建更加灵活,同时也能吸引更多的存储厂商投入到其怀抱中。
Swift提供了一种简单机制来实现后端存储设备的pluggable——可插拔的后端。这篇文章想探讨一下该机制。在亚特兰大峰会上面,这一特性是Swift的热门话题之一,对于亚特兰大OpenStack峰会涉及Swift的话题这里有汇总:链接。
看起来很有意思的创举,细看起代码来,其实挺简单的。有句话说,代码之外,了无秘密。Swift对于存储介质的要求其实挺简单的,提供读取,写入接口,涉及两种类型的数据:对象数据和元数据。对于面向对象而言,这个接口的实现就很容易了。
/swift/swift/obj/server.py文件定义了REST API,在各个API中有访问DiskFile的流程,其实也就是对DiskFile需要提供的接口的要求。那么只要新的DiskFile实现各个API中需要的接口即可。这样接口其实是固定的。OpenStack的官方文档给出了接口的详细描述:Back-end API for Object Server REST APIs。新的设备如何接入?怎样被业务访问到呢?是不是整个obj目录要整体替换掉,那样显得很笨拙,有很多代码是可以共用,就像刚才提到的REST API这一部分是固定的,完全可以保留。但是从下面的代码来看:
class ObjectController(object): … def setup(self, conf): """ Implementation specific setup. This method is called at the very end by the constructor to allow a specific implementation to modify existing attributes or add its own attributes. :param conf: WSGI configuration parameter """ # Common on-disk hierarchy shared across account, container and object # servers. self._diskfile_mgr = DiskFileManager(conf, self.logger) # This is populated by global_conf_callback way below as the semaphore # is shared by all workers. if 'replication_semaphore' in conf: # The value was put in a list so it could get past paste self.replication_semaphore = conf['replication_semaphore'][0] else: self.replication_semaphore = None self.replication_failure_threshold = int( conf.get('replication_failure_threshold') or 100) self.replication_failure_ratio = float( conf.get('replication_failure_ratio') or 1.0) def get_diskfile(self, device, partition, account, container, obj, **kwargs): """ Utility method for instantiating a DiskFile object supporting a given REST API. An implementation of the object server that wants to use a different DiskFile class would simply over-ride this method to provide that behavior. """ return self._diskfile_mgr.get_diskfile( device, partition, account, container, obj, **kwargs)
从上面加粗的diskfile_mgr成员来看,似乎server类与diskfile耦合了,绑定在一起了。但是再看,也只有这两处涉及到了具体的Diskfile相关类的对象的生成。只要能够向server的ObjectController类中“注入”自定义的Diskfile Manager等类的对象即可。很自然的就想到了开放出setup接口,提供一个类似于setdiskfile(SpecialDiskfileMgr diskfilemgr)的接口,这样其实破坏了封装性,不是面向对象的实现。并且,ObjectController是框架生成的,不易于获取到其运行时的实例。考虑另外一种思路,就是继承server中的ObjectController,实现一个新的ObjectController,这个ObjectController只需要重写setup方法即可。如果有必要,将get_diskfile也重写一下,如果接口定义得足够优雅,那么只需要前者。运行时,将新的ObjectController注册到WSGI框架中即可。正好WSGI框架是通过配置来指定具体的server类的。因此只需要修改配置即可同时支持多种不同的后端。
Swift提供一个简单的样例,一个内存文件系统的后端接口:
/swift/swift/obj/mem_diskfile.py定义了一整套的上述文档中规定的接口的实现。/swift/swift/obj/mem_server.py中定义了新的ObjectController,供客户配置使用。只需要修改/etc/swift/object-server.conf中的pipline中的最后的server指向新的ObjectController即可。
看具体ObjectController的代码:
class ObjectController(server.ObjectController): """ Implements the WSGI application for the Swift In-Memory Object Server. """ def setup(self, conf): """ Nothing specific to do for the in-memory version. :param conf: WSGI configuration parameter """ self._filesystem = InMemoryFileSystem() def get_diskfile(self, device, partition, account, container, obj, **kwargs): """ Utility method for instantiating a DiskFile object supporting a given REST API. An implementation of the object server that wants to use a different DiskFile class would simply over-ride this method to provide that behavior. """ return self._filesystem.get_diskfile(account, container, obj, **kwargs)
相信不久的将来,Swift会有越来越多的后端存储设备可以选用,这其实相当于Swift变成一个存储的管理软件,集成各种存储设备的适配“驱动”即可实现将数据存储到其上。
| Swift, 云计算/云存储, 架构设计 | 这篇文章归档在: | 标签: Back-end API for Object Server REST APIs, Object Server, Openstack Swift, Swift, Swift源码分析, 可插拔的后端. | 永久链接:链接 | 评论(0) |