分类目录: 存储技术

近期技术文章搜藏

阅读全文 »

| 1 分2 分3 分4 分5 分 (5.00- 1票) Loading ... Loading ... | 同时归档在:IO编程, Java, WEB网络, 数据库, 算法数据结构, 编程基础, 语言基础 | 标签: , , , , |

分享AWS博客的两个RSS源

为了第一时间获取AWS的几百个云服务的最新资讯,做了一个自动抓取AWS博客标题,生成RSS Feeds的服务,分别提供中英文版本:
中文:https://photo.codefine.site:12524/rssfactory/awsblogcn
英文:https://photo.codefine.site:12524/rssfactory/awsblog (过滤标题中包含存储相关关键词的博客。)
AWS存储:https://photo.codefine.site:12524/rssfactory/awsblog-storage (订阅存储、大数据和数据库类别的博客。)

| 1 分2 分3 分4 分5 分 (5.00- 1票) Loading ... Loading ... | 同时归档在:Amazon S3, Java, 云计算/云存储, 文字网摘, 软件应用 | 标签: , , |

一图梳理大数据知识体系

转自阿里技术社区

简介: 对海量数据进行存储、计算、分析、挖掘处理需要依赖一系列的大数据技术,而大数据技术又涉及了分布式计算、高并发处理、高可用处理、集群、实时性计算等,可以说是汇集了当前 IT 领域热门流行的 IT 技术。本文对大数据技术知识体系进行划分,共分为基础技术、数据采集、数据传输、数据组织集成、数据应用、数据治理,进行相关的阐述说明,并列出目前业界主流的相关框架、系统、数据库、工具等。(文末福利:下载大数据知识体系图)

阅读全文 »

| 1 分2 分3 分4 分5 分 (5.00- 1票) Loading ... Loading ... | 同时归档在:云计算/云存储, 架构设计 | 标签: , , , , , |

一致哈希(Consistent Hashing)简介

一致哈希 是一种特殊的哈希算法。在使用一致哈希算法后,哈希表槽位数(大小)的改变平均只需要对 K/n个关键字重新映射,其中 K是关键字的数量n是槽位数量。然而在传统的哈希表中,添加或删除一个槽位的几乎需要对所有关键字进行重新映射。一致哈希的算法最早在如下论文中被提出:

一致哈希在分布式计存储架构中无处不在。是被证明的可以解决经典哈希视图发生变化时,数据搬迁尽可能少的算法。最早是在分布式缓存中提出,参考如下文档,这里提供原文的下载链接:《Consistent Hashing and Random Trees: Distributed Caching Protocols for Relieving Hot Spots on the World Wide Web》

阅读全文 »

| 1 分2 分3 分4 分5 分 (5.00- 4票) Loading ... Loading ... | 同时归档在:架构设计, 算法数据结构 | 标签: , , |

PostgreSQL 9.5 架构图及外存图

转自阿里云栖社区:链接。点击图片查看原图。

阅读全文 »

| 1 分2 分3 分4 分5 分 (5.00- 1票) Loading ... Loading ... | 同时归档在:数据库, 架构设计 | 标签: |

Ceph源代码目录结构详解

转载自:6沙鱼的博客

从GitHub上Clone的Ceph项目,其目录下主要文件夹和文件的内容为:
1 根目录
[src]:各功能某块的源代码
[qa]:各个模块的功能测试(测试脚本和测试代码)
[wireshark]:#wireshark的ceph插件。
[admin]:管理工具,用于架设文档服务器等
[debian]:用于制作debian(Ubuntu)安装包的相关脚本和文件

阅读全文 »

| 1 分2 分3 分4 分5 分 (4.00- 5票) Loading ... Loading ... | 同时归档在:Ceph | 标签: , , |

技术文章收集

1、Ceph vs Swift – 架构剖析
2、12个进程管理相关命令
3、关于Ceph现状和未来的一些思考
4、Swift特性研究

| 1 分2 分3 分4 分5 分 (3.86- 7票) Loading ... Loading ... | 同时归档在:Ceph, Swift, 实用脚本 | 标签: |

Ceph初体验之环境搭建

想了解一个开源组件,最好的办法就是实际搭建环境,用一下。ceph绝对是现今存储领域的热门开源解决方案。断断续续地看过一些ceph的资料,了解了其基本架构和使用方法。花了一上午的时间,将ceph的环境搭建了起来。这里把搭建过程详细记录一下。

有了ceph-deploy工具后,搭建环境还是非常容易的事情。主要是想了解ceph集群的场景,因此搭建的是集群版本,网上也有介绍单机演示版本的搭建方法,就不做介绍了。

阅读全文 »

| 1 分2 分3 分4 分5 分 (5.00- 12票) Loading ... Loading ... | 同时归档在:Ceph, 云计算/云存储 | 标签: , , |

Linux文件系统基础之inode和dentry

inode和dentry在VFS和实体的文件系统(ext2、ext3等)中都是比较重要的概念。首先看一下虚拟文件系统的标准定义:虚拟文件系统英语:Virtual file system,缩写为VFS),又称虚拟文件切换系统(virtual filesystem switch),是操作系统的文件系统虚拟层,在其下是实体的文件系统。虚拟文件系统的主要功用,在于让上层的软件,能够用单一的方式,来跟底层不同的文件系统沟通。在操作系统与之下的各种文件系统之间,虚拟文件系统提供了标准的操作接口,让操作系统能够很快的支持新的文件系统。

阅读全文 »

| 1 分2 分3 分4 分5 分 (5.00- 8票) Loading ... Loading ... | 同时归档在:算法数据结构 | 标签: , , , |

漫谈SSD原理与应用实践PDF–新浪杨尚刚

漫谈SSD和应用实践

| 1 分2 分3 分4 分5 分 (4.56- 9票) Loading ... Loading ... | 同时归档在:数码硬件 | 标签: , |
返回顶部