分布式文件系统 Gfarm(合集9篇)由网友“hwp8731”投稿提供,下面是小编帮大家整理后的分布式文件系统 Gfarm,希望对大家有所帮助。
篇1:分布式文件系统 Gfarm
Gfarm file system是下一代网络共享文件系统,它将是NFS的一个替代解决方案,
分布式文件系统 Gfarm
,
非常适合于更大型,更可靠,更快速文件系统的要求。
项目主页:www.open-open.com/lib/view/home/1339036166250
篇2:分布式文件系统 MogileFS
Mogile FS是一个开源的分布式文件系统,主要特性包括:
1. 应用层的组件2. 无单点故障
3. 自动文件复制
4. 具有比RAID更好的可靠性
5. 无需RAID支持
项目主页:www.open-open.com/lib/view/home/1338996519922
篇3:分布式文件系统:SnackFS
SnackFS 是一个很小的、轻量级的兼容 HDFS 的文件系统,基于 Cassandra 构建,你需要做的只是指向 Cassandra 集群即可。该项目的目的就是为了替代 HDFS,速度更快更可靠。
SnackFS 提供命令行工具 fs,使用示例:
[Snackfs(extracted)]$bin/snackfs -mkdir snackfs:///random
项目主页:www.open-open.com/lib/view/home/1395711629884
篇4:分布式文件系统 OpenAFS
OpenAFS是一套开放源代码的分布式文件系统,允许系统之间通过局域和广域网来分享档案和资源,
OpenAFS 是围绕一组叫做cell的文件服务器组织的。每个服务器的标识通常是隐藏在文件系统中的。从 AFS 客户机登录的用户将分辨不出他们在哪个服务器上运行,因为从用户的观点来看,他们想在有可识别的 UNIX 文件系统语义的单个系统上运行。文件系统内容通常都是跨 cell 复制,以便一个硬盘的失效不会损害 OpenAFS 客户机上的运行。OpenAFS 需要高达 1 GB 的大容量客户机缓存,以允许访问经常使用的文件。它还是一个十分安全的基于 Kerbero 的系统,它使用访问控制列表 (ACL) 以便可以进行细粒度的访问,这不是基于通常的 Linux 和 UNIX 安全模型。
缓 存管理器碰巧是 OpenAFS 的一部分,很奇怪,它只作为底层文件系统与 ext2 一起运行。除缓存管理器之外,OpenAFS 表层的基本结构很像现代的 NFS 实现,
但是,基本架构却一点都不像,而且必须慎重看待它的任何并行。对那些仍喜欢使用 NFS,但是又想利用 OpenAFS 程序的人来说,可以使用所谓的NFS/AFS 翻译器。只要 OpenAFS 客户机被配置为 NFS 服务器机器,您就应该能够享受这两种文件系统的优点。
NFS 是位置无关的,它把本地目录映射到远程文件系统位置。OpenAFS 对用户隐藏了文件位置。因为可能所有的源文件都以读写副本的形式保存在复制到的不同文件服务器位置上,必须保持复制的副本同步。为此要使用一项称作Ubik的技术,它源于单词“ubiquitous(无所不在)”,是东欧拼写法。Ubik 过程使 AFS 文件系统上的文件、目录和卷 (volume) 保持同步,但是通常运行三个以上文件服务器进程的系统获益最多。系统管理人员可以将一个 AFS 站点的几个 AFS cell 分组 ―― 这个以前的缩写词 AFS 已经被保留在 OpenAFS 文件系统的语义中了。管理人员将决定 AFS cell 的数目,以及 cell 使存储器和文件对站点内的其他 AFS cell 可用的程度。
项目主页:www.open-open.com/lib/view/home/1338996486828
篇5:分布式文件系统 XtreemFS
XtreemFS 是一个为互联网存储系统设计的分布式文件系统.
It allows you to mount an XtreemFS volume from anywhere, given the right permissions. It includes support for POSIX ACLs and extended attributes (xattrs). As an object-based parallel file system, it allows you to stripe files over multiple storage servers for high-performance parallel access with file-specific striping pattern. It can be integrated in X.509-based security infrastructures. When deployed as part of an XtreemOS Grid installation, you will benefit from its transparent integration with the XtreemOS Virtual Organization (VO) infrastructure in the form. of dynamic user mappings and automatic mounting of home volumes.
项目主页:www.open-open.com/lib/view/home/1339139622578
篇6:分布式文件系统 FastDFS
FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题,特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
FastDFS服务端有两个角色: (tracker)和存储节点(storage)。 主要做调度工作,在访问上起负载均衡的作用。
存储节点存储文件,完成文件管理的所有功能:存储、同步和提供存取接口,FastDFS同时对文件的meta. data进行管理。所谓文件的meta. data就是文件的相关属性,以键值对(key value pair)方式表示,如:width=1024,其中的key为width,value为1024。文件meta. data是文件属性列表,可以包含多个键值对。
FastDFS系统结构如下图所示:
和存储节点都可以由一台多台服务器构成。 和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中 中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。
为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起 到了冗余备份和负载均衡的作用,
在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。
当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分:卷名和文件名,二者缺一不可。
FastDFS file upload
上传文件交互过程:
1. client询问tracker上传到的storage,不需要附加参数;
2. tracker返回一台可用的storage;
3. client直接和storage通讯完成文件上传。
FastDFS file download
下载文件交互过程:
1. client询问tracker下载文件的storage,参数为文件标识(卷名和文件名);
2. tracker返回一台可用的storage;
3. client直接和storage通讯完成文件下载。
需要说明的是,client为使用FastDFS服务的调用方,client也应该是一台服务器,它对tracker和storage的调用均为服务器间的调用。
项目主页:www.open-open.com/lib/view/home/1338996557328
篇7:什么是DFS(分布式文件系统)网络服务器
【问】什么是DFS? 【答】在大多数环境中,共享资源驻留在多台 服务器 上的各个共享文件夹中,要访问资源,用户或程序必须将驱动器映射到共享资源的服务器,或指定共享资源的通用命名约定 (UNC) 路径。例如: \\服务器名\共享名 或 \\服务器名\共享名\路径\文
【问】什么是DFS?
【答】在大多数环境中,共享资源驻留在多台服务器上的各个共享文件夹中。要访问资源,用户或程序必须将驱动器映射到共享资源的服务器,或指定共享资源的通用命名约定 (UNC) 路径。例如:
\\服务器名\共享名
或
\\服务器名\共享名\路径\文件名
通过 DFS(分布式文件系统),一台服务器上的某个共享点能够作为驻留在其他服务器上的共享资源的宿主。DFS 以透明方式链接文件服务器和共享文件夹,然后将其映射到单个层次结构,以便可以从一个位置对其进行访问,而实际上数据却分布在不同的位置。用户不必再转至网络上的多个位置以查找所需的信息,而只需连接到:
\\DfsServer\Dfsroot
用户在访问此共享中的文件夹时将被重定向到包含共享资源的网络位置,
这样,用户只需知道 DFS 根目录共享即可访问整个企业的共享资源。
DFS 拓扑从 DFS 树的根目录开始。位于逻辑层次结构顶部的 DFS 根目录映射到一个物理共享。DFS 链接将域名系统 (DNS) 名称映射到目标共享文件夹或目标 DFS 根目录的 UNC 名称。当 DFS 客户端访问 DFS 共享文件夹时,DFS 服务器将 DNS 名称映射到 UNC 名称并将引用返回给该客户端,以使它能够找到共享文件夹。将 DNS 名称映射到 UNC 名称使数据的物理位置对用户是透明的,这样用户便无须记住存储文件夹的服务器。当 DFS 客户端请求 DFS 共享的引用时,DFS 服务器将使用分区情况表 (PKT) 将 DFS 客户端定向到物理共享。对于基于域的 DFS,PKT 存储在 Active Directory 中;对于独立的 DFS,PKT 存储在注册表中。在网络环境中,PKT 维护有关 DFS 拓扑的所有信息,包括其到基础物理共享的映射。DFS 服务器将 DFS 客户端定向到与请求的 DFS 链接相对应的副本共享列表后,DFS 客户端使用 Active Directory 站点拓扑连接到同一站点中的一个副本,如果该站点中没有提供副本,则连接到该站点以外的一个副本。
原文转自:www.ltesting.net
篇8:一个 Linux PB 级分布式文件系统:Ceph
Ceph将自己描述为“分布式对象存储和旨在提供高性能、高可靠性和扩展性的文件系统”,它建立RADOS上,允许企业使用经济的存储设备来搭建企业级的存储方案,
Ceph 的目标简单地定义为:
可轻松扩展到数 PB 容量
对多种工作负载的高性能(每秒输入/输出操作[IOPS]和带宽)
高可靠性
项目主页:www.open-open.com/lib/view/home/1389361758961
篇9:AutoCAD 中的分布式文件系统 (DFS) 问题
问题:
在AutoCAD 2010(或基于AutoCAD 2010的垂直产品)中出现DFS问题,
解决方法:
即使Autodesk不提供AutoCAD及基于AutoCAD的垂直产品使用Windows 分布式文件系统的官方支持,但是之前的运行未出现问题,很多客户在我们的产品中使用DFS。我们最近确定了2个影响 DFS使用的问题。
第一个问题是无法从AutoCAD 2010的文件导航对话框打开DFS文件夹,
这一问题已经在Update 1 for AutoCAD 2010中纠正。如果您正在使用AutoCAD LT 2010或一款垂直产品,您需要对产品升级,如面向AutoCAD的Update 1。大部分垂直产品也应采用Update 1,AutoCAD Civil 3D应使用Update 2。
第二个问题是双击后无法在DFS分享时打开文件夹。这个问题主要出现在Vista SP2与Windows 7中,这主要因为微软对这些操作系统所做的变更,将文件夹变为链接。如果双击无法打开文件夹,推荐的解决办法是使用“打开”按钮。
【分布式文件系统 Gfarm(合集9篇)】相关文章:
分布式数据库概述2023-02-08
蓝牙技术的应用2022-04-30
广播电视节目制作研究论文2023-03-27
浅析GIS多源数据集成模式论文2022-10-04
如何入侵FBI核心网络2023-04-24
网络入侵检测方法2023-04-17
分布式参考咨询服务标准与规范研究与应用2023-02-06
信息管理在农机技术推广中的应用分析论文2023-08-14
《版本控制之道--使用Git》笔记2022-05-02
计算机三级数据库技术考前基础训练题2022-09-12