分布式工作总结范文(合集20篇)由网友“带鱼屏天使”投稿提供,以下是小编整理了分布式工作总结范文,希望你喜欢,也可以帮助到您,欢迎分享!
篇1:分布式智能卡
与智能卡相比,它具有可扩展性,可以通进串接方式扩充出几十个至上百个端口,
分布式智能卡
,
适应于端口数目多,并且传输范围较广的场合。
篇2:Distributedstorage(分布式存储)
分布式存储实现每台服务器拥有自己的外部存储子系统,
Distributedstorage(分布式存储)
,
篇3:分布式文件系统 MogileFS
Mogile FS是一个开源的分布式文件系统,主要特性包括:
1. 应用层的组件2. 无单点故障
3. 自动文件复制
4. 具有比RAID更好的可靠性
5. 无需RAID支持
项目主页:www.open-open.com/lib/view/home/1338996519922
篇4:分布式文件系统:SnackFS
SnackFS 是一个很小的、轻量级的兼容 HDFS 的文件系统,基于 Cassandra 构建,你需要做的只是指向 Cassandra 集群即可。该项目的目的就是为了替代 HDFS,速度更快更可靠。
SnackFS 提供命令行工具 fs,使用示例:
[Snackfs(extracted)]$bin/snackfs -mkdir snackfs:///random
项目主页:www.open-open.com/lib/view/home/1395711629884
篇5:分布式文件系统 OpenAFS
OpenAFS是一套开放源代码的分布式文件系统,允许系统之间通过局域和广域网来分享档案和资源,
OpenAFS 是围绕一组叫做cell的文件服务器组织的。每个服务器的标识通常是隐藏在文件系统中的。从 AFS 客户机登录的用户将分辨不出他们在哪个服务器上运行,因为从用户的观点来看,他们想在有可识别的 UNIX 文件系统语义的单个系统上运行。文件系统内容通常都是跨 cell 复制,以便一个硬盘的失效不会损害 OpenAFS 客户机上的运行。OpenAFS 需要高达 1 GB 的大容量客户机缓存,以允许访问经常使用的文件。它还是一个十分安全的基于 Kerbero 的系统,它使用访问控制列表 (ACL) 以便可以进行细粒度的访问,这不是基于通常的 Linux 和 UNIX 安全模型。
缓 存管理器碰巧是 OpenAFS 的一部分,很奇怪,它只作为底层文件系统与 ext2 一起运行。除缓存管理器之外,OpenAFS 表层的基本结构很像现代的 NFS 实现,
但是,基本架构却一点都不像,而且必须慎重看待它的任何并行。对那些仍喜欢使用 NFS,但是又想利用 OpenAFS 程序的人来说,可以使用所谓的NFS/AFS 翻译器。只要 OpenAFS 客户机被配置为 NFS 服务器机器,您就应该能够享受这两种文件系统的优点。
NFS 是位置无关的,它把本地目录映射到远程文件系统位置。OpenAFS 对用户隐藏了文件位置。因为可能所有的源文件都以读写副本的形式保存在复制到的不同文件服务器位置上,必须保持复制的副本同步。为此要使用一项称作Ubik的技术,它源于单词“ubiquitous(无所不在)”,是东欧拼写法。Ubik 过程使 AFS 文件系统上的文件、目录和卷 (volume) 保持同步,但是通常运行三个以上文件服务器进程的系统获益最多。系统管理人员可以将一个 AFS 站点的几个 AFS cell 分组 ―― 这个以前的缩写词 AFS 已经被保留在 OpenAFS 文件系统的语义中了。管理人员将决定 AFS cell 的数目,以及 cell 使存储器和文件对站点内的其他 AFS cell 可用的程度。
项目主页:www.open-open.com/lib/view/home/1338996486828
篇6:分布式文件系统 XtreemFS
XtreemFS 是一个为互联网存储系统设计的分布式文件系统.
It allows you to mount an XtreemFS volume from anywhere, given the right permissions. It includes support for POSIX ACLs and extended attributes (xattrs). As an object-based parallel file system, it allows you to stripe files over multiple storage servers for high-performance parallel access with file-specific striping pattern. It can be integrated in X.509-based security infrastructures. When deployed as part of an XtreemOS Grid installation, you will benefit from its transparent integration with the XtreemOS Virtual Organization (VO) infrastructure in the form. of dynamic user mappings and automatic mounting of home volumes.
项目主页:www.open-open.com/lib/view/home/1339139622578
篇7:分布式存储系统:TDSS
TDSS是一个高可扩展、高可用、高性能、面向互联网服务的分布式存储系统,主要针对海量的非结构化数据,它构筑在普通的Linux机 器集群上,可为外部提供高可靠和高并发的存储访问,它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性,
同时扁平化的数据组织结构,可将文 件名映射到文件的物理地址,简化了文件的访问流程,一定程度上为TDSS提供了良好的读写性能。
项目主页:www.open-open.com/lib/view/home/1365411366593
篇8:分布式存储系统 Katta
Katta是一个可扩展的、故障容错的、分布式实施访问的数据存储,
Katta可用于大量、重复、索引的碎片,以满足高负荷和巨大的数据集。这些索引可以是不同的类型。当前该实现在Lucene和Hadoop mapfiles
让大型高负荷的索引变简单
能为许多具有大型Lucene或Hadoop Mapfile 的索引碎片的服务器提供服务
在不同服务器上复制碎片以保证性能和容错性
支持插件化的网络拓扑
故障管理
快速、轻量级、易于集成
与Hadoop集群工作良好
Apache License,Version 2.0
项目主页:www.open-open.com/lib/view/home/1339138553594
篇9:监测分布式拒绝服务
许多人或工具在监测分布式拒绝服务攻击时常犯的错误是只搜索那些DDoS工具的缺省特征字符串、缺省端口、缺省口令等,要建立网络入侵监测系统(NIDS)对这些工具的监测规则,人们必须着重观察分析DDoS网络通讯的普遍特征,不管是明显的,还是模糊的。
DDoS工具产生的网络通讯信息有两种:控制信息通讯(在DDoS客户端与服务器端之间)和攻击时的网络通讯(在DDoS服务器端与目标主机之间)。
根据以下异常现象在网络入侵监测系统建立相应规则,能够较准确地监测出DDoS攻击。
异常现象0:虽然这不是真正的“DDoS”通讯,但却能够用来确定DDoS攻击的来源。根据分析,攻击者在进行DDoS攻击前总要解析目标的主机名。BIND域名服务器能够记录这些请求。由于每台攻击服务器在进行一个攻击前会发出PTR反向查询请求,也就是说在DDoS攻击前域名服务器会接收到大量的反向解析目标IP主机名的PTR查询请求。
异常现象1:当DDoS攻击一个站点时,会出现明显超出该网络正常工作时的极限通讯流量的现象。现在的技术能够分别对不同的源地址计算出对应的极限值。当明显超出此极限值时就表明存在DDoS攻击的通讯。因此可以在主干路由器端建立ACL访问控制规则以监测和过滤这些通讯。
异常现象2:特大型的ICP和UDP数据包。正常的UDP会话一般都使用小的UDP包,通常有效数据内容不超过10字节。正常的ICMP消息也不会超过64到128字节,
那些大小明显大得多的数据包很有可能就是控制信息通讯用的,主要含有加密后的目标地址和一些命令选项。一旦捕获到(没有经过伪造的)控制信息通讯,DDoS服务器的位置就无所遁形了,因为控制信息通讯数据包的目标地址是没有伪造的。
异常现象3:不属于正常连接通讯的TCP和UDP数据包。最隐蔽的DDoS工具随机使用多种通讯协议(包括基于连接的协议)通过基于无连接通道发送数据。优秀的防火墙和路由规则能够发现这些数据包。另外,那些连接到高于1024而且不属于常用网络服务的目标端口的数据包也是非常值得怀疑的。
异常现象4:数据段内容只包含文字和数字字符(例如,没有空格、标点和控制字符)的数据包。这往往是数据经过BASE64编码后而只会含有base64字符集字符的特征。TFN2K发送的控制信息数据包就是这种类型的数据包。TFN2K(及其变种)的特征模式是在数据段中有一串A字符(AAA……),这是经过调整数据段大小和加密算法后的结果。如果没有使用BASE64编码,对于使用了加密算法数据包,这个连续的字符就是“Θ”。
异常现象5:数据段内容只包含二进制和high-bit字符的数据包。虽然此时可能在传输二进制文件,但如果这些数据包不属于正常有效的通讯时,可以怀疑正在传输的是没有被BASE64编码但经过加密的控制信息通讯数据包。(如果实施这种规则,必须将20、21、80等端口上的传输排除在外。)
篇10:分布式文档数据库 Terrastore
Terrastore是一个基于Terracotta(一个业界公认的、快速的分布式集群组件)实现的高性能分布式文档数据库,可以动态从运行中的集群添 加/删除节点,而且不需要停机和修改任何配置,
支持通过http协议访问Terrastore。Terrastore提供了一个基于集合的键/值接口来管 理JSON文档并且不需要预先定义JSON文档的架构。易于操作,安装一个完整能够运行的集群只需几行命令。
项目主页:www.open-open.com/lib/view/home/1322728423093
篇11:分布式文件系统 Gfarm
Gfarm file system是下一代网络共享文件系统,它将是NFS的一个替代解决方案,
分布式文件系统 Gfarm
,
非常适合于更大型,更可靠,更快速文件系统的要求。
项目主页:www.open-open.com/lib/view/home/1339036166250
篇12:分布式文件系统 FastDFS
FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题,特别适合以文件为载体的在线服务,如相册网站、视频网站等等。
FastDFS服务端有两个角色: (tracker)和存储节点(storage)。 主要做调度工作,在访问上起负载均衡的作用。
存储节点存储文件,完成文件管理的所有功能:存储、同步和提供存取接口,FastDFS同时对文件的meta. data进行管理。所谓文件的meta. data就是文件的相关属性,以键值对(key value pair)方式表示,如:width=1024,其中的key为width,value为1024。文件meta. data是文件属性列表,可以包含多个键值对。
FastDFS系统结构如下图所示:
和存储节点都可以由一台多台服务器构成。 和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中 中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。
为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷 的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起 到了冗余备份和负载均衡的作用,
在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。
当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分:卷名和文件名,二者缺一不可。
FastDFS file upload
上传文件交互过程:
1. client询问tracker上传到的storage,不需要附加参数;
2. tracker返回一台可用的storage;
3. client直接和storage通讯完成文件上传。
FastDFS file download
下载文件交互过程:
1. client询问tracker下载文件的storage,参数为文件标识(卷名和文件名);
2. tracker返回一台可用的storage;
3. client直接和storage通讯完成文件下载。
需要说明的是,client为使用FastDFS服务的调用方,client也应该是一台服务器,它对tracker和storage的调用均为服务器间的调用。
项目主页:www.open-open.com/lib/view/home/1338996557328
篇13:分布式资源管理 GridWay
GridWay 是一个工作负载管理器,用于在一个由不同计算平台组成的 grid 中执行作业管理和资源调配,
分布式资源管理 GridWay
,
GridWay 主要任务是大规模、可靠和高效的计算资源分片管理。
项目主页:www.open-open.com/lib/view/home/1343609442274
篇14:分布式事务处理数据库教程
分布式|事务处理
分布式事务处理张健姿 01-6-22 下午 04:48:27
美 国Sybase 公 司 于 今 年 七 月 发 布 了PowerBuilder 6.0 的Beta 版, 正 式 的 版 本也 将 于 不 久 的 将 来 推 出, 其 中 对 分 布 式 事 务 处 理 的 支持 是 新 版 本 中 增 强 得 最 多 的 功 能, 早 在1995 年,PowerSoft 公司 就 提 出 了 在“ 分 布 式 事 务” 方 面 的 发 展 战 略, 并 在 年 发 布 的PowerBuilder 5.0 中 支 持 了 分 布 式 事 务 处 理 的 功 能,笔 者 在 以 前 的 讲 座 中 也 曾 经 讨 论 过 有 关 如 何 创 建 分布 式PowerBuilder 应 用 的 问 题, 但 是 得 到 读 者 反 馈 意 见 却 很少。 以 往, 一 个 使 用PowerBuilder 开 发 客 户/ 服 务 器 应 用 软 件的 程 序 员 是 较 少 会 想 到 使 用 分 布 式 事 务 来 分 割 应 用的, 因 此 一 般 的 用 户 对 分 布 式 事 务 的 概 念 和 意 义 也 不甚 了 解, 这 里 我 们 来 进 一 步 讨 论 一 下 分 布 式 事 务 处 理及 其 应 用。 三 级 体 系 结 构 首 先我 们 介 绍 三 级 体 系 结 构 这 一 概 念。 所 谓 级 是 指 一 种 功能 划 分, 我 们 以 往 所 开 发 的 数 据 库 应 用 软 件 一 般 是 基于 客 户/ 服 务 器 结 构 的, 我 们 称 之 为 两 级 体 系 结 构。 也就 是 说 整 个 系 统 可 以 分 成 两 个 功 能 块, 第 一 级 包 括 了软 件 的 应 用 层 和 表 现 层, 驻 留 于 客 户 端。 我 们 使 用PowerBuilder 开 发 出 的 应 用 主 要 用 于 第 一 级, 运 行 于 客 户 端。 第 二级 包 含 数 据 库 和 服 务 器 的 组 件。 一 个 基 于SQL 的 数 据 库管 理 系 统 一 般 安 装 在 服 务 器 端, 应 用 软 件 在 服 务 器 端进 行 的 操 作 主 要 是 数 据 存 储 和 检 索。 在 两 级 模 式 中 会有 一 些 应 用 逻 辑 以 存 储 过 程 和 触 发 器 的 形 式 存 储 在服 务 器 端, 以 优 化 服 务 器 的 性 能, 但 绝 大 多 数 的 应 用逻 辑 是 放 在 客 户 端 的。 三 级模 式 是 将 系 统 分 为 有 三 个 不 同 的“ 级”: 表 现 级, 商业 逻 辑 级 和 数 据 访 问 级。 表 现 级 是 处 理 用 户 界 面 的 功能; 数 据 访 问 级 是 数 据 源, 在 通 常 状 况 下 指 数 据 库;商 业 逻 辑 级 是 新 增 加 的 一 级, 指 程 序 中 作 出 智 能 决 策的 那 一 部 分 功 能。 在 早 期 的 应 用 中, 这 一 部 分 的 功 能并 不 十 分 复 杂, 一 般 将 其 放 在 表 现 级 即 可, 另 有 少 量以 存 储 过 程 或 触 发 器 的 形 式 放 在 数 据 访 问 一 级, 而 随着 软 件 工 程 的 发 展, 软 件 的 日 益 复 杂, 软 件 中 功 能 增加 最 多 的 就 是 在 这 一 级。 一 个MIS 系 统 的 功 能 由 早 先 的对 某 一 个 表 的 简 单 查 询, 发 展 到 涉 及 多 个 表 的 分 类 统计 求 和, 根 据 复 杂 的 公 式 分 析 计 算, 进 行 决 策 支 持等, 如 将 这 些 增 强 的 功 能 仍 全 部 放 置 在 表 现 级, 会 使得 客 户 机 越 来 越 不 堪 重 负, 因 此 就 有 人 提 出 在 系 统 中将 商 业 逻 辑 分 离 出 来, 单 独 形 成 了 一 级, 这 就 形 成 了三 级 结 构。 随 着 三 级 结 构 的 进 一 步 发 展, 一 般 总 是 把运 行 在 商 业 逻 辑 级 的 软 件 编 写 成 为 了 一 个 为 客 户 机所 调 用, 能 够 完 成 一 定 的 逻 辑 功 能 的 专 用 软 件, 同 数据 库 服 务 器 相 区 别, 我 们 称 之 为 应 用 服 务 器。 在 一 个网 络 中, 可 以 有 着 多 个 不 同 功 能 的 应 用 服 务 器, 为 客户 机 或 其 它 的 应 用 服 务 器 提 供 专 业 服 务, 这 样, 三 级结 构 就 发 展 成 为 了N 级, 这 就 是 所 谓 的 分 布 式 计 算 方式。 分 布式 计 算 的 优 势: 采 用 分 布 式 计 算 有 着 多方 面 的 技 术 优 势, 包 括: 逻 辑封 装 性: 这 是 分 布 式 模 式 中 最 具 诱 惑 力 的 特 征, 这 种模 式 的 根 基 在 于 将 以 往 全 部 由 客 户 机 完 成 的 事 务 逻辑 中 的 一 部 分 从 客 户 端 分 开。 当 使 公 司 需 要 动 态 改 变一 个 应 用 软 件 的 商 业 逻 辑 规 则 时, 只 要 改 变 一 个 应 用服 务 器 的 程 序 即 可, 而 不 需 要 更 改 客 户 端 用 户 界 面,这 样 就 无 需 中 断 用 户, 为 最 终 用 户 重 新 发 放 新 的 界 面软 件 或 亲 自 上 门 为 其 安 装 调 试 并 重 新 培 训 用 户, 提 高了 工 作 效 率。 这 种 多 级 模 式 对 于 需 经 常、 快 速 改 变 应用 程 序 的 行 业 很 有 帮 助。 瘦 客 户 机: 这 种 类 型 的 应 用在 运 行 时 最 显 著 的 特 点 就 是 减 少 甚 至 消 除 了 传 统 的两 级 体 系 结 构 中, 以 客 户 机 为 中 心 或 称 为“ 肥 客 户” 的 模 式, 减 轻 了 客 户 机 的 功 能 负 担, 使 其 消 肿 成 为了“ 瘦 客 户”,
“ 肥 客 户” 是 用 户 感 到 十 分 苦 恼 的 事情, 用 户 为 使 用 更 强 功 能 的 软 件, 就 必 须 付 出 高 昂 的维 护 费 用, 不 断 地 为 个 人 电 脑 的 软 硬 件 设 备 升 级。近日 流 行 的NC 也 正 是 看 到 一 般 用 户 在 维 护PC 机 运 行 时 负担 过 重, 而 提 出 通 过 网 络 将 一 部 分 的 任 务 交 给 了 服 务器 完 成。 这 两 种 方 法 有 着 相 通 之 处。 性能: 性 能 的 提 高 是 三 级 模 式 最 终 被 用 户 采 用 的 主 要 原因。 将 复 杂 的 应 用 和 商 业 逻 辑 分 离 出 来 由 专 门 的 一 台应 用 服 务 器 来 处 理, 既 可 以 提 高 应 用 的 执 行 速 度, 也可 以 减 少 网 络 调 用 的 通 讯 量。 不 过 这 种 性 能 提 高 是 有一 定 代 价 的。 这 就 是 开 发 时 要 将 应 用 逻 辑 分 割 为 客 户端 逻 辑 和 服 务 器 端 逻 辑, 这 就 增 加 了 设 计 的 复 杂 性。 安 全性 管 理: 在 分 布 式 计 算 模 式 中, 由 于 所 有 的 商 业 逻 辑都 驻 留 在 服 务 器 端, 信 息 管 理 部 门 就 可 以 十 分 方 便 地监 控 服 务 器 的 运 行 情 况, 很 容 易 地 控 制 访 问 服 务 器 以及 与 服 务 器 应 用 打 交 道 人 员 的 数 量。 这 可 以 大 大 简 化管 理 员 对 系 统 的 管 理, 减 轻 系 统 维 护 的 工 作 量, 并 确保 系 统 的 可 靠 运 行。 分 布式 事 务 处 理 最 广 泛 和 最 成 功 的 应 用 当 数Internet/Intranet 技术 了, 尽 管 许 多 人 并 不 意 识 到Internet 就 是 一 个 三 级 体 系结 构 的 代 表。 随 着Internet/Intranet 使 用 的 不 断 深 化, 用 户 对Web 服 务 器 所 查 询 的 信 息 就 不 只 局 限 于 以 文 件 方 式 存 放在 服 务 器 端 的 静 态 的 超 文 本 文 件 了。 这 时 我 们 需 要 借助 关 系 型 数 据 库 来 存 放 变 化 的 数 据, 并 在Web 服 务 器 与数 据 库 服 务 器 之 间 以JDBC、CGI 等 协 议 建 立 起 两 者 的 连接, 使Web 服 务 器 能 够 实 现 对 数 据 库 的 即 席 查 询, 并 将结 果 返 回 浏 览 器。 我 们 可 以 发 现, 在 这 样 一 个Intranet 结构 中, 浏 览 器--Web 服 务 器-- 数 据 库 服 务 器 就 分 别 对 应 于客 户 端-- 应 用 服 务 器-- 数 据 库 服 务 器 三 级 体 系 结 构 中的 三 个 环 节,Intranet 就 是 一 个 典 型 的 三 级 体 系 结 构 的 应用。 因 此, 我 们 可 以 认 为,Internet 模 式 的 技 术 优 势 如 用户 界 面 简 单, 管 理 人 员 易 于 维 护 等 也 正 是 多 级 计 算 方式 的 优 势 所 在。 此 外, 由 于PowerBuilder 支 持 分 布 式 事 务 处理, 这 就 使 得PowerBuilder 很 容 易 地 支 持 了 作 为 分 布 式 事 务的 特 例---Internet 的 开 发 了。 分 布 式 应 用 的 开 发 尽 管分 布 式 计 算 是 一 个 较 新 的 概 念, 但 是 使 用PowerBuilder 开 发分 布 式 应 用 却 十 分 简 单, 只 要 您 会 使 用PowerBuilder 中 的 用户 自 定 义 的 不 可 视 对 象, 您 就 会 很 快 地 掌 握 分 布 式PowerBuilder 的 开 发。 在PowerBuilder 中, 应 用 服 务 器 一 端 的 功 能 都 是 通过 不 可 视 用 户 对 象 实 现 的, 开 发 人 员 可 以 将PowerBuilder 的自 定 义 用 户 的 对 象 放 于 应 用 服 务 器 一 侧, 被 称 作 远 端对 象, 在 客 户 端 放 置 该 用 户 对 象 的 代 理 对 象。 此 外,在 服 务 器 一 侧 有 一 个 新 的transport 对 象 用 于 监 听 任 何 一个 用 户 或 其 它 应 用 服 务 器 的 请 求, 在 客 户 端 有 一 个connection 对 象 用 以 建 立 同 远 端 对 象 的 连 接。 客 户 端 的 应 用 程 序通 过connection 对 象 连 接 应 用 服 务 器, 连 接 建 立 后, 客 户端 的 应 用 就 可 以 象 调 用 本 地 对 象 一 样 调 用 应 用 服 务器 上 的 对 象 函 数 了。 当 然, 我 们 这 里 指 的 用 户 可 以 是一 般 意 义 上 的 客 户, 也 可 以 指 应 用 服 务 器 以 一 个 客 户的 身 份 调 用 其 它 应 用 服 务 器。 远 端的 用 户 对 象 中 的 商 业 逻 辑 可 以 是 采 用PowerScript. 编 写 的,作 为 一 个 不 可 视 用 户 对 象 的 特 例, 这 个 对 象 可 以 调 用任 何 函 数 或 使 用 数 据 库 命 令, 它 也 可 以 使 用 不 可 视 的DataStore 来 封 装 数 据 库 访 问,PowerBuilder 5.0 可 以 支 持 除 可 视 对 象 以外 的 所 有 的 数 据 类 型。 在 客 户 端 使 用 这 种 形 式 调 用 就象 在 使 用 存 储 过 程 一 样 将 参 数 通 过 网 络 传 递 给 服 务器, 服 务 器 的 运 行 结 果 返 回 客 户 端。
篇15:分布式旅游信息系统研究
分布式旅游信息系统研究
本文详细介绍了基于ArcGIS Server 9.0和Java Applet + JOGL的'分布式旅游信息系统的构建方法,其中ArcGIS Server主要用于实现基础旅游信息的显示、查询、分析和辅助决策等功能;而利用Java Applet + JOGL开发网络环境下的三维景观漫游模块,弥补了ArcGIS Server 9.0在三维应用开发支持方面的不足.并将该方法应用于<中国云南-GMS旅游合作决策支持信息平台>的项目研发.
作 者:黄俊 万幼川 谭宁生 刘利平HUANG Jun WAN You-chuan TAN Ning-sheng LIU Li-ping 作者单位:武汉大学,遥感信息工程学院,武汉,430079 刊 名:测绘科学 ISTIC PKU英文刊名:SCIENCE OF SURVEYING AND MAPPING 年,卷(期): 34(5) 分类号:P208 TP79 关键词:ArcGIS Server JOGL Web Service 分布式 旅游信息篇16:分布式地理信息系统集成研究
分布式地理信息系统集成研究
从地理信息系统集成的特点出发,结合网络计算模型的进化,比较分析了分布式地理信息系统集成的`关键技术和最新进展,并通过对WebGIS体系结构的剖析,探讨了WebGIS环境下的地理信息系统集成思路.在Internet环境下,以元数据体系为基础,以对象关系数据库和分布式对象组件GIS为支撑的地理信息系统集成方案,在数据、软硬件技术和应用诸方面有望走向成熟,具有广阔的发展空间.与此同时,GIS标准化的努力,在相当长的时间内仍具有重要意义.
作 者:张力 翟建军 ZHANG Li ZHAI Jian-jun 作者单位:长江勘测规划设计研究院,空间公司,湖北,武汉,430010 刊 名:人民长江 PKU英文刊名:YANGTZE RIVER 年,卷(期): 38(10) 分类号:P208 关键词:分布式 地理信息系统 集成 元数据 WebGIS篇17:分布式数据库系统的概念
分布式数据库系统有两种:一种是物理上分布的,但逻辑上却是集中的,这种分布式数据库只适宜用途比较单一的、不大的单位或部门。另一种分布式数据库系统在物理上和逻辑上都是分布的,也就是所谓联邦式分布数据库系统。由于组成联邦的各个子数据库系统是相对“自治”的,这种系统可以容纳多种不同用途的、差异较大的数据库,比较适宜于大范围内数据库的集成。
分布式数据库系统(DDBS)包含分布式数据库管理系统(DDBMS)和分布式数据库(DDB)。在分布式数据库系统中,一个应用程序可以对数据库进行透明操作,数据库中的数据分别在不同的局部数据库中存储、由不同的 DBMS进行管理、在不同的机器上运行、由不同的操作系统支持、被不同的通信网络连接在一起。
一个分布式数据库在逻辑上是一个统一的整体,在物理上则是分别存储在不同的物理节点上。一个应用程序通过网络的连接可以访问分布在不同地理位置的数据库。它的分布性表现在数据库中的数据不是存储在同一场地,
更确切地讲,不存储在同一计算机的存储设备上。 这就是与集中式数据库的区别。从用户的角度看,一个分布式数据库系统在逻辑上和集中式数据库系统一样,用户可以在任何一个场地执行全局应用。就好那些数据是存储在同一台计算机上,有单个数据库管理系统(DBMS)管理一样,用户并没有什么感觉不一样。
分布式数据库系统是在集中式数据库系统的基础上发展起来的,是计算机技术和网络技术结合的产物。分布式数据库系统适合于单位分散的部门,允许各个部门将其常用的数据存储在本地,实施就地存放本地使用,从而提高响应速度,降低通信费用。分布式数据库系统与集中式数据库系统相比具有可扩展性,通过增加适当的数据冗余,提高系统的可靠性。在集中式数据库中,尽量减少冗余度是系统目标之一.其原因是,冗余数据浪费存储空间,而且容易造成各副本之间的不一致性.而为了保证数据的一致性,系统要付出一定的维护代价.减少冗余度的目标是用数据共享来达到的。而在分布式数据库中却希望增加冗余数据,在不同的场地存储同一数据的多个副本,其原因是:
①.提高系统的可靠性、可用性当某一场地出现故障时,系统可以对另一场地上的相同副本进行操作,不会因一处故障而造成整个系统的瘫痪。
②.提高系统性能系统可以根据距离选择离用户最近的数据副本进行操作,减少通信代价,改善整个系统的性能。
篇18:分布式数据库系统的目标
分布式数据库系统的目标,也就是研制分布式数据库系统的目的、动机,主要包括技术和组织两方面的目标.
1.适应部门分布的组织结构,降低费用
使用数据库的单位在组织上常常是分布的(如分为部门、科室、车间等等),在地理上也是分布的.分布式数据库系统的结构符合部门分布的组织结构,允许各个部门对自己常用的数据存储在本地,在本地录入、查询、维护,实行局部控制.由于计算机资源靠近用户,因而可以降低通信代价,提高响应速度,使这些部门使用数据库更方便更经济,
2.提高系统的可靠性和可用性
改善系统的可靠性和可用性是分布式数据库的主要目标.将数据分布于多个场地,并增加适当的冗余度可以提供更好的可靠性.一些可靠性要求较高的系统,这一点尤其重要.因为一个地出了故障不会引起整个系统崩溃.因为故障场地的用户可以通过其它场地进入系统.而其它场地的用户可以由系统自动选择存取路径,避开故障场地,利用其它数据副本执行操作,不影响业务的正常运行.
3.充分利用数据库资源,提高现有集中式数据库的利用率
当在一个大企业或大部门中已建成了若干个数据库之后,为了利用相互的资源,为了开发全局应用,就要研制分布式数据库系统.这种情况可称为自底向上的建立分布式系统.这种方法虽然也要对各现存的局部数据库系统做某些改动、重构,但比起把这些数据库集中起来重建一个集中式数据库,则无论从经济上还是从组织上考虑,分布式数据库均是较好的选择.
4.逐步扩展处理能力和系统规模
当一个单位规模扩大要增加新的部门(如银行系统增加新的分行,工厂增加新的科室、车间)时,分布式数据库系统的结构为扩展系统的处理能力提供了较好的途径:在分布式数据库系统中增加一个新的结点.这样做比在集中式系统中扩大系统规模要方便、灵活、经济得多,
在集中式系统中为了扩大规模常用的方法有两种:一种是在开始设计时留有较大的余地.这容易造成浪费,而且由于预测困难,设计结果仍可能不适应情况的变化.另一种方法是系统升级,这会影响现有应用的正常运行.并且当升级涉及不兼容的硬件或系统软件有了重大修改而要相应地修改已开发的应用软件时,升级的代价就十分昂贵而常常使得升级的方法不可行.分布式数据库系统能方便地把一个新的结点纳入系统,不影响现有系统的结构和系统的正常运行,提供了逐渐扩展系统能力的较好途径,有时甚至是唯一的途径。
篇19:HadoopDB:混合分布式系统
PB级数据分析系统的能力要求
1.性能:节省开销(时间、资金)。
2.容错:数据分析系统(即使有故障节点也能顺利工作) 不同于 事务型的系统的容错(从故障中无损的恢复)。节点故障时,原来的查询操作不需要重启。
3.在异构型环境中运行的能力。即使所有机器硬件一样,但某些机器在某些时候可能因为软件原因、网络原因也会性能降低。分布式操作时,要防止木桶效应。
4.活的查询接口:商业化的数据分析一般建立在SQL查询上,UDF等non-SQL也是需要的。
并行数据库
满足1,4:利用分表的方式,扩散到多个节点。一般情况下节点最多为几十个,原因:1.每增加一个节点,失败率增加;2.并行数据库假设各个机器都是同质化的,但这往往不太可能
MapReduce
满足2,3,4:Map - repartition - Reduce原为非结构化数据,但也可以适用结构化数据。
2:(错误节点)动态的规划节点执行任务,将错误节点任务发放给新节点。并在本地磁盘做checkpoint存储。
3:(拖后腿的节点)节点间冗余的执行。执行慢的节点的任务交付给速度快的节点执行
4:Hive的HQL
HadoopDB
融合了之前两者,做出系统层面的改进,而不仅仅是语言和接口层面。
这三个解决方案对4个指标的关系如下图:
篇20:HadoopDB:混合分布式系统
Databse Connector:
作用
hadoopTask <-通信-> Database on Node。节点上的DB类似于Hadoop中的数据源HDFS
实现
扩展了Hadoop的InputFormat
Catalog:
作用
1.链接参数如数据库位置,驱动类和证书; 2.一些元数据如数据簇中的数据集,副本的位置,数据的划分,
实现
HDFS上的XML。希望做成类似于Hadoop的namenode。
Data Loader
作用
将数据合理划分,从HDFS转移到节点中的本地文件系统
实现
global hasher:分配到不同节点 local hasher:继续划分为不同chunks
SQL to MapReduce to SQL (SMS) Planner
作用
将HiveQL转化为特定执行计划,在hadoopDB中执行。原则是尽可能的讲操作推向节点上的RDBMS上执行,以此提高执行效率。
实现
扩展Hive: 1.执行查找前,用catolog的信息更新Hive的metastore,定向到节点数据库的表 2.执行前,决定划分的键;将部分查询语句推到节点的数据库中执行。
【分布式工作总结范文(合集20篇)】相关文章:
气温和降水复习课件2022-08-09
第三节 世界的人种、宗教和语言2022-11-20
概率论与数理统计课件2022-10-02
《气温和降水》教学反思2023-05-02
初一地理工业的分布与发展的教案2022-11-27
地理《水资源》教案2022-05-06
概率论论文2023-05-29
第三节 降水和干湿地区2022-09-17
地理教案-世界的气候2023-12-05
地理世界的气候教案2022-08-29