nosql数据库在管理信息系统数据存储及处理的应用研究开题报告

nosql数据库在管理信息系统数据存储及处理的应用研究开题报告内容摘要：

系统增加 D a t a C o n n e c t o r ，使用N O S Q L 存储大规模的结构化和半结构化数据，利用C o n n e c t o r 将数据转化至原有系统进行处理，实现大数据分析– 将 N O S Q L 数据库平台集成至原有业务系统中。 使用原有系统对结构化数据处理分析；使用N O S Q L 平台对半结构化数据存储，借助开源的 H a d o o p 进行处理分析将 N o SQ L 数据库平台嵌入至原有分析系统集成 N o S QL 数据库至管理信息系统原有分析业务基于 N o S QL 数据库技术，重构管理信息系统数据分析平台– 基于开源的 N O S Q L 数据，借助业界主流的开源分析平台( H a d o o p ， R 分析， M a h o u t 等 )，构建符合管理信息系统分析业务的大数据处理平台，实现结构化和非结构化数据的分析处理– 为管理信息系统原有的分析系统增加 ，使用存储大规模的结构化和半结构化数据，利用将数据转化至原有系统进行处理，实现大数据分析– 将 数据库平台集成至原有业务系统中。 使用原有系统对结构化数据处理分析；使用平台对半结构化数据存储，借助开源的 进行处理分析将 数据库平台嵌入至原有分析系统集成 数据库至管理信息系统原有分析业务基于 数据库技术，重构管理信息系统数据分析平台将 数据库平台嵌入至原有分析系统集成 数据库至管理信息系统原有分析业务基于 数据库技术，重构管理信息系统数据分析平台– 基于开源的 数据，借助业界主流的开源分析平台， 分析， 等，构建符合管理信息系统分析业务的大数据处理平台，实现结构化和非结构化数据的分析处理 图 7. 数据库技术在管理信息系统数据分析中的应用架构设计 III. 面向数据分析的 NoSQL 数据库技术应用架构的测试和验证 针对面向管理信息系统数据分析业务构建的应用架构，结合选定 NOSQL 数据库和分析模型，对数据分析的性能，系统的可扩展性等进行测试分析。 验证系统的设计目标，并根据测试的结果，对模型的改造进行调整，对相关参数进行优化 : YCSB(Yahoo Cloud Serving Benchmark)作为业界主流的测试基准 ,提供了一个评估不同云存储产品的框架和标准负载集，主要用于测试产品的性能和可扩展性 ，如图 8 所示。 图 8. YCSB 测试平台架构 主要 技术方案和关键技术 从课题研究的内容来看 ， 课题的主要技术方案和关键技术主要包括四个方面： 数据分析/处理技术和现有解决方案的调研和研究， NoSQL 数据库技术面向数据分析 /处理的应用架构设计，应用架构中 NoSQL 数据库的选型和验证，以及典型分析模型的改造； I. 数据分析 /处理技术和现有解决方案的调研和研究 NoSQL 在大数据处理和分析中关键技术的研究和现有方案的调研， 如图 6 所示， 将主要从三个方面展开。 BI 处理平台– 对企业数据进行分析，智能提取信息，帮助企业做出明智的业务经营决策，如O L A P , O L T P语义引擎 – 从大量非结构化得 “ 文档 ” 数据中智能提取信息，获得业务需求的关键信息预测分析 – 基于大数据的挖掘结果进行预测性分析，预测关键业务和核心业务未来的结果数据挖掘– 对大数据进行挖掘，发现对业务和需求关键的数据，包括集群、分割、孤立点分析等算法。 如 A p a c h e M a h o u t , W e k a 3 , R , H P C C E C L M L , S H A R K可视化分析 – 数据可视化是分析的基本工具，用以直管的展示数据ET L / EL T – 数据抽取、转换和加载工具M a p R ed u ce – 并行计算框架，用以大数据的分析处理数据存储 – 包括四种技术： M P P D B , D a t a W a r e h o u s e , N O S Q L , D i s t r i b u t e d F i l e S y s t e m 图 9. 数据分析 /处理技术和现有解决方案的调研和研究 如图 9 所示， NoSQL 在大数据处理 /分析中关键 技术的研究和现有方案的调研，将主要从两个方面展开：  大数据处理 /分析技术体系和关键技术的研究，从而了解其主要需求以及 NoSQL 数据库技术应用的潜在场景；  NoSQL 在现有典型大数据处理平台和产品中应用方案的调研和分析，从而总结和分析出在大数据处理和分析领域 NoSQL 数据库的典型应用场景； II. NoSQL 数据库技术面向数据分析 /处理的应用架构设计 NoSQL 数据库技术在管理信息系统数据分析中的应用架构设计，将基于上述对大数据处理和分析场景中相关需求和关键技术的研究成果开展 ,如图 10 所示。 关关键键技技术术和和存存储储需需求求NoSQL 辅助应用模式面面向向数数据据分分析析应应用用架架构构HDF S Dis tribute d F i l e Sy s tem HBaseDat a St orag e S y st emMapRedu c e F ra mew o rkDat a ProcessingPi g Dat a A c cessHiv e Av ro Zo oKeeper Chukw aMan ag e m en tDat a Co n ne ct io nsDat a Wareh ou s eBu sin ess In te l li ge nc e an d A n al y t ic L a y erQ ue r y , Reporti ng, Da ta Mi ning, Pr edic t i v e Ana l y ti c s , Ma ho u tHard WareHadoop 体系下的大数据存储 / 分析平台 图 10. NoSQL 数据库技术面向数据分析 /处理的应用架构设计 如图 10 所示， NoSQL 数据库技术在管理信息系统数据分析中的应用架构设计，将基于上述对大数据处理和分析场景中相关需求和关键技术的研究成果开展：  基于 NoSQL 数据库应用场景的研究成果，完成存储需求的分析；初步估计，主要以对传统存储辅助的方式进行；  借鉴 NoSQL 辅助应用模式 /基本原则，参考大数据存储 /分析平台的典型架构（例如Hadoop 体系下的大数据存储 /分析平台），挖成面向数据分析的应用架构； III. 应用架构中 NoSQL 数据库的选型和 验证 针对设计完成的应用架构， NoSQL 数据库产品的选型主要从 NoSQL 的主要功能 /技术维度出发， 如图 11 所示， 包括 Data Model， Data Partition， Data Replication， Consistency Mngt., Cluser ；选型完成的基础上，利用选定的数据库进行架构方案的验证； C lust er mn gmtan d F ai lur e det e ct i onDat a C on si sten cy Man a ge m entDat a Re p l ic at i on Dat a Par tit i on in gDat a M od el Key Value 存储 列式存储 文档型存储 图形存储分布式文件存储连续范围分区Co n si sten。