硕士开题报告论文

时间：2023-03-06 14:29:37 开题报告我要投稿

硕士开题报告论文

　　在不断进步的时代，报告的使用频率呈上升趋势，其在写作上具有一定的窍门。你还在对写报告感到一筹莫展吗？以下是小编为大家整理的硕士开题报告论文，供大家参考借鉴，希望可以帮助到有需要的朋友。

硕士开题报告论文

硕士开题报告论文1

　　本课题来源于作者在学习和实习中了解到的两个事实，属于自拟课题。

　　其一，作者在20xx年7月在XXX公司调研，了解到现如今各行业都面临着数据量剧增长，并由此带来业务处理速度缓慢，数据维护困难等问题。为了应对此挑战，很多企业开实施大数据发展战略。现如今的大数据发展战略可以概括为两类，一类是垂直扩展。即采用存储容量更大，处理能力更强的设备，此种方式成本较大，过去很多大公司一直采用此种方法处理大数据。但自从20xx年Google发布关于GFS，MapReduce和BigTable三篇技术论文之后，云计算开始兴起，20xx年Apache Hadoop项目启动。随后从20xx年开始，随着云计算和大数据的发展，Hadoop作为一种优秀的数据分析、处理解决方案，开始受到许多 IT企业的关注。相较于垂直扩张所需的昂贵成本，人们更钟情于采用这种通过整合廉价计算资源的水平扩展方式。于是很多IT企业开始探索采用Hadoop框架构建自己的大数据环境。

　　其二，作者自20xx年4月在XXX实习过程中进一步了解到，因为关系数据库在存储数据格式方面的局限，以及其Schema机制带来的扩展性上的不便，目前在大部分的大数据应用环境中都采用非结构化的数据库，如列式存储的Hbase，文档型存储的MangoDB，图数据库neo4j等。这些非结构化数据库因为可扩展性强、资源利用率高，高并发、响应速度快等优势，在大数据应用环境中得到了广泛的应用。但此种应用只解决了前端的业务处理，要真正利用大数据实现商务智能，还需要为决策支持系统和联机分析应用等提供一数据环境——数据仓库。为此，导师指导本文作者拟此题目，研究基于Hadoop框架的数据仓库解决方案。

　　二、研究目的和意义：

　　现如今，数据已经渗透到每一个行业，成为重要的生产因素。近年来，由于历史积累和和数据增长速度加快，各行业都面临着大数据的难题。事实上，大数据既是机遇又时挑战。合理、充分利用大数据，将其转变为海量、高增长率和多样化的信息资产，将使得企业具有更强的决策力、洞察发现力和流程优化等能力。因此，很多IT企业都将大数据作为其重要的发展战略，如亚马逊、FaceBook已布局大数据产业，并取得了骄人的成绩。事实上，不止谷歌、易趣网或亚马逊这样的大型互联网企业需要发展大数据，任何规模的企业都有机会从大数据中获得优势，并由此构建其未来业务分析的基础，在与同行的竞争中，取得显著的优势。

　　相较于大型企业，中小企业的大数据发展战略不同。大公司可以凭借雄厚的资本和技术实力，从自身环境和业务出发，开发自己的软件平台。而中小企业没有那样的技术实力，也没有那么庞大的资金投入，更倾向于选择一个普遍的、相对廉价的解决方案。本文旨在分析大数据环境下数据库的特点，结合当下流行的Hadoop框架，提出了一种适用于大数据环境的数据仓库的解决方案并实现。为中小企业在大数据环境中构建数据仓库提供参考。其具体说来，主要有以下三方面意义：

　　首先，目前主流的数据库如Oracle、SQL Server都有对应自己数据库平台的一整套的数据仓库解决方案，对于其他的关系型数据库如MySQL等，虽然没有对应数据库平台的数据仓库解决方案，但有很多整合的`数据仓库解决方案。而对于非结构化的数据库，因其数据模型不同于关系型数据库，需要新的解决方案，本文提出的基于Hive/Pentaho的数据仓库实现方案可以为其提供一个参考。

　　其次，通过整合多源非结构化数据库，生成一个面向主题、集成的数据仓库，可为大数据平台上的联机事务处理、决策支持等提供数据环境，从而有效利用数据资源辅助管理决策。

　　再次，大数据是一个广泛的概念，包括大数据存储、大数据计算、大数据分析等各个层次的技术细节，本文提出的“大数据环境下的数据仓库解决方案及实现“丰富了大数据应用技术的生态环境，为大数据环境下的数据分析、数据挖掘等提供支撑。

　　三、国内外研究现状和发展趋势的简要说明：

　　本文研究的主体是数据仓库，区别于传统基于关系型数据库的数据仓库，本文聚焦大数据环境下基于非结构数据库的数据仓库的构建与实现。因此，有必要从数据仓库和大数据环境下的数据库两方面进行阐述。

　　(一) 数据仓库国内外研究现状

　　自从Bill Inmon 在1990年提出“数据仓库”这一概念之后，数据仓库技术开始兴起，并给社会带来新的契机，逐渐成为一大技术热点。目前，美国30%到40%的公司已经或正在建造数据仓库。现如今随着数据模型理论的完善，数据库技术、应用开发及挖掘技术的不断进步，数据仓库技术不断发展，并在实际应用中发挥了巨大的作用。以数据仓库为基础，以联机分析处理和数据挖掘工具为手段的决策支持系统日渐成熟。与此同时，使用数据仓库所产生的巨大效益又刺激了对数据仓库技术的需求，数据仓库市场正以迅猛的势头向前发展。

　　我国企业信息化起步相对较晚，数据仓库技术在国内的发展还处于积累经验阶段。虽然近年来，我国大中型企业逐步认识到利用数据仓库技术的重要性，并已开始建立自己的数据仓库系统，如中国移动、中国电信、中国联通、上海证券交易所和中国石油等。但从整体上来看，我国数据仓库市场还需要进一步培育，数据仓库技术同国外还有很大差距。为此，我国许多科技工作者已开始对数据仓库相关技术进行深入研究，通过对国外技术的吸收和借鉴，在此基础上提出适合国内需求的技术方案。

　　(二) 非结化数据库国内外研究现状

　　随着数据库技术深入应用到各个领域，结构化数据库逐渐显露出一些弊端。如在生物、地理、气候等领域，研究面对的数据结构并不是传统上的关系数据结构。如果使用关系数据库对其进行存储、展示，就必须将其从本身的数据结构强行转换为关系数据结构。采用此种方式处理非结构数据，不能在整个生命周期内对非关系数据进行管理，并且数据间的关系也无法完整的表示出来。在此背景下，非结构化数据库应运而生。相较于关系数据库，非结构数据库的字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成。如此，它不仅可以处理结构化数据，更能处理文本、图象、声音、影视、超媒体等非结构化数据。近年来，随着大数据兴起，非结构数据库开始广泛应用，以支持大数据处理的多种结构数据。

　　目前，非结构化的数据库种类繁多，按其存储数据类型分，主要包含内存数据库、列存储型、文档数据库、图数据库等。其中，常见的内存数据库有SQLite，Redis，Altibase等;列存储数据库有Hbase，Bigtable等;文档数据库有MangoDB，CouchDB，RavenDB等;图数据库有Neo4j等。近年来，我国非结构数据库也有一定发展，其中最具代表的是国信贝斯的iBASE数据库。可以预见在不久的将来，伴随这大数据的应用，非结构数据库将会得到长足的发展和广泛的应用。

　　四、主要研究内容和要求达到的深度：

　　本文研究的方向是数据仓库，并且是聚焦于大数据这一特定环境下的数据仓库建设，其主要内容包括以下几点：

　　1. 非结构数据库的数据仓库解决方案：本文聚焦于大数据这一特定环境下的数据仓库建设，因为大数据环境下的数据仓库建设理论文献很少，首先需要以研究关系数据库型数据仓库的解决方案为参考，然后对比关系数据库和非结构数据库的特点，最后在参考方案的基础上改进，以得到适合非结构数据库环境的数据仓库解决方案。

　　2. 非结构数据库和关系数据库间数据转换：非结构数据库是对关系数据库的补充，很多非结构数据库应用环境中都有关系数据库的身影。因此，非结构数据库和关系数据库间数据转换是建立非结构数据库需要解决的一个关键问题。

　　3. 基于非结构数据库的数据仓库构建：本文拟采用手礼网的数据，分析其具体的数据环境和需求，为其构建基于非结构数据库的数据仓库，主要包括非结构数据库的数据抽取，Hive数据库入库操作和Pentaho前台数据展现等。

　　五、研究工作的主要阶段、进度和完成时间：

　　结合研究需要和学校教务管理的安排，研究工作主要分以下四阶段完成：

　　第一阶段：论文提纲：20xx年6月——7月

　　第二阶段：论文初稿：20xx年8月——10月

　　第三阶段：论文修改：20xx年11月——20xx年3月

　　第四阶段：最终定稿：20xx年4月

　　六、拟采用的研究方法、手段等及采取的措施：

　　在论文提纲阶段，本文拟采用调查统计的方法，收集目前大数据环境下数据库应用情况，着重统计各类型数据库的应用比例。同时采用文献分析和个案研究的方法研究数据仓库构建的一般过程和对应的技术细节，并提出解决方案。在论文初稿和修改阶段，本文拟通过实证研究，依据提纲阶段在文献分析中收集到的理论，基于特定的实践环境，理论结合实践，实现某一具体数据仓库的构建。最后采用定性和定量相结合的方法，详细介绍大数据环境下数据库和数据仓库的特点，其数据仓库实现的关键问题及解决方案，以及数据仓库个例实现的详细过程。

　　七、可能遇见的困难、问题及拟采取的解决办法、措施：

　　基于本文的研究内容和特点分析，本文在研究过程中最有可能遇到三个关键问题。

　　其一，非结构数据库种类繁多，每类数据库又对应有不同的数据库产品，由于当下非结构数据库没有统一标准，即便同类数据库下不同产品的操作都不尽相同，难以为所有非结构数据库提出解决方案。针对此问题，本文拟紧贴大数据这一背景，选择当下大数据环境中应用最多的几类数据库的代表性产品进行实现。

　　其二，虽然经过二十年的发展，数据仓库的理论已日趋完善，但大数据是近几年才发展起来的技术热点，大树据环境下的数据仓库建设理论文献很少。针对此问题，本文拟参考现有的成熟的关系数据库环境下数据仓库构建方案和非结构化数据仓库理论，研究适合非结构数据库的数据仓库构建方案，请导师就方案进行指导，然后再研究具体技术细节实现方案。

　　其三，基于大数据环境的数据仓库实现是本文重要的组成部分，要完成此部分的工作需要企业提供数据支持，但现在数据在企业当中的保密级别都很高，一般企业都不会将自己的业务数据外传。针对此问题，本文拟采用企业非核心业务数据进行数据仓库实现。

　　八、大纲

　　本文的基本构想和思路，文章拟分为导论、大数据环境下的数据库介绍、大数据下数据仓库关键问题研究、基于XX电子商务的大数据下数据仓库实现、结论五部分。

　　导论

　　一、研究背景

　　二、国内外研究现状述评

　　三、本文的主要内容与研究思路

　　第一章大数据环境下的数据库介绍

　　第一节大数据对数据库的要求

　　第二节关系数据库和非结构数据库比较

　　第三节大数据下常用非结构数据库介绍

　　小结

　　第二章大数据下数据仓库关键问题研究

　　第一节非结构数据模型和关系数据模型的转换

　　第二节基于多源非结构数据库的数据抽取

　　第三节数据类型转换

　　第四节数据仓库前端展示

　　第三章大数据下数据仓库实现方案

　　第一节大数据环境介绍

　　第二节实现方案

　　第二节 Hive介绍

　　第三节 Pentaho介绍

　　第四章基于XX电子商务的大数据下数据仓库实现

　　第一节需求分析

　　第二节模型设计

　　第三节概要设计

　　第四节基于Hive的数据入库操作实现

　　第五节基于Pentaho的数据仓库前端展示实现

　　结论

硕士开题报告论文2

　　课题名称：基于信任管理的WSN安全数据融合算法的研究

　　一、立论依据

　　课题来源、选题依据和背景情况、课题研究目的、理论意义和实际应用价值。

　　1、课题来源。

　　国家自然科学基金资助项目（60873199）。

　　2、选题依据。

　　无线传感器网络具有硬件资源（存储能力、计算能力等）有限，电源容量有限，拓扑结构动态变化，节点众多难于全面管理等特点，这些特点给理论研究人员和工程技术人员提出了大量具有挑战性的研究课题，安全数据融合即为其一。虽然目前的研究已经取得了一些成果，但仍然不能满足应用的需求。无线传感器网络是以数据为中心的网络，如何保证其数据融合的安全性还是一个有待解决的问题。基于此，提出了本课题的研究。

　　3、背景情况。

　　、计算技术和无线通信等技术的进步，推动了低功耗多功能传感器的快速发展，使其在微小体积内能够集成信息采集、数据处理和无线通信等多种功能。无线传感器网络就是由部署在监测区域内大量的廉价微型传感器节点组成，通过无线通信方式形成的一个多跳的自组织的网络系统，其目的是协作地感知、采集和处理网络覆盖区域中感知对象的信息，并发送给数据处理中心或基站。传感器网络被广泛的应用于军事、环境监测和预报、健康护理、智能家居、建筑物状态监控、复杂机械监控、城市交通，以及机场、大型工业园区的安全监测等领域。

　　传感器网络由大量传感器节点组成，收集的信息量大，存在冗余数据。传感器节点的计算能力、存储能力、通信能量以及携带的能量都十分有限，数据融合就是针对冗余数据进行网内处理，减少数据传输量，是减少能耗地重要技术之一。传感器网络中，将路由技术与数据融合技术结合是一个重要的问题。数据融合可以减少数据量，减轻数据汇聚过程中的网络拥塞，协助路由协议延长网络的生存时间。因而可以数据为中心的路由技术中应用数据融合技术。在战场等非可信环境或对可靠性要求非常高的环境中，数据融合也带来了风险。例如，敌人可以俘获节点获取节点中的所有信息，从而完全控制节点的行为，伪造和篡改数据。传统网络中的安全技术需要大量的存储空间和计算量，不适合能量、计算能力、存储空间都十分有限的传感器网络。因此必须设计适合传感器网络具有较强安全性的数据融合技术。

　　4、课题研究目的。

　　通过对无线传感器网络安全数据融合技术的研究，消除传感器中存在的、大量冗余数据，有效节省传感器节点能量消耗，延迟节点和网络的工作寿命，在有节点被捕获成为恶意节点情况下，及时检测恶意节点，消除恶意节点发送的恶意数据对数据融合的不良影响，保障了传感器网络数据融合过程的可靠性，维护传感器网络的正常工作。

　　5、理论意义。

　　无线传感器网络安全技术的研究涵盖了非常多的研究领域，安全数据融合技术是其中一个重要研究课题。本文把信任管理机制加入到传感器网络安全数据融合过程中，研究设计一种传感器节点信任值的计算方法，有效识别节点状态，实现可靠的数据融合。

　　6、实际应用价值。

　　对于工作在敌方环境中的无线传感器网络，传感器节点容易被地方捕获成为恶意节点，节点内存储的密钥等加密暴露，导致传统的基于加密和认证的无线传感器网络安全措施失效，在这种情况下，本研究可以可以及时识别恶意节点，保证传感器网络数据融合的可靠性，有效减少网络负载，延长网络工作寿命。

　　二、文献综述

　　国内外研究现状、发展动态；所阅文献的查阅范围及手段。

　　1、国内外研究现状、发展动态。

　　传感器网络与众不同的特点导致传感器网络与传统网络有极大不同。传感器网络的安全数据汇聚是要解决加密传输和数据汇聚的协调问题，实现数据的安全处理和传输。传统有线网络和无线网络的安全技术并不适用于传感器网络，这吸引了众多研究人员研究适合传感器网络的安全技术，并且提出了许多适合传感器网络的安全技术。安全数据融合算法是WSN安全性研究的重要方面，一直以来受到研究人员的重视，并取得了一定的研究成果。目前已有的研究成果如下：

　　（1）PerrigA等人提出了一种有效的WSN数据加密方法和广播认证方法，为WSN安全性研究作出了基础性工作。

　　（2）CAMH等人提出了一种基于模式码的能量有效安全数据融合算法，算法用簇头节点通过自定义的模式码的选取来组织传感器节的发送冗余数据实现数据融合，并且使用同态加密体重保证了数据在传输过程中的机密性。改方法对于每类数据类型需要保存和维护一个查找表，一旦查找表信息暴露，该安全方案将会失效。

　　（3）PrzydatekB等人提出的基于数据统计规律的数据融合算法，算法使用高效的抽样和迭代的证明来保证有多个恶意节点发送错误数据的情况下，保证基站能够判定查询结果的准确性。但是该方法对于每种聚集函数都需要一个复杂的算法，为证明数据准确性，聚集节点需向基站发送大量参数，能量消耗太大。

　　（4）MahimkarA等人研究在WSN中使用椭圆曲线密码实现数据加密和安全数据融合。但是在传感器节的十分有限的情况下，使用公钥密码体系使节点能量消耗更加迅速，缩短网络的寿命。

　　WSN的信任管理是在WSN管理的基础上提出的，主要研究对节点进行信任值评估，借助信任值增强WSN的安全性。传统的基于密码体系的安全机制，主要用来抵抗外部攻击。假如节点被捕获，节点存储的密钥信息将泄漏，使密码体系失效。WSN信任管理作为密码体系的补充可以有效的抵抗这种内部攻击。将信任管理同WSN的安全构架相结合，可以全面提高WSN各项基础支撑技术的安全性和可靠性。

　　近年来，WSN信任管理受到了越来越多的关注，取得了一定的研究成果。

　　（1）Ganeriwal等人提出的RFSN是一个较为完整的WSN信任管理系统，该模型使用直接信息和坚决信息来更新节点的信誉，节点根据得到的信誉信息来选择是否和其他节点合作。可以建立仅由可信节点组成的网络环境。

　　（2）Garth等人中将信任管理用于簇头选举，采取冗余策略和挑战应答手段，尽可能的保证选举出的簇头节点为可信节点。

　　（3）Krasniewski提出了TIBFIT算法将信任用于WSN容错系统，把信任度作为一个参数融入到数据融合的过程中，提高对感知事件判断的准确率，其提出的信任度计算方法比较的简单。

　　无线传感器网络需要采取一定的措施来保证网络中数据传输的安全性。就目前的研究来看，对无线传感器网络安全数据融合技术和信任管理机制都取得了一些研究成果，但是如何使用信任管理机制保证安全的数据融合的研究并不多见，许多问题还有待于进一步深入研究。

　　2、所阅文献的查阅范围及手段。

　　充分利用校内图书馆资源、网络资源以及一些位于科技前沿的期刊学报。从对文献的学习中掌握足够的理论依据，获得启发以用于研究。

　　三、研究内容

　　1、研究构想与思路。

　　在本项目前期工作基础上建立WSN三级簇结构模型，节点分为普通节点，数据融合节点（免疫节点），簇头节点。在常规加密算法的基础上完成节点身份认证，通过消息认证码或数字水印技术保证传感器节点传送数据的真实性。上级节点保存下级节点的信任值，信任度的计算建立在传送数据的统计分析之上。节点加入网络后先初始化为一定的信任值，每轮数据发送时，接收节点收集数据后，量化数据的`分布规律，主要包括单个节点历史数据分布规律和节点间数据差异的分析，确定数据分布模型（如正态分布、beta分布等），建立计算模型以确定节点间的信任值。信任值确定后，数据融合节点将普通节点按照不同的信任度进行分类，选取可信节点传送的数据按查询命令进行数据融合，将结果传送到簇头。簇头同样计算融合节点的信任度，保证数据融合节点的可靠性，计算最终数据查询结果，使用Josang信任模型给出结果的评价。各数据融合节点之间保持通信，通过对比数据的一致性确保簇头节点的可靠。

　　2、主要研究内容。

　　（1）设计有效的节点信任值计算方法，网络工作一段时间后，所有正常节点具有较高信任度，异常节点具有较低信任度，可初步判定为恶意节点。

　　（2）当融合节点或簇头节点发生异常时能及时发现异常，并上报基站。

　　（3）过滤异常数据和恶意数据，尽量减少因节点被捕获而对感知数据结果造成的影响。

　　（4）计算最终数据融合结果并且对最终数据融合结果做出评价来反映该结果的的可靠程度，供基站参考。

　　（5）进行算法的能量分析。

　　3、拟解决的关键技术。

　　（1）建立WSN一个簇内数据传送的三层簇结构模型，节点密集部署。

　　（2）模拟工作过程中节点被捕获成为恶意节点，恶意节点可能发送和真实数据差别较大的数据，也能发送和真实数据差别不大但会影响融合结果的数据。

　　（3）计算并更新传感器节点的信任值，分析信任值的有效性。

　　（4）记录各节点传送数据值，并与实际值进行比较，分析融合数据的准确性。测试当有较多节点被捕获时算法的工作效果。

　　4、拟采取的研究方法。

　　查阅国内外大量有关无线传感器网络数据融合技术和信任管理技术方面的文献，分析当前无线传感器网络安全领域的发展现状与未来。借鉴在该领域已经取得的研究成果和经验，系统而深入的研究在无线传感器网络数据融合中使用信任管理机制的主要问题。通过对已有的安全数据融合技术进行总结和分析，结合无线传感器网络自身的特点，设计出一种基于信任管理的无线传感器网络安全数据融合算法。

　　5、技术路线。

　　本课题尝试使用信任管理机制来保障在无线传感器网络中实现安全的数据融合，在现有的对无线传感器网络安全数据融合技术的研究基础上，与信任管理技术相结合，期望能够对传感器网络安全数据融合提出有效的解决方案。针对课题中的技术难点，通过查阅资料、向导师请教以及与项目组同学讨论的形式来解决。

　　6、实施方案。

　　（1）在Windows平台下使用omnet++进行仿真实验。

　　（2）建立无线传感器网络一个簇内数据传送的三层结构模型，节点密集部署。

　　（3）模拟无线传感器网络受到攻击时时的数据发送，根据数据统计规律计算和更新节点信任值。

　　（4）把节点按信任值分类，检测识别恶意节点。

　　（5）根据节点信任值选择有效数据完成数据融合。

　　7、可行性分析。

　　（1）理论知识积累：通过广泛阅读无线传感器网络数据融合技术方面的文献形成了一定量的理论知识储备，为课题的研究奠定基础。

　　（2）技术积累：熟悉OMNeT++网络仿真软件，具有一定的C++编程能力。

　　（3）技术合作：研究过程中遇到难以解决的问题时，可以向指导老师请教解决问题的基本思路。对项目相关课题有疑问时，可以向项目组同学请教。对实验平台的建立及使用有疑问时，可以和项目组同学共同讨论解决。