数据质量低，你会损失什么？
大数据是物联网数据感知、云计算数据计算、三网融合数据服务实现的核心基础。大数据时代的到来对学校存储和管理数据、从数据中提取有价值的信息提出了挑战。对大数据进行有效分析的前提是必须要保证数据的质量，专业的数据分析工具只有在高质量的大数据环境中才能提取出隐含的、准确的、有用的信息。
然而，由于大数据具有复杂、多样、多变等特点，学校要想保证大数据的高质量却并非易事，数据质量很难保证。下文重点从流程、技术和管理三方面来分析大数据环境下保证大数据质量的挑战及重要性。从流程的角度，可以将数据生产过程分为数据收集、数据存储和数据使用三个阶段，三个阶段对保证大数据质量分别提出了不同的挑战。大数据的多样性决定了数据来源的复杂性。大数据的数据来源众多，数据结构随着数据来源的不同而各异，学校要想保证从多个数据源获取的结构复杂的大数据的质量并有效地对数据进行整合，是一项艰巨的任务。来自于大量不同数据源的数据之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的一致性、元数据定义的统一性及数据质量是大数据为各学校提出的挑战。另外，由于大数据的变化速度较快，有些数据的“有效期”非常短，如果没有实时地收集所需的数据，有可能收集到的就是“过期的”、无效的数据，在一定程度上会影响大数据的质量。数据收集阶段是整个数据生命周期的开始，这个阶段的数据质量对后续阶段的数据质量起着直接的决定性的影响。因此，学校应该重视源头上的大数据质量问题，为大数据的分析和应用提供高质量的数据基础。由于大数据的多样性，单一的数据结构已经远远不能满足大数据存储的需要，学校应该使用专门的数据库技术和专用的数据存储设备进行大数据的存储，保证数据存储的有效性。数据存储是实现高水平数据质量的基本保障，如果数据不能被一致、完整、有效的存储，数据质量将无从谈起。因此，学校要想充分挖掘大数据的核心价值，首先必须完成传统的结构化数据存储处理方式向同时兼具结构化与非结构化数据存储处理方式的转变，不断完善大数据环境下高校数据库的建设，为保证大数据质量提供基础保障。同时，学校应该根据大数据结构的要求和特点合理地设计数据存储和使用规则，以方便对数据的快速读取。如果数据存储不合理，不仅会浪费系统的存储空间，而且还会给后期的数据使用带来极大的不便，甚至会产生错误、无效的数据，难以保证数据质量。数据价值的发挥在于对数据的有效分析和应用，大数据涉及的使用人员众多，很多时候是同步地、不断地对数据进行提取、分析、更新和使用。举例来说，由于大数据规模庞大、变化速度快，对数据的处理速度要求较高，如果数据处理不及时，有些变化速度快的数据就失去了其最有价值的阶段。本文的技术视角主要是指从数据库技术、数据质量监控技术、数据分析技术的角度来研究保证大数据质量的挑战及其重要性。大数据及其相关分析技术的应用能够为学校提供更加准确的预测信息、更好的决策基础以及更精准的干预政策，然而如果大数据的数据质量不高，所有这些优势都将化为泡影。在大数据时代，学校的数据量不仅巨大，而且数据结构种类繁多，数据之间的关系也较为复杂，若要识别、检测大数据中错误、缺失、无效、延迟的数据，往往需要遍历数百万甚至数亿条记录或语句，从这个角度来讲，大数据环境为数据质量的监控和管理带来了巨大的挑战。这种情况下，这就要求各学校应根据实际业务的需要，在配备高效的数据存储设备的同时，开发、设计或引进先进的、智能化的、专业的大数据分析技术和方法，以实现大数据中数据质量问题的监控，以及对大数据的整合、分析、可视化等操作，充分地提取、挖掘大数据潜在的应用价值。管理视角主要探讨学校高层管理者、专业管理和技术分析人员对保证大数据质量的重要性。首先，大数据的管理需要高层管理者的重视和支持。只有这样，一系列跟大数据有关的应用及发展规划才能有望得到推动，保证大数据质量的各项规章制度才能得到顺利的贯彻和落实。如果高层管理者缺乏大数据意识以及对大数据价值的正确理解，通常会给大数据管理带来阻碍。缺少高层管理者的支持，学校对大数据管理、分析和应用的重视程度就会有所降低，大数据的质量就无法得到全面、有效的保证，从而将会大大弱化大数据价值的发挥。因此，企业应该在高层管理的领导和带领下，加强大数据质量意识，建立完善的数据质量保证制度。其次，专业数据管理人员的配备是保证大数据质量不可或缺的部分。由于大数据本身的复杂性增加了大数据管理的难度，既懂得数据分析技术，同时又谙熟学校各项业务的新型复合型管理人员是当下应用大数据方案最急需的人才，而首席数据官( Chief Data Officer，CDO) 就是这类人才的典型代表。任命 CDO 来专门负责大数据所有权管理、定义元数据标准、制定并实施大数据管理决策等一系列活动是十分必要的。此外，在大数据生产过程的任何一个环节，学校都应该配备相应的专业人员，通过熟悉掌握数据的产生流程进行数据质量的监控，例如在数据获取阶段，应指定专门人员负责记录定义并记录元数据，以便于数据的解释，保证学校各管理部门人员对数据的一致、正确理解，保证大数据源头的质量。像互联网、云计算以及物联网等技术一样，大数据时代的到来势必会再次让信息技术领域焕然一新。如何保证大数据的质量，如何提取并利用隐藏在大数据中的信息以完善学校信息系统、提升数据决策能力，成为教育信息化领域从业人员必须面对的问题。因此，从数据收集、数据存储到数据使用，学校必须制定详细、缜密的数据质量管理制度，在数据库设计时要考虑各个方面可能发生的种种意外情形，利用专门的数据质量监控系统和可视化平台，任命专业的数据管理人才加强对大数据的管理，提高学校内部的数据质量管理意识，以保证大数据的数据质量，从而挖掘出更多准确、有效、有价值的信息。作者：宗威、吴锋
图片来源：网络
内容来源：中国教育信息化（ID：zgjyxxh）
1. 优学云测评推出培训机构个性化教学解决方案
2. 优学云测评推出中小学校个性化教学解决方案
3. 优学云测评推出招生平台流量提升方案
4. 优学云测评推出企业人才发展平台解决方案——人才库管理
5. 优学云测评帮助个性化教育成为现实
优学云测评精选的每一篇文章都会注明来源和作者（除非找不到），文章版权归原作者所有，若有侵犯权益，请联系我们删除。本文所述内容仅代表作者观点，不代表优学云测评立场。对于本文以及其中全部或者部分内容、文字的真实性、完整性、准确性和合法性本公众号不作任何保证或承诺。