企业应该如何进行DQM—数据质量管理？

Question

如题所述

Answer 1

数据质量管理作一些思考和剖析。

　提高对数据质量重要性认识的基础是对数据质量基本属性的认识。

　　数据是有效开展企业信息化管理和辅助决策分析的依据，是实现企业信息化高速发展的重要保障，因此其质量和时效性已经越来越受到高度关注。我们对数据建设和应用进行了重点投入，目的就是能够拥有丰富、准确、及时、有效的数据资源，占据现代企业信息化管理中的优势地位。数据就是资产的理念已被普遍认识，但要从基本上提高对数据质量重要性的认识，并潜化为工作方式和习惯，就必须立足于对数据及其质量本质的解析，从而推动实践，把握进程。　

　　思考：大集中环境下数据的属性有哪些？如何去监控这些要素达到提高数据质量的目的？

　　数据作为企业信息化应用的主体，它具有多重属性，其基本质量特性主要包括适用性、准确性、完整性、及时性、有效性等五个方面，要对数据质量进行较好地控制，就必须对数据的五个基本质量特性进行很好了解，从而在各个方面采取措施，杜绝数据质量问题的出现，使数据监控工作能够真正达到控制数据质量的目的。

　　1.数据的适用性。在企业业务开展过程中，会产生大量的各类企业数据，这些数据有企业动态信息等反应不断变化的数量型数据，也有相应企业静态信息等相对稳定的属性信息。这些数据有的是为企业管理和决策服务的，有的则是满足各级管理和分析的需求，这就从客观上造成数据的多样化，同时也是为满足不同专业、不同岗位的操作人员服务的。不同的数据具有不同的使用范围，每个数据的正确性都要求它是进入正确的专业应用，换句话说：无论多么准确、及时的数据，如果不具有适用性，它就不能产生任何效益，甚至操作人员使用之后会造成损失。

　　2.数据的准确性。数据的准确性一般是说数据测量值与真实值相比的符合情况，但在税务登记的基础数据的采集和录入处理过程中，数据的准确性往往变成是指所采集入库的数据值与实际应采集记录的正确值之间的差异。在数据监控和质量控制的过程中，准确性越好的数据，其误差应该越小。影响数据准确性的因素很多，数据误差在数据采集、审核、录入、传输和处理等的各个环节都可能产生。我们需要从各个方面分析影响数据准确性的因素，同时有效控制不同类型数据的合理变化范围，将数据误差控制在尽可能理想的范围内，以保证数据的准确性。

　　3.数据的及时性。在日常数据的管理中，往往要求能够更快、更准地收集到所需的数据。在日常生活中，也有“时间就是金钱”的说法。把这些要求应用到数据上，那就是说数据也必须要有及时性。一个好的应用系统在使用数据时不仅要求数据的适用性还必须考虑数据的及时性，应用系统引入企业管理的主要目的是提高工作效率，把大量复杂、繁重的重复计算、统计、分类工作交由计算机处理并迅速得出准确结果。如果数据不及时，那么应用系统的处理结果就可能违背了程序设计和使用者的初衷，不仅无法提高工作效率，还可能由于数据滞后而影响税款征收的正常化。因此根据数据应用需求及时采集数据，按照操作人员要求及时发布数据，是保证数据及时性的重要一环。

　　4.数据的完整性。数据的完整性相对于准确性和及时性来说并不显得那么重要，但其实它引起的问题并不比前两者轻松。数据的完整性就是我们日常所说“数据齐、全、准”当中的“全”。在数据采集过程中，要把所需信息全部采集完整，数据的完整性一点也不亚于准确性的重要程度，在数据表格、数据库充分应用的情况，对数字的规范化填写要求越来越完善，单独强调数据完整性的情况会越来越少。

　　5.数据的有效性。在解决好数据适用性、准确性、及时性、完整性的情况，需要考虑数据的有效性。对于一个及时采集获得，准确、及时、完整的数据，还需要考虑这个数据使用的时间和对象。一堆过期的数据无异于废品或垃圾，是不产生价值的，因此在使用数据时，要考虑它是否有效。
　　当然，数据除拥有以上的质量特性之外，还具有可取得性、可衔接性、可解释性、客观性、专业性、可比性等属性特性，这些属性特性对于数据的质量控制也有一定的影响，因此我们在重点监控五个基本质量特性外，也要关注这些属性特征，尤其是在加工和利用中通过技术手段来规范这类属性，达到提高数据质量的目标。

　　结论：数据是否可信、可用，这是企业部门关心数据的两个层面。是否可信是指数据在适用性、准确性、完整性、及时性和有效性方面，是否满足应用要求；是否可用是指数据的格式、内容等能否被操作人员读取和使用，能不能很方便地进行深入处理和分析。以上两个层面中，可信就是数据的基本质量问题，需要通过采取管理手段、技术手段等各方面的努力来解决；可用是技术层面的问题，主要通过技术手段使数据规范化、格式化。

1.　坚持数据质量可控的前提下，对目前大集中运行中存在的数据质量问题要理性对待、科学解决、持续改进
2.　思考：目前大集中环境下，在数据质量方面的问题和难点主要有哪些？解决的路径如何去选择？

　目前，影响数据质量的因素主要表现在以下几个方面：

　　1.缺乏科学、规范、完整的数据质量标准。有些情况下对录入数据的格式或来源没有统一明确的要求,缺少统一、规范的审核程序和标准，在录入后就成为问题数据，或在数据加工、利用过程中形成垃圾数据。
　　2.数据采集手段相对单一，不能全面采集数据。目前，信息来源面窄，获取信息的手段落后，致使数据质量受到影响。数据采集不全的问题比较突出，多侧重于对纳税人静态信息的收集，而对动态数据的采集不够全面，不能真实掌握实际经营状况。
　　3.数据信息共享程度差。一方面表现为系统内部各软件间数据定义没有统一标准，数据关联性差，信息资源无法得到充分利用；另一方面，由于受社会条件的制约，
　　4.缺乏系统的数据质量管理机制。如大集中系统操作人员无后台权限，查询不便、修改不便，导致数据纠错机制运转不畅；没有统一规范的数据质量标准，导致对数据审核、监督和考核机制缺失等等。

　　5.人员操作水平制约数据质量的提升。一方面，基层分局存在老龄化、信息化基础薄弱的现象。开展了多种多样的岗前培训，而且从主观上也希望能够全面掌握，但是由于基础薄弱导致操作的熟练程度、准确程度有所欠缺。也有极个别现象同志工作责任心不强，对待一些简单重复性的工作缺少工作耐心，致使错误数据屡屡出现。另一方面，人员对网上申报等系统的掌握程度不一，意识不同，也影响到了原始数据的真实性和及时性。
　1..建立数据质量管理标准。有了统一的数据标准后，数据录入采集、加工处理等诸过程都将按照标准要求进行，数据混乱出错的情况将大为减少。需要整理发布的基础性数据标准包括业务元数据的标准和相关代码的标准。
　2.业务元数据是关于业务数据的数据，即对业务数据或信息进行描述的数据。发布业务元数据的标准就是提供一个统一的业务数据项定义和描述方法，对数据元素名称、数据元素定义、数据来源、源数据载体、数据类型、逻辑一致性、采集主体、采集频率、更新等级、业务类别等方面作详细说明。
　3.完善数据质量管理机制。为了保证业务数据准确、及时、完整一致，必须要有专门的机构和岗位负责业务数据质量的监督管理。当前，各级要在建立健全税源管理中心的机制、职能的过程中，专门设置数据质量管理岗，或将数据管理的职能详细明确到相关岗位，牵头负责企业业务数据的质量管理，使得业务数据质量管理工作制度化、常规化。如负责统筹企业业务数据质量管理工作，制定有关制度和办法，业务数据加工处理过程中的质量控制，按照规定进行技术岗位数据变更，并对系统企业业务数据质量情况进行考核；信息部门负责系统数据资源的安全传输和存储；各业务部门根据各自业务管理权限，负责对应范围内的企业业务数据质量管理，参与相关制度办法、数据审计规则和问题数据处理方案的制定；各基层单位所负责本部门业务范围内企业业务数据质量管理；各岗位人员对自身采集录入的业务数据质量负责；对其他岗位采集录入的，且属于本岗位管辖范围的数据质量负责。在明确职责的基础上，应相应完善一系列管理制度，确保落实过程中的可操作性。
4.提供数据质量管理工具。数据质量管理工具针对数据流中的特点，主要体现三个特点：前堵、中控、后审。
5.提升操作人员数据应用水平。在培训模式上，建议根据岗位需要，分批分岗位培训，集中整理特殊环节、特殊业务处理的注意事项，尽快下发系统操作的帮助文档。实际应用中其实并不需要太多懂得全流程的通才，更需要熟悉自己岗位所涉及模块的专才，只要每个岗位都能熟练操作，那整个系统才能发挥应有作用。

　　结论：数据质量问题不外乎两方面原因，管理上（人）的因素和技术上的因素，建立健全科学、规范的数据质量管理机制，从组织、制度、技术等层面保障对数据的有效监控，是破解如何保证数据质量难题的关键。

提高数据管理水平的过程中质量和效率的冲突、是必然的，但也是可以化解的
信息化在人的意识中往往意味着速度、效率，当信息化在企业征管中全面应用、快速推进后，手工作业已基本被电子化所取代，由此带来的工作提速是毋庸置疑的。这理应会带来工作量的减轻与征纳的便捷，而易于被征纳双方所接纳。但事实往往会与理论产生偏差，在推进信息管税的过程中，特别是初期，数据质量的提高必然要付出效率的牺牲，也必然会有来自纳税人的阻力，但提高数据质量或者说推进信息技术的根本目的决定了这种冲突是可以化解的。
　　结论：提高数据信息的质量，加强数据管理，不仅需要在企业工作中充分利用现代信息技术，强化企业业务与信息技术的融合，还要依靠纳税人的配合参与，企业设定的理想化程序未必是最符合当前现实的诉求，必须循序渐进，稳步推进。但一切工作的成败终究取决于人，企业提高的思想认识，更新理念观念，不失为提高数据质量的治本之道。

Answer 2

数据质量(DQ)和数据挖掘（DM），一个好像经济基础，一个好像上层建筑。没有经济基础，上层建筑无从谈起。

数据挖掘建立在数据真实性和完备性的基础之上。如果数据不能真实准确的反映实际发生的业务
或者数据是不完备的，这就意味着数据分析和数据挖掘的来源不可靠，分析的结果也必然是不可靠。因此从顺序角度来说，数据质量管理DQM要在数据挖掘之前做。

决定数据质量的原因有很多，直接因素有：信息因素、技术因素。间接因素有：流程因素和管理因素。大多数造成数据质量问题的原因，背后通常都有管理缺失的因素在内。因此数据质量管理(DQM——Data Quality Management)，除了针对数据本身的检查、修改和监控，也包含对流程上的管理和改善。数据质量管理，不仅需要通过数据质量检查（清洗）工具和一定的检查规则（Rule），发现数据问题并且改正数据，还需要通过访谈获得管理上的缺陷，以制定预防措施。这些都需要依靠专家的经验。通常企业是发现数据问题，解决数据问题，只是针对数据错误纠正错误，不去从更多的角度考虑如何做好数据质量管理(DQM),日积月累，反而使得风险增加，大大增加了企业的管理成本，这是任何老板都不希望看到的结果。如果再加上在错误数据上得到的错误分析结果，造成了企业的亏损，到时候后悔都来不及了。因此，数据质量管理(DQM)是数据挖掘(DM)的基础，DM是基于DQM之上的应用。

希望能够对你有所帮助，更多DQM相关的文章，请看
csdxhh

Answer 3

数据质量(DQ)和数据挖掘（DM），一个好像经济基础，一个好像上层建筑。没有经济基础，上层建筑无从谈起。

数据挖掘建立在数据真实性和完备性的基础之上。如果数据不能真实准确的反映实际发生的业务
或者数据是不完备的，这就意味着数据分析和数据挖掘的来源不可靠，分析的结果也必然是不可靠。因此从顺序角度来说，数据质量管理DQM要在数据挖掘之前做。

决定数据质量的原因有很多，直接因素有：信息因素、技术因素。间接因素有：流程因素和管理因素。大多数造成数据质量问题的原因，背后通常都有管理缺失的因素在内。因此数据质量管理(DQM——Data Quality Management)，除了针对数据本身的检查、修改和监控，也包含对流程上的管理和改善。数据质量管理，不仅需要通过数据质量检查（清洗）工具和一定的检查规则（Rule），发现数据问题并且改正数据，还需要通过访谈获得管理上的缺陷，以制定预防措施。这些都需要依靠专家的经验。通常企业是发现数据问题，解决数据问题，只是针对数据错误纠正错误，不去从更多的角度考虑如何做好数据质量管理(DQM),日积月累，反而使得风险增加，大大增加了企业的管理成本，这是任何老板都不希望看到的结果。如果再加上在错误数据上得到的错误分析结果，造成了企业的亏损，到时候后悔都来不及了。因此，数据质量管理(DQM)是数据挖掘(DM)的基础，DM是基于DQM之上的应用。

希望能够对你有所帮助，更多DQM相关的文章，请看
csdxhh

Answer 4

数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理是循环管理过程，其终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。本回答被网友采纳