数据治理-数据生命周期管理-大数据呈现与使用

数据可视化

        数据可视化是大数据发展的必然趋势,大数据的不断发展,要求每个人都能够从数据中发现价值,这就必然要求每个人都能看懂数据,能够从不同的角度分析数据。而数据的规模越来越大,属性越来越复杂,各类庞大的数据集无法直接通过读数的方式进行理解和分析,这对数据的可视化提出了要求。
        数据可视化主要旨在借助于图形化手段,清晰有效地传达与沟通信息。数据的可视化依赖于相应的工具。传统的数据可视化工具包括execl、水晶报表等等,包括了congos、BIEE等多维分析工具,也包括SAS、R语言等图形展示工具。新一代的基于大数据的数据可视化工具如tableau、pentah等工具,集成了报表、多维分析、数据挖掘、adhoc分析等多项功能。

数据可见性的权限关联

        数据的展示需要进行权限管理,不同的人员可见的数据不同,数据可见性的全新管理应该考虑如下
– 内外部可见性不同。企业对于内部和外部人员提供的数据可见性不同,对于客户或者供应商来讲,应该只能看到与自己相关的数据,以及企业允许其看到的数据,不可以看到其他客户和供应商的数据。
– 不同层级可见性不同。也就是企业高层、中层和一线员工能看到的数据范围不同
– 不同部门可见性不同。不同部门可见的数据不同,一个部门如果需要看到其他部门的数据,需要获取数据所属部门的授权
– 不同角色的可见性不同。在同一个部门中,不同的角色可见的数据不同,数据的可见性应该按照不同的角色进行授权
– 数据分析部门的特殊权限及安全控制。数据分析部门由于需要看到整体和细节的数据,因此需要特殊的授权

数据展示与发布的流程关联

        企业应该制定统一的流程,对数据的展示和发布进行管理,需要纳入统一管理的数据包括
– 企业上报上级主管部门的数据
– 上市企业进行信息披露的数据
– 企业级的数据指标、尤其是KPI数据
– 企业级的数据指标口径

        企业应明确上述数据或指标的主管责任部门,所有上述数据或指标需要由主管责任部门统一发布 ,其他部门或人员无权进行发布。
        企业内的部门级指标应向企业指标主管责任部门进行报备,并设立部门内指标管理岗位进行统一的管理。

数据的展示与发布

        数据是现代化企业的重要资产,企业拥有的各类数据的数据、范围、质量情况、指标口径、分析成果等也应该进行展示和发布。企业应该明确数据资产的主管责任部门,制定数据资产的管理办法。数据资产的主管责任部门负责对于数据资产的状况进行展示和发布。
        元数据管理平台是数据资产管理的重要工具,对于各类数据的状况,建议通过技术元数据和业务元数据进行记录,并进行展示。

数据使用管理

  1. 数据使用的申请与审批

        数据的使用一般分为系统内的使用和系统外的使用。系统内的使用包括通过应用软件或者工具,对数据进行统计、分析、挖掘,对于不同类型的数据,需要有不同的审批流程。审批流程中应该包括以下的审批
– 数据申请者
– 申请者主管部门负责人
– 数据所有权或管辖权部门负责人
– 数据资产管理部门负责人
– 数据提取执行部门负责人
2. 数据使用中的安全管理

        对于提取出系统进行使用的数据,在数据使用的过程中,需要注意以下的事项
– 对于敏感数据需要进行脱敏处理。例如,客户身份识别信息、客户联系方式等。数据脱敏的方式可以分为直接置换或者采用不可逆的加密算法等
– 对于数据的保存与访问,需要遵照国家的保密法规、企业的保密规定以及企业的信息安全标准。企业应该对保密和脱敏信息制定相应的标准,对该类信息的存放、访问和销毁的场所、人员、时间等进行详细的规定
– 对于不能脱敏但在处理过程中必须要使用的真实数据,企业需要建立专用的访问环境,该环境区别于生产环境,具有可访问和可操作但不能将数据带离环境的特性。

  1. 数据的退回与销毁

        数据退回处理存在以下几种场景
– 使用方发现提取的数据不能满足使用的需求,退回数据,重新进行提取。
– 使用方对于提取的数据进行处理,处理的数据对于源数据有价值,将处理过的数据交回,用于对源数据进行修正或补充。
– 涉及一定密级的数据,使用完成后,按照保密流程进行数据的退回处理。

        数据退回后,对于涉及密级或者敏感性的数据,应将保存在系统外的数据备份进行销毁,避免数据的泄露。对数据存放的设备,必须通过一定的技术手段将数据进行彻底的删除,确保无法复原。