爱吧机器人网 » 技术 > 大数据 > 正文

数据脱敏:数据大爆炸时代的隐私保护利器

数据脱敏

作者为 亚信科技(中国)有限公司网络安全事业部 尹雯玉

数据脱敏(Data Masking),又称数据漂白、数据去隐私化或数据变形。百度百科对数据脱敏的定义为:指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。这样,就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。

可以看到数据脱敏具有几个关键点:敏感数据、脱敏规则、使用环境。

敏感数据,又称隐私数据,常见的敏感数据有: 姓名、身份证号码、地址、电话号码、银行账号、邮箱地址、所属城市、邮编、密码类 ( 如账户查询密码、取款密码、登录密码等 )、组织机构名称、营业执照号码、银行帐号、交易日期、交易金额等。

随着大数据时代的到来,大数据商业价值的挖掘,用户的精准定位,大数据中蕴藏的巨大商业价值被逐步挖掘出来,但是同时也带来了巨大的挑战--个人隐私信息的保护。个人信息与个人行为(比如位置信息、消费行为、网络访问行为)等,这些都是人的隐私,也是我们所关注的一类敏感信息,在大数据价值挖掘的基础上如何保护人的隐私信息,也将是数据脱敏必须解决的难题。

脱敏规则,一般的脱敏规则分类为可恢复与不可恢复两类。

可恢复类,指脱敏后的数据可以通过一定的方式,可以恢复成原来的敏感数据,此类脱敏规则主要指各类加解密算法规则。

不可恢复类,指脱敏后的数据被脱敏的部分使用任何方式都不能恢复出。一般可分为替换算法和生成算法两大类。替换算法即将需要脱敏的部分使用定义好的字符或字符串替换,生成类算法则更复杂一些,要求脱敏后的数据符合逻辑规则,即是“看起来很真实的假数据”。

使用环境,主要指脱敏之后的数据在哪些环境中使用。普遍按照生产环境和非生产环境(开发、测试、外包、数据分析等)进行划分。

在最近一期的Gartner关于数据脱敏的报告(Magic Quadrant for Data Masking Technology-2014年12月)中根据数据脱敏产品应用场景的将数据脱敏划分为静态数据脱敏(static data masking[SDM])和动态数据脱敏(dynamic data masking[DDM])。

静态数据脱敏(SDM)与动态数据脱敏(DDM)主要的区别是:是否在使用敏感数据当时进行脱敏。

静态数据脱敏(SDM)一般用在非生产环境,在敏感数据从生产环境脱敏完毕之后再在非生产环境使用,一般用于解决测试、开发库需要生产库的数据量与数据间的关联,以排查问题或进行数据分析等,但又不能将敏感数据存储于非生产环境的问题。

动态数据脱敏(DDM)一般用在生产环境,在访问敏感数据当时进行脱敏,一般用来解决在生产环境需要根据不同情况对同一敏感数据读取时需要进行不同级别脱敏的问题。

在上文中提到的Gartner是全球最具权威的IT市场与顾问咨询公司,就IT的研究、发展、评估、应用、市场等领域,为客户提供客观、公正的论证报告及市场调研报告,协助客户进行市场分析、技术选择、项目论证、投资决策。Gartner每年都在关键领域,采用“魔力象限图”对主要厂商进行定位,是在某一特定时间内的对市场情况进行的图形化描述。魔力象限的四个象限依次分别为领导者(Leaders)、挑战者(Challengers)、有远见者(Visionaries)和特定领域者(Niche Players)。

数据脱敏首次作为一个单独的魔力象限被Gartner发布是在2012年12月,每年的12月Gartner会发布当年数据脱敏方面的分析报告,迄今为止一共发布了3期。

我们在这三份报告的基础上分析近年来数据脱敏方面的变化,并对未来的发展进行展望。

数据脱敏

1、数据脱敏市场定义与描述比较(Market Definition/Description)

数据脱敏

可以看出,关于在最近一期的报告中,并没有把“结构化/非结构化”(即是否是关系型数据类型)单独作为一个分类的标准,而是将“实时/非实时”以及“生产/非生产”作为了关键指标。没有强调非结构化数据(Data redaction masks)作为一个单独分类。

数据脱敏

2、评价标准比较

Gartner对数据脱敏产品的评价,主要分为执行能力和完整的愿景两方面,具体的方面见下图:

数据脱敏

比较近三年的报告,上图中红色部分的评价标准发生了变化,具体内容如下:

数据脱敏

可以看到,在13年评价标准发生了一个较大的变化,就是从原来的关注SDM转变为SDM与DDM均有,并且开始关注大数据与云数据安全。在13年产品与服务类别,评价中考虑是否提供了其他的安全产品相配合;而到14年数据智能被提到更重要的位置上作为产品与服务的评价项目。

3、象限位置定义

对于象限的定义上,13年与14年没有什么差别,而12年的差别也是在于12年从SDM上考虑的多,而DDM几乎没有被考虑,这里不再进行比较。在分析了14年的报告以后,得出的象限标准如下图:

数据脱敏

上一页12下一页

上一篇:大数据的最大价值 大数据+物体=智能
下一篇:大数据能帮助贵州实现跨越式发展吗?
精选推荐
MIT用深度学习处理3D点云数据 应用于无人汽车等领域
MIT用深度学习处理3D点云数据 应用于无人汽车等领域

[2019-10-23]  如果你见过自动驾驶汽车,也许会对车顶上那个一直在旋转的圆柱体感到好奇。这是一个雷达传感器,无人驾驶汽车依靠它在现实世界中进行导航。 ...

通过对抗性图像黑入大脑
通过对抗性图像黑入大脑

[2018-03-02]  在上面的图片中,左边是一张猫的照片。在右边,你能分辨出它是同一只猫的图片,还是一张看起来相似的狗的图片?这两张图片之间的区别在于, ...

智能机器人困惑的时候知道该问什么问题
智能机器人困惑的时候知道该问什么问题

[2017-03-20]   照片:Nick Dentamaro 布朗大学 上周,我们提到了麻省理工学院的一些研究,即通过链接人的大脑来帮助机器人在他们将要犯错误的时 ...

[2017-03-21]  虽然有很多关于机器人取代工人的担心,但哈佛经济学家James Bessen的论文指出,在过去的67年里机器人仅仅淘汰掉人类工作中的一个。在1950 ...

改变保险市场的格局:无人机如何通过更快的估算、响应时间和利益交付来使消费者受益
改变保险市场的格局:无人机如何通过更快的估算、响应时间和利益交付来

[2018-12-08]  市场研究公司IHS Markit预测,到2020年,专业无人机市场将通过农业,能源和建筑等行业利用测量,制图,规划等技术实现77 1%的复合年增长率(CAGR)。与此同时,消费者无人......

美国人工智能公司Skymind进入福建全面开展业务
美国人工智能公司Skymind进入福建全面开展业务

[2017-12-11]  人工智能在当今这个时代对大家来说想必是非常熟悉的,这也是我国近十几年来一直追求的目标,未来的时间里这也将是全人类追求的目标。就目前来看,近年来,人工智能或在我国迎......

MIT最新“人机”互连系统 让双腿机器人复制人体技能
MIT最新“人机”互连系统 让双腿机器人复制人体技能

[2019-11-01]  MIT的小爱马仕想借用你的大脑 ,图片来自: João Ramos爱吧机器人网消息,麻省理工学院(MIT)的研究人员展示了一种新型遥操作系 ...

谷歌在中国成立一个新的人工智能(AI)研究中心
谷歌在中国成立一个新的人工智能(AI)研究中心

[2017-12-13]  谷歌正在中国建立一个新的人工智能(AI)研究中心,希望进一步扩展到中国,以充分利用中国高度重视的人工智能技术。人工智能是目前地球上最具竞争力的领域之一,亚马逊,微软......

本周栏目热点

美国大数据工程师面试攻略有哪些?

[1970-01-01]   大家好,我是来自硅谷的董飞,应国内朋友邀请,很高兴跟大家交流一下美国 大数据 工程师的面试攻略。个人 ...

个人征信机构静待发令枪响 业内:大数据并不便宜

[1970-01-01]   个人征信牌照发放在即。近日,《每日经济新闻》记者从多家机构获悉,央行对征信机构的验收工作已经收尾 ...

[2016-08-07]     著名物理学家霍金教授说,忘了黑洞吧,女人才是宇宙最大的谜。但,未来这个最大的谜题因为大数据分析的出现而揭开谜底。人工智能是大数 ...

网友在什么时候发朋友圈可以看出贫富差距?

[2016-08-30]   收入不平等、教育不平等这些名词你都不会陌生。现在有人希望通过分析Instagram上图片分享的地理定位数据来告诉你什么叫做——社交 ...

数据开放的经济学分析

[1970-01-01]   2009年美国启动开放政府计划,开启了国际政府机构以数据开放展开数据与信息分享的重要议题,在世界范围 ...