大数据平台安全的特点及数据采集传输的安全防护

2019-01-11 09:26:33 来源:elecfans
标签:

关于大数据安全的思考

中移软件多年来一直致力于大数据平台建设,为中国移动提供大数据平台建设和服务能力。

 

在建设实践过程中,我们一直在思考大数据平台安全与传统数据安全的区别。从本身特征来看,大数据平台数据量大、数据涉敏,同时大数据平台底层为开源组件。从外部环境来看,GDPR和网络安全法都关注个人隐私数据,最近频发的安全事件也注意是数据泄露事件。

 

此前平台建设实践更多的关注于平台本身,我们做了漏洞扫描工具等,但是都是独立于数据采集、存储、处理、共享过程之外的,要真正保障大数据平台数据的安全,必须关注数据本身,关注数据生命周期,也就必须与数据采集、存储、处理、共享完全结合,不能游离在大数据处理流程之外。

 

全生命周期数据安全防护平台

我们将数据全生命周期精简定义为“采集传输-存储处理-数据共享”三大部分流程,其中数据采集过程涉及平台外与平台内之间的数据交互,存储处理为平台内处理过程,数据共享为平台内与平台外之间的数据交互。同时对全过程通过安全态势感知平台进行检测和预警。

 

图1 数据全生命周期

 

数据采集传输安全防护

采集过程主要包括:

配置采集数据源、配置采集流程(含建目标表)、调度监控采集流程、采集数据传输四步。

 

配置采集数据源过程:

主要通过采集白名单配置、数据源操作权限管理等手段进行安全防护

 

配置采集流程(含建目标表):

主要通过事前敏感字段标注、安全级别设置、静态脱敏等方式进行安全防护

 

调度监控采集流程:

通过应用程序账号认证、流程监控告警、资源相互隔离等方式保障

 

采集数据传输流程:

通过传输加密等方式保障

 

图2 数据采集传输过程-静态脱敏

 

数据存储处理安全防护

敏感数据存储是大数据安全的难题。全生命周数据安全防护平台提供透明加密和数据完整性检查两种解决方案,加固数据存储环节,提高数据存储安全性。但是加密存储对平台性能影响大,同时对使用造成较大影响,因此一般敏感级别的数据不建议加密存储。

 

中移软件全生命周期数据安全防护平台更重视使用过程的安全,使用过程分4种不同场景进行防护。以数据使用场景 “用户ABC对A表X字段进行查询操作”为例,通过不同的技术手段,实现4种不同层级的使用防护。

 

场景1:

对不起,您对A表的访问权限仅限访问Y字段,无权访问X字段。该场景使用行列细粒度权限管控技术实现细粒度数据权限管控。

 

场景2:

对不起,您对A表的操作权限仅限插入数据,无法查询数据。该场景使用操作细粒度权限管控技术实现细粒度操作权限管控。

 

场景3:

对不起,该操作涉敏,需要XXX审批,审批后可执行。该场景将传统数据安全手段移植至大数据平台,实现敏感重要操作的多人协同。

 

场景4:

对不起,该操作涉敏,查询结果已自动脱敏为“188****9672”。该场景通过动态脱敏技术,使得不同使用者对涉敏数据操作得到不同结果。

 

图3 数据存储使用过程-金库模式

 

数据共享安全防护

数据对外共享一般包括两种方式:

接口方式和文件方式。

 

接口方式

包括接口数据(JSON/XML)、流式数据(Kafka)等多种数据访问方式。我们通过API操作权限管理、API流量管控、API认证管理等手段实现接口管控。

 

文件方式

主要指通过FTP、SFTP、邮件等对外共享数据,数据类型包括TXT、CSV、Word、PPT、Excel、网页等,平台通过数字暗水印进行安全防护。数字水印通过对文本(TXT、CSV、Word、PPT、Excel、网页等)嵌入暗水印作为标记一起传输,保障数据在发生泄漏时,能够提取水印信息并追踪至责任人,达到事后安全保护的目的。企业安全管理员、文档管理员等可以通过水印嵌入、水印提取功能,有效追溯外泄源头,实现共享数据泄露的事后追踪。解决了数据泄露后无法追踪、难以定责、难以避免再发生的问题。

 

图4 数据共享过程-数字水印

 

全流程安全态势感知

安全态势感知依托于对大数据平台操作行为的审计,对Hadoop集群业务进行安全监控,重点对用户的内部违规行为进行采集分析、监控和画像,是一种企业业务型的态势感知。通过“采集-分析-感知-告警”实现安全事件的有效感知,利用数据可视化技术实现整体风险态势的直观化呈现。

 

图5 全过程-安全态势感知

 

核心技术解析

在全生命周期数据安全防护平台中,使用到大数据技术、传输数据安全技术以及AI技术,具体包括以下方面:

 

 

结语

从产品可用到安全有效之间,还存在很大的鸿沟,例如库表敏感级别定义、字段敏感标注、对应的安全策略设置(动态脱敏、静态脱敏、金库、存储周期、加密算法)等,均暂无可直接借鉴的案例。这些实际的落地需要更多的业务人员参与进来细化,使得大数据平台真正实现数据全生命周期安全防护。 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
侵犯隐私只是滥用数据最轻的危害,其他还有哪些?

2018年年终岁末,随着朝阳区人民法院对 刘亚 男以虐待被看护人罪被判处有期徒刑一年六个月的宣判落地,沸腾了一年多的“红黄蓝虐童事件”终于有了一个结局。

云计算发展至今,仍在为安全苦苦挣扎?

云计算是信息技术发展和服务模式创新的集中体现,是信息化发展的重大变革和必然趋势。

AI也可用于欺骗AI?这是什么操作

如今,网络安全已迈入包含物联网、云计算、大数据等在内的‘大安全’时代,安全的边界也变得愈发模糊,面对不断恶化与复杂的安全形势,如何利用当下最热门的人工智能技术,提升安全产业自然也就成为安全领域的关注热点。

如何保证核心数据安全实现无忧量产

当产品正式转产批量生产烧录之时,您是否担心过批量烧录过程能否真正保证核心敏感数据的安全?

大数据时代:你完全想象不到自己的数据有多大的价值

我们在网络中畅游,每时每刻都在产生着数据,而这些数据若单独拿出来看,无法获得有效的价值,但是联动起来之后所带来的附加价值,将会震惊所有人。

更多资讯
台积电没了张忠谋,就频频出现状况?

台积电继去年计算机病毒感染事件后,今年1月又爆发晶圆瑕疵事件,与台积电合作近30年的IC设计业者认为,台积电还是最好的,只是发条确实应该上紧点。

苹果重组领导层,透露了什么信息?

据《华尔街日报》报道,苹果公司最近采取了高管层重组和人事变动措施。报道称,苹果公司正在日益加大对其即将推出的视频服务和Siri新领导层的关注,同时还作出了其他一些改变,并提到了这些改变对该公司其他项目产生的影响。

中国或成下一个硅谷?鲸吞全球近五成AI投资
中国或成下一个硅谷?鲸吞全球近五成AI投资

近日,美国新闻周刊发表一篇名为《中国将成为下一个硅谷》的文章表示,长期以来中国都被视为下一个硅谷,当下更是获得了足够的资金和支持来实现这一目标。

韩国制造业大危机,多晶硅,半导体等都将受到牵连?

据businesskorea报道,韩国主要制造业产品(如多晶硅、乙烯和汽油)的价格下跌,加之半导体价格下跌,正推动韩国制造商进入下行周期。

苹果敲定软板材选去方案,将弃LCP选MPI
苹果敲定软板材选去方案,将弃LCP选MPI

新款苹果iPhone消息漫天,根据供应链透露,其中,内部规格设计变化较大的软板材质之争进入尾声,据了解,苹果已经定调,原本计划用的LCP(液晶高分子树脂材料)软板确定败阵,改由MPI(Modify PI;异质PI)软板取代。

电路方案