深度:大数据分析公司Palantir如何帮助NSA和他的伙伴们监控全球(3)

  Palantir软件的超级插件Kite

在我们获取的曝光文档中,其中提及GCHQ使用的,包含一个内置名为“Kite”插件的Palantir程序,在所有相关出处文档中都作了隐匿编辑处理,而另外一份对Kite的源码分析文档中显示出Palantir对“五眼同盟”的灵活技术支持程度,前端开发人员和后台数据分析师可以就地通过Palantir平台应用或Kite程序获取相关数据。当所有获取数据被处理分析之后,会被上传到Palantir系统的数据仓库中,而平台其它工作人员可以通过类似于谷歌电子表格的方式来访问这些数据信息。Palantir平台分析师可以利用当前使用程序导入一些需要分析的静态数据,但是如果需要导入数据库或设置自动导入功能,就必须得借助插件Kite。

Kite用于导入一些情报数据并把其转换为统一可存储于数据仓库的XML文件格式,比较独特的是,Kite可以处理多种信息类型,如日期型、图像型、位置型等等,之后,GCHQ为了对一些复杂定制数据类型进行分析,竟然开放了Kite的接口开发,而最终这个导入工具被开发设计为支持静态数据、数据库和第三方数据存储等多种用例的软件。



 

在这种以Palantir产品为中心的数据分析环境中,还产生了另外一个工具“XKEYSCORE Helper”,该工具可以向Palantir系统内导入来自NSA管道的数据,经过进一步的调查和可视化分析之后,再分发给“五眼情报同盟”的各位分析师。由于XKEYSCORE强大的全网海量个人元数据高效获取能力,这也导致了其唯一的缺点:产生的提取信息出现超负荷现象。可以简单想像一下,搜索一个Gmail邮箱账户,或许需要遍历全球所有Gmail收件箱中得出关联信息,因此,Palantir应运而生。

  Palantir让XKEYSCORE如虎添翼

Palantir软件的主要作用之一就是辅助XKEYSCORE系统进行高效的数据分析处理,就像GCHQ文档中描述的那样,依赖于工具“XKEYSCORE Helper”,可以把XKEYSCORE多种方式获取的各类数据直接导入强大的Palantir,就可以得到一些针对特定目标人物和地点的非常直观的情报信息。例如,针对东部标准时间区的14:15时刻,分析师可以使用XKEYSCORE获取到隶属莫斯科和德黑兰访问某特定网站或进行某特定Skype通话的所有IP地址,之后,把这些相关数据集导入Palantir系统,可进一步识别出这些IP地址之间的关联连接和基于谷歌地球的详细位置信息。



 

除XKEYSCORE之外,Palantir产品还被应用于GCHQ代号为“LOVELY HORSE”的开源情报信息项目中,该项目旨在提高GCHQ自身对Twitter、博客和媒体报道等全网公开信息的获取能力。因为此类信息多为非结构化数据,所以Palantir也大有可为,与“LOVELY HORSE”的配合相得益彰,深受好评。

  强大的Palantir引发的担忧

和数据分析功能一样,Palantir的数据挖掘能力也相当出彩,可圈可点,但由此也带来一些担忧和风险。由于Palantir软件的主要功能就是辅助分析师对一些复杂不易理解的数据信息进行精选和筛分,因此,最终分析结果和决策判断的好坏,多少还和分析师自身有关。

就比如,GCHQ信号情报发展与领导小组(SDSG)的一份2011年文档就提及了一些使用Palantir的顾虑,在名为“风险与挑战“的表格中,SDSG表示“Palantir可能会使分析师过度关注数据分析方法,而忽视本质的情报需求,造成对情报分析能力的弱化和分心。”,然而,基于Palantir强大的数据分析能力,SDSG想知道如果他的技术分析师在被限制所有可访问操作权限,或根据不同分析师的技术水平,对一些必要时才能使用的功能对软件进行相应配置,会产生怎样的后果。如果Palantir继续注重于数据的情报利用问题,那么越往后,随着挖掘技术和提炼程度的加深,将会产生大量的信息图表集,可能会引发数据“过度分析”问题,而最终让分析师“迷失”的不是工作任务,而是Palantir生成的各种图表。

  Palantir与公民隐私

另一方面,如果说Palantir的情报机构客户在使用Palantir产品时会存在滥用风险,那么这种情况也可能发生在以“隐私和公民自由权”为幌子的Palantir自己身上,尤其是2012年Palantir还成立了“隐私与公民自由顾问委员会”(PCAP),更是给自己披上了一件“高级”的大衣。

而就像Palantir在Kite插件的使用协议中声称那样,用户将不会违反任何适用法律、公民隐私和第三方权利。但在如今无孔不入的监控环境下,没理由不怀疑NSA和他的伙伴们会利用Palantir产品侵犯广大民众的隐私和自由权。对于普通民众来说,这种所谓的使用协议不过是种隔靴搔痒的安慰和冠冕堂皇的麻痹罢了。

  Theintercept网站获取的相关文档:

GCHQ VisWeek 2008 Conference Report

Palantir Executive Summary

NDIST Cyber Defence

Mastering the Internet

The Tale of Two Sources

TWO FACE on GCHQ Wiki

XKEYSCORE Helper Notes

SDSG Integrated Analytics Workshop
 

(责任编辑:安博涛)

分享到:

更多
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
  • 微笑/wx
  • 撇嘴/pz
  • 抓狂/zk
  • 流汗/lh
  • 大兵/db
  • 奋斗/fd
  • 疑问/yw
  • 晕/y
  • 偷笑/wx
  • 可爱/ka
  • 傲慢/am
  • 惊恐/jk
用户名: 验证码:点击我更换图片
资料下载专区
图文资讯

英国官员:让华为参与英国5G建设风险可控

英国官员:让华为参与英国5G建设风险可控

2月21日,英国金融时报报道称,在布鲁塞尔发表的一次演讲中,英国信号情报机构政府通...[详细]

西媒:以色列打造网络安全“硅谷”

西媒:以色列打造网络安全“硅谷”

2月13日报道 西媒称,凭借每年超过10亿美元的企业投资,以色列已经成为全球网络安全领...[详细]

俄罗斯力推脱离互联网计划 确保应急状态下

俄罗斯力推脱离互联网计划 确保应急状态下网络安全

俄罗斯新闻机构 RosBiznesKonsalting(RBK)上周报道称:作为计划实验的一部分,当局正...[详细]

GSMA呼吁欧洲守住网络安全和网络基建供应竞

GSMA呼吁欧洲守住网络安全和网络基建供应竞争力

5G将改变欧洲公民的生活和工作方式。5G作为现有4G网络的补充,与之协同工作将比以往更...[详细]

涉嫌窃取近千政界人士信息 德国20岁黑客遭

涉嫌窃取近千政界人士信息 德国20岁黑客遭逮捕

涉嫌窃取德国近千政界人士信息的黑客落网 政府拟修法加强网络安全 德国当局8日宣布,...[详细]

返回首页 返回顶部