欢迎来到 黑吧安全网 聚焦网络安全前沿资讯,精华内容,交流技术心得!

怎样利用追踪代码来发现网站之间的“关联”

来源:本站整理 作者:佚名 时间:2017-09-17 TAG: 我要投稿

前些年Lawrence Alexander颁发了一篇应用Google Analytics查找网页之间的联系关系的文章,客岁,我也宣布了一个对于若何应用Python主动发掘信息,而后将其可视化的帖子,可怜的是Meanpath API被封闭了,以是如许的技巧便不再有用了。
荣幸的是,Spyonweb.com的还在失常供给办事。就在前不久,南非记者Jan Cronje就在尽力地发掘一些他正在研讨的器械的联系关系(点击这里浏览),这是重组曩昔的代码的一个完善的机遇:应用Spyonweb来找到这些衔接,末了再将其可视化。

给你敲代码的手指热热身,并筹备好享用一些兴趣,由于咱们即将要摸索若何应用Python主动发明网页之间的联系关系。
应用SpyOnWeb API
SpyOnWeb.com是一个赓续抓取网站追踪代码,称号办事器和其余信息的网站,以是它能赞助表现网站之间的衔接。他们的API有很多订价层,从收费开端(对付这篇文章,收费的的确完善),一直到每个月69.95美元。
点击这里前去api.Spyonweb.com
在这里注册一个账号,而后主控制面板上就会呈现一个access token,咱们鄙人面的文章中会用到。

要留意的是,你最好不要和其余人同享你的access token,假如你不小心泄漏了,点击上图赤色箭头旁的小按钮,它会为你从新天生access token。
如今咱们有了Spyonweb的access token,接下来便是写代码了。
筹备
在这篇文章里,你必要一些Python库,能够应用pip装置
pip install networkx requests requests[security]
别的,你假如想在末了停止可视化,那就必要额定下载Gephi。
代码与剖析
热热身,启动你最爱好的IDE(我应用的是WingIDE,用着真的不错),新建一个叫website_connections.py的文件,完备源码【点击这里下载】。

第1-5行:咱们正在导入咱们的剧本中所必要的一切相干Python模块。
第7-8行:咱们界说了一个变量spyonweb_access_token,你必要把曩昔获得的access token粘贴到这里,而后咱们界说了一个变量来保留Spyonweb API调用的URL。
第10-11行:这里为Google Adsense和Google Analyse筹备了两个正则表达式形式,咱们将经由过程剧本在目的域名中提取这些代码。
第13-20行:在这里咱们设置命令行参数剖析,以便轻松地通报一个域名,一个包括域名列表的文件,并容许为咱们的图形输入指定的文件名。
咱们如今增长一个简略的函数,它将在绘制曩昔清算追踪代码。让咱们先来看看:

完善!如今咱们咱们开端第一个函数,用于从目的域名间接提取追踪代码。将以下片断增长进代码中:


第38行:咱们界说了extract_tracking_codes函数来接收咱们要遍历的域名列表来履行提取。
第43行以后:咱们开端遍历域名列表(43行),而后在向目的域名发送Web哀求(53行)曩昔构建恰当的URL(50-51行),假如未能胜利衔接,则转到下一个域名(57行)。
第62-64行:假如咱们胜利衔接到目的站点,那末就设置一个空缺列表来保留咱们提取的代码(62行),咱们测验考试应用正则表达式(63行)来找到一切Google Adsense代码,而后对Google Analyse代码做雷同的工作(64行)。
第67-69行:咱们遍历提取代码的列表(67行),而后将其经由过程clean_tracking_code函数将其通报到清算和标准代码部门,接下来测试咱们能否曾经有了这个代码(72行),假如没有,就将其增长到衔接字典中,而后咱们就能够对目的域名停止追踪了。
第82行:咱们前去衔接字典,以便稍后处置成果。
如今咱们构建一个函数来向Spyonweb API发送哀求,如今继承增长以下代码:

第87行:咱们构建spyonweb_request来接管数据,能够是一个域名,追踪代码,也能够是其余支撑的输入,咱们还构建了request_type参数,该参数将组成Spyonweb哀求格局的URL的一部门。
第89-90行:咱们创立一个字典,此中包括Spyonweb的access token,它将在HTTP哀求中传给Spyonweb。
第92行:咱们应用静态构建的URL将哀求发送给Spyonweb,并传入params字典。
第94-102行:咱们停止反省以确保收到一个有用的HTTP相应(94行),假如哀求胜利,就剖析JSON(96行)。而后测试字典成果(98行)来看看咱们能否收到了Spyonweb的有用成果,假如是,前去全部字典。假如没有获得任何成果,就前去None(102行)。
如今咱们将构建一个函数来处置向Spyonweb发送特定哀求的阐发代码。

[1] [2]  下一页

【声明】:黑吧安全网(http://www.myhack58.com)登载此文出于传递更多信息之目的,并不代表本站赞同其观点和对其真实性负责,仅适于网络安全技术爱好者学习研究使用,学习中请遵循国家相关法律法规。如有问题请联系我们,联系邮箱admin@myhack58.com,我们会在最短的时间内进行处理。
  • 最新更新
    • 相关阅读
      • 本类热门
        • 最近下载