zdumper - Browse Files at SourceForge.net

The interactive file manager requires Javascript. Please enable it or use sftp or scp.
You may still browse the files here.
Name	Modified	Size
pre-release alpha	2011-02-09
Readme_CH.txt	2011-03-16	6.3 kB
Totals: 2 Items		6.3 kB
Project zdumper

   <intro>

      zdumper「触手下载器」是一个使用网络嗅探方式的「文件下载工具」
      发布时遵循MIT开源协议
      开始于2009.6(可能复活的那段时间)，使用了极短的时间然后停止了开发，一直搁浅到现在。目前版本0.51a

   <Project 首页>

      http://zdumper.sourceforge.net

   <Short Impression>

      zdumper可以下载到「「即使隐藏最深的网址也能嗅探的下载软件」也无法下载」的资源

      例如 voice.biglobe.ne.jp 中的虚拟音声合成 [ 北条國子，閻魔あい，ゼロ/ルルーシュ，C.C. ] 中使用rtmp协议传输的mp3和flv文件，我目前找不到任何能下载到硬盘的方法，而且这个rtmp协议的物体也不会保存在浏览器缓存中。当时据说最强大的Orbit Downloader，虽然可以探出rtmp地址，但下载完全无力。（分析了下原因很简单，Biglobe的FMS对amf3增加了 verification貌似还需要接受一些多于referrer的数据，有关rtmp的安全机制做的很好还是什么的||）。

      然后就是yyfc,tudou,youku,youtube,bili,acfun,nico,56等各种网站因为没有绝对统一的mp3,flv下载器，分别安装会使系统变fat；也需要另外下载才可以实现，而且一般来说，使用第三方下载器下载视频，事先会直连到视频站观看后决定，无形中对同一个视频耗费了>1倍的流量。

      so.....
      zdumper基本上可以完成所有视频/音频/漫画在线观看网站的下载器能完成的事情（但不是说可以完全替代），以及实现RTMP文件捕获（这是任何一个下载工具都无法完成的事情）。在缓冲完毕时自动保存文件到硬盘。不需要额外耗费任何流量，也不需要安装任何「插件」或「运行时」，最主要是无需安装的完全免费+开源
      还能用到一些特殊用途：直接导出zumpder运行期间的所有http请求的URL到文本文件（用来发现各种难以下载到的文件的原始http地址），以供使用第三方软件下载。 甚至可以直接把「TCP流的原始数据包」批量存到硬盘以供以后分析。
      
当然更bt的用途还是有的...zdumper可以直接「抓取」到使用集线器的同一工作场所网络或者同一WIFI网络下所有计算机手机psp什么的物体上正在internet上浏览的文件、完整TCP会话、和所有http/rtmp请求然后保存到本地...而且完全无视是否在同一IP段（自重

   <Deeper Impression - comparation of softwares>

      之前有想过任何可能替代zdumper的软件。me之前大概把可以用上的全部使用了一遍：

      · 商业或免费的专业嗅探工具如 「wireshark (ethernal)」, 「commview」, 「omnipeek (etherpeek, airopeek)」, 「iris」, 「MS netmon」, 「iptools」, 「sniffer Pro」。虽然具有重组tcp数据流并提取整个TCP流到文件的功能。但是TCP流除了专门用途的数据包分析以外并没有任何实际意义。。因为rtmp, http等协议之下的文件数据仍然无法直接导出，最省力的方法是“手动使用二进制编辑软件如，复制去掉每个流的头部再另存”，于是很麻烦。

      · 一些使用和zdumper类似原理的嗅探下载软件如「FLV Recorder」，「Replay media Catcher」等，得出的结果是很郁闷。不是都需要装WinPCAP，就是因为商业的crack不完美方面的问题，而且还要修改hosts，或者只支持 flv格式，又或者软件集成了很多其它功能变得极端臃肿”

      · 而专门分析和导出rtmp资源的物体其实很强大。如charles，很实用。但唯一的缺点是需要安装臃肿庞大的「公共运行时」来支援。而且体积也很大。

      · 据说是catch social media最强大的下载器Orbit Downloader+内置的Grab Pro (Grab++)。但是我用它下载biglobe和另外一些使用rtmp协议播放视频/音频的资源站，Orbit完全下不下来。

      于是，对于下载最难抓到的rtmp/http协议下的文件，zdumper可以1v10了...
      
   <zdumper's impression>

      zdumper的原理是使用 RawIP / LibPCAP / File 方式采集发送/接受的IPv4数据包，重构建完整tcp会话(流)，然后重构建完整HTTP/RTMP流，并识别出其中属于「文件」的部分。然后使用trid根据文件内容解析出真实扩展名，还原整个文件然后保存到硬盘。

   <Features>

         1. 支持RTMP, HTTP协议下的所有文件导出，不管它是否完整，而且自动识别完整性。
         2. 支持Windows / Linux / MacOS，不需要安装任何运行时，体积非常小-2M，免费+开源
         3. 支持RAW SOCKET / LibPCAP两种嗅探方式， Windows下可以不装WinPCAP。(但无法否认WinPCAP效果更好)
         4. http支持chunked encoding 和 http头部不在数据包开始 的自我修复
         5. 支持从第三方嗅探软件得到的数据包文件 TCPDUMP(.cap) 中直接提取所有rtmp和http协议的文件

         6. 自动识别Ethernet II(i.e.adsl宽带连接网路，或无线网卡普通模式的数据包)和802.11(i.e.使用无线网卡监听模式得到的原始数据包)协议
         7. 支持HTTP协议Gzip/Inflate/Compress解压缩
         8. 扩展名判断使用Mime + TrID Library两种方式。
         9. 开启监听模式嗅探全部接收到的wifi信号，自动根据key list解码WEP/WPA/WPA2（当需要时支持，开源版不打算支持）


   <Trance Features>

         1. 识别并重组+修复损坏(不完整)的TCP会话(1.漏包 2.从tcp会话开始之后中途抓包 3.tcp序列号(seq num)错乱(将重新排列并使用较新的) 4.Retransmission(使用较大的)，应对信号不够好的wifi网络）
         2. 识别并尝试重组损坏的http流中完整的部分 (1.末尾有损，2.头部有损（之前的末尾无损）)

   <Future>

         由于目前的完成度停留在2009年，并且只是pre-alpha阶段。有不少足以让程序崩溃的bug。而且不能在无线模式下开启抓包（只可以是有线网络）。所以目前只打算放出最初预览版。 
            

Programmed by Nights Soli
unknownsoli@hotmail.com
Source: Readme_CH.txt, updated 2011-03-16
zdumper Files
