【学术】复合文档文件格式研究（二进制）---提供pdf下载

agstick

复合文档文件格式研究

作者：Agstick          Date: 2007-3-20
            Email:agstick@126.com

版权声明：本文仅供个人学习研究，如需复制、转载请注明出处，未经作者许可，不得作任何商业用途。

 

 

前 言

 

 

复合文档（Compound Document）是一种不仅包含文本而且包括图形、电子表格数据、声音、视频图象以及其它信息的文档。可以把复合文档想象成一个所有者，它装着文本、图形以及多媒体信息如声音和图象。目前建立复合文档的趋势是使用面向对象技术，在这里，非标准信息如图像和声音可以作为独立的、自包含式对象包含在文档中。Microsoft Windows就是使用这种技术，叫做“OLE2 storage file format”或“Microsoft Office compatible storage file format”。

当然Excel、Word等都是用这种格式存储的。本文主要研究复合文档的二进制结构，本文的目的就是为另一篇文章《Excel文件格式研究》（创作中）做准备的。

    本文是在英文资料的基础上完成的，文中某些术语的翻译可能不够标准，但都会给出英文原名。关于这方面的中文资料网上几乎找不到，如果您有的话，请发到我的邮箱，谢谢。由于本人水平有限，文中错误难免，欢迎大家批评指正。

 

 

目 录

第一章        仓库与流（Storages and Streams）

第二章        扇区与扇区链（Sectors and Sector Chains）

第三章        复合文档头（Compound Document Header）

第四章        扇区配置（Sector Allocation）

第五章        短流（Short-Streams）

第六章        目录（Directory）

第七章        Excel文件实例剖析

 

 

第一章    仓库与流

 

 

复合文档的原理就像一个文件系统（文件系统：如FAT
   与NTFS）。复合文档将数据分成许多流（Streams），这些流又存储在不同的仓库（Storages）里。将复合文档想象成你的D盘，D盘用的是NTFS（NT File System）格式，流就相当于D盘里的文件，仓库就相当于D盘里的文件夹。

    流和仓库的命名规则与文件系统相似，同一个仓库下的流及仓库不能重名，不同仓库下可以有同名的流。每个复合文档都有一个根仓库（root storage）。

例：

bwYgm8p4.rar (246.07 KB, 下载次数: 3967)

2007-4-3 19:11 上传

点击文件名下载附件
【学术】复合文档文件格式研究（二进制）---提供pdf下载

[此贴子已经被作者于2007-4-3 19:12:21编辑过]

agstick

第二章    扇区与扇区链

 

2．1 扇区与扇区标识

 

所有的流又分成更小的数据块，叫做数据扇区（sectors）。Sectors 可能包含控制数据或用户数据。

整个文件由一个头（Header）结构以及其后的所有Sectors组成。Sectors的大小在头中确定，且每个Sectors的大小都相同。

以下为示意图：

HEADER

SECTOR 0

SECTOR 1

SECTOR 2

SECTOR 3

SECTOR 4

SECTOR 5

SECTOR 6

┆

Sectors 简单的以其在文件中的顺序列举，一个扇区的索引（从0开始）叫做扇区标识（SID：sector identifier）。SID是一个有符号的32位的整型值。

如果一个SID的值非负，就表示真正存在的那个Sector；如果为负，就表示特殊的含义。下表给出有效的特殊SID：

SID   Name               Meaning                                          

–1   Free SID             空闲sector，可存在于文件中，但不是任何流的组成部分。

–2    End Of Chain SID      SID链的结束标记 (见2.2节)

–3   SAT SID                此Sector用于存放扇区配置表（SAT）(见4.2节)

–4   MSAT SID          此Sector用于存放主扇区配置表（MSAT）(见4.1节)

                                                                    

[此贴子已经被作者于2007-3-20 14:02:24编辑过]

agstick

 

2．2 扇区链与扇区标识链

 

用于存储流数据的所有Sectors的列表叫做扇区链（Sector Chain）。这些Sectors可以是无序的。因此用于指定一个流的Sectors的顺序的SID数组就称为SID chain。一个SID chain总是以End Of Chain SID（－2）为结束标记。

例：一个流由4个Sector组成，其SID链为[1, 6, 3, 5, –2]。

 

 流的SID链是通过扇区配置表构建的（见4.2节），但短流和以下两种内部流除外：

1．主扇区配置表，其从自身构建SID链（每个扇区包含下一个扇区的SID）。

2．扇区配置表，其通过主扇区配置表构建SID链。

agstick

第三章    复合文档头

3.1 复合文档头的内容

 

复合文档头在文件的开始，且其大小必定为512字节。这意味着第一个Sector的开始相对文件的偏移量为512字节。

复合文档头的结构如下：

Offset   Size      Contents                                                 

0           8           复合文档文件标识：D0_H CF_H 11_H E0_H A1_H B1_H 1A_H E1_H

8           16         此文件的唯一标识(不重要, 可全部为0)

24         2           文件格式修订号 (一般为003E_H)

26         2           文件格式版本号(一般为0003_H)

28         2           字节顺序规则标识(见3.2):：FE_H FF_H = Little-Endian

FF_H FE_H = Big-Endian

30         2           复合文档中sector的大小(ssz)，以2的幂形式存储, sector实际大小

为s_size = 2^ssz 字节(一般为9即512字节, 最小值为7即128字节)

agstick

32         2           short-sector的大小(见5.1)，以2的幂形式存储, short-sector实际大

                            小为s_s_size = 2^sssz 字节(一般为6即64字节，最大为sector的大小)

34         10         Not used

44         4           用于存放扇区配置表（SAT）的sector总数

48         4           用于存放目录流的第一个sector的SID (见6)

52         4           Not used

56         4           标准流的最小大小(一般为4096 bytes), 小于此值的流即为短流。

60           4           用于存放短扇区配置表（SSAT）的第一个sector的SID (见5.2),

或为–2 (End Of Chain SID)如不存在。

64         4           用于存放短扇区配置表（SSAT）的sector总数

68         4           用于存放主扇区配置表（MSAT）的第一个sector的SID (见4.1),

或为–2 (End Of Chain SID) 若无附加的sectors。

agstick

72         4           用于存放主扇区配置表（MSAT）的sector总数

76         436       存放主扇区配置表（MSAT）的第一部分，包含109个SID。

                                                                                

 

3.2 字节顺序（Byte Order）

 

文件数据的二进制存储有两种方法Little-Endian 和 Big-Endian，但实际应用中只使用Little-Endian方法即：低位8字节存放在地址的低位，高位8字节存放在地址的高位。

例：一个32位的整数13579BDF_H（转为十进制即324508639），以Little-Endian存放为DF_H 9B_H 57_H13_H，以Big-Endian 存放为 13_H 57_H 9B_H DF_H。（H下标表示十六进制）

 

3.3 扇区偏移量

       从头中的信息可以计算出一个sector的偏移量（offset），公式为：

sec_pos(SID) = 512 + SID ∙ s_size = 512 + SID ∙ 2 ^ssz

例：ssz = 10 and SID = 5:

sec_pos(SID) = 512 + SID ∙ 2 ^ssz = 512 + 5 ∙ 2¹⁰ = 512 + 5 ∙ 1024 = 5632.

agstick

第四章    扇区配置

4.1 主扇区配置表

 

主扇区配置表（MSAT：master sector allocation table）是一个SID数组，指明了所有用于存放扇区配置表（SAT：sector allocation table）的sector的SID。MSAT的大小（SID个数）就等于存放SAT的sector数，在头中指明。

MSAT的前109个SID也存放于头中，如果一个MSAT的SID数多余109个，那么多出来的SID将存放于sector中，头中已经指明了用于存放MSAT的第一个sector的SID。在用于存放MSAT的sector中的最后一个SID指向下一个用于存放MSAT的sector，如果没有下一个则为End Of Chain SID（-2）。

agstick

存放MSAT的sector的内容：（s_size表示sector的大小）

Offset      Size      Contents                         

0          s_size－4     MSAT的(s_size－4) / 4个SID的数组

s_size－4     4          下一个用于存放MSAT的sector的SID，或－2（已为最后一个）

                                                                      

 

 

       最后一个存放MSAT的sector可能未被完全填满，空闲的地方将被填上Free SID(-1)。

例：一个复合文档需要300个sector用于存放SAT，头中指定sector的大小为512字节，这说明一个sector可存放128个SID。MAST有300个SID，前109个放于头中，其余的191个将要占用2个sector来存放。此例假定第一个存放MSAT的sector为sector 1，则sector 1包含127个SID。第128个SID指向一个用于存放MSAT的sector，假定为sector 6，则sector 6包含剩下的64个SID（最后一个SID为－2，其他的值为－1）。

[此贴子已经被作者于2007-3-20 13:32:39编辑过]

agstick

4.2 扇区配置表

 

 

       扇区配置表（SAT：sector allocation table）是一个SID数组，包含所有用户流（短流除外）和内部控制流（the short-stream container stream, 见5.1, the short-sector allocation table, 见5.2, and the directory, 见7)的SID链。SAT的大小（SID个数）就等于复合文档中所存在的sector的个数。

       SAT的建立就是通过按顺序读取MSAT中指定的sector中的内容。

存放SAT的sector的内容：（s_size表示sector的大小）

Offset       Size          Contents                             

0             s_size           SAT的s_size / 4个SID的数组

                                                                

    当通过SAT为一个流创建SID链时，SAT数组的当前位置（array index)表示的就是当前的sector，而该位置存放的SID则指向下一个sector。

    SAT可能在任意位置包含Free SID（－1），这些sector将不被流使用。如果该位置包含End Of Chain SID（－2）表示一个流的结束。如果sector用于存放SAT则为SAT SID（－3），同样用于存放MSAT则为MSAT SID（－4）。

    一个SID链的起点从用户流的目录入口（directory entry，见6.2节）或头（内部控制流）或目录流本身获得。

[此贴子已经被作者于2007-3-20 13:35:21编辑过]

agstick

例：一个复合文档包含一个用于存放SAT的sector（sector 1）和2个流。

Sector 1的内容如下图：

在位置1其值为－3，表明Sector 1是SAT的一部分。

其中一个流为内部目录流，假定头中指定其开始为Sector 0，SAT中位置0的值为2，位置2的值为3，位置3 的值为－2。因此目录流的SID链为[0, 2, 3, –2]，即此目录流存放于3个sector中。

目录中包含一个用户流的入口假定为sector 10，从图中可看出此流的SID链为[10, 6, 7, 8, 9, –2]。