时空谱多维数据格式（MDD）结构与计算机配套系统

张立福¹，孙雪剑^1*，张霞¹，王楠¹，张明月^1,2，林昱坤^1,2，黄海¹，
岑奕¹，黄长平¹，杨杭¹，张红明¹，刘佳¹，童庆禧¹

1. 中国科学院遥感与数字地球研究所，北京 100101；
2. 中国科学院大学，北京 100049

摘 要：遥感观测数据包括了时间、空间、光谱属性等特征在内的多维度信息，为了便于多维度大数据之间互操作和数据分析，作者团队在综合考虑多维大数据特点的基础上，研发了一种将遥感产品涉及的时间、空间、光谱特征等关联成一体的数据格式，命名为“多维数据格式（MDD，Multi-Dimensional Data Format）”。本文论述.mdd数据格式的算法原理，像元、波段、光谱时空特征的排列结构，其中包括由TSB（Temporal Sequential in Band）、TSP（Temporal Sequential in Pixel）、TIB（Temporal Interleaved by Band）、TIP（Temporal Interleaved by Pixel）和TIS（Temporal Interleaved by Spectrum）五种数据存储格式组成的关联组织关系和数据组织结构。为了方便使用该数据格式，作者团队研发了计算机配套软件系统-遥感多维数据格式互操作分析软件系统（Multi-dimensional Analysis of Remote Sensing V1.0，MARS），该软件具有.mdd格式数据的输入、存储、分析、输出及格式转换等功能。此外，该软件也具有图像预处理、光谱分析、遥感数据分类等功能。

关键词：MDD；数据格式；多维数据；数据分析；MARS

DOI: https://doi.org/10.3974/geodp.2017.02.01

1 前言

遥感是全球变化研究最重要的技术手段之一。遥感卫星长时间连续对地观测，积累了大量长时间序列、多分辨率、多光谱系列数据。例如，Landsat TM和MODIS遥感观测数据已经成为全球变化研究重要的遥感数据源。Landsat长时间序列数据被广泛应用于森林扰动和恢复的趋势变化监测[1]、森林扰动历史数据自动化重建[2]、地表森林生物量变化定量分析[3]，以及土地覆盖变化监测[4–5]等研究；MODIS长时间序列数据大量被应用于农作物物候监测[6–7]等研究。

目前用于时间序列分析的遥感数据集通常是以一种常用格式的文件为基本存储单元，如Geo-TIFF（Tagged Image File Format）、HDF（Hierarchical Data Format），以及遥感商用软件自带格式（如ENVI和ERDAS）。这些格式的数据，每个文件对应一个时间的数据；HDF和Geo-TIFF数据格式采用更加复杂的数据结构（树状结构或链表结构）。由于目前常用遥感数据格式基本是基于三维立方体模型存储，对于数据的时间序列分析来说，就显得有很大的不方便之处。

作者团队基于遥感多时相、多空间、多光谱等数据特点，研发了时空谱多维数据格式[8]，即MDD（Multi-Dimensional Dataset）数据格式。根据多维数据存储顺序的不同，MDD可分为五种基本数据存储格式：TSB (Temporal Sequential in Band)、TSP (Temporal Sequential in Pixel)、TIB (Temporal Interleaved by Band)、TIP (Temporal Interleaved by Pixel)和TIS (Temporal Interleaved by Spectrum)。为便于多维时-空-谱数据的构建读取和分析，配套研发并出版了多维分析软件模块，即MDA（Multi-dimensional Data Analysis）软件模块，该模块集成于MARS（Multi-dimensional Analysis of Remote Sensing）多维遥感分析软件中。通过基于遥感数据的应用案例介绍，读者可以了解MDD数据结构的特点和使用方法。

2 MDD数据格式

MDD数据格式是作者团队研发的集遥感数据的时-空-谱特征于一体的多维数据存储格式。一个MDD数据集由一系列不同时相的光谱立方体组成，因此，从数据集的维度上来看，MDD增加了时间维信息，由目前遥感数据集只包括空间和光谱维信息，变为可以包括时间-空间-光谱的多维遥感数据集。

2.1 MDD数据格式特点

MDD数据格式具有以下特点：

灵活性：MDD对多维图像数据的组织有五种存储结构，五种存储结构之间可以相互转换，用户可以根据数据分析的需求灵活选择对应的数据组织结构。

多维性：MDD是一种多维数据格式，允许用户将遥感数据时间、空间、光谱维度的信息集成到同一个数据集中。

可扩展性：MDD数据集，可根据需要，将新获取的图像数据添加到已生成的MDD文件中，实现时间维度数据信息的扩展。

完整性： MDD数据除了包含遥感栅格图像数据本身之外，还附带描述该数据的所有属性的全面信息，包含时间、大小、地理投影等等。

2.2 MDD的物理存储结构

MDD数据集由头文件和数据文件两部分组成。

头文件记录了影像数据本身的信息，包括空间、光谱和时间维的大小、数据存储格式、数据类型信息，也记录了关于影像数据附加的描述信息，包括坐标投影和仿射变换系数、光谱维和时间维的名称以及文件名称和类型、数据偏移等描述信息。数据文件是实际存储影像数据的文件，根据数据的存储顺序，可分为TSB、TSP、TIB、TIP和TIS五种数据存储结构。

2.2.1 MDD头文件

MDD头文件记录了用于表达和解析影像数据文件的所有元数据信息，如表1所示。

2.2.2 MDD数据文件

MDD数据文件是实际存储影像数据的文件，采用二进制的字节流并以TSB、TSP、TIB、TIP和TIS五种存储结构中的一种对栅格图像数据进行存储，五种数据结构之间可以相互转换。

（1）Temporal Sequential in Band (TSB)

假设多时相遥感数据集包含T₁、T₂和T₃三个时间的影像，每个时间的影像包含3个波段，每个波段4个像元（用4个小方块来表示），如图1所示，图中小方块排列的顺序代表TSB格式中所有像元的存储顺序。该数据集包含时间维、光谱维以及空间“行”和“列”四个维度。

图1 数据存储的TSB格式结构图

下载

TSB存储格式首先将时间T₁的第一个波段的像元数据按照先行后列的顺序进行存储，然后依次将T₁各个波段的像元数据进行存放，最后依据上述规则将所有时间的立方体数据按时间顺序依次存储。这种存储结构可表示为

(1)

式中，代表每个时间的立方体影像数据集。式（1）表示数据存储按照时间T的顺序，依次存储不同时间的影像立方体，在每个立方体影像数据中，按照波段的顺序存储，可表示为

(2)

在每个波段的存储中，按照逐行的顺序存储，可表示为

(3)

TSB格式将每一个时间的所有波段数据组织在一起，适用于对一个时间若干个波段的数据进行操作，以及波段在空间维的处理。提取一个或多个时间所有波段组成的光谱立方体数据、光谱运算和空间域滤波等应用可以采取TSB数据格式进行组织。

（2）Temporal Sequential in Pixel (TSP)

图2 数据存储的TSP格式结构图

下载

TSP存储格式采取光谱维优先的原则，首先是将T₁时间的立方体数据按照波段方向依次存储第一个像元的光谱信息，然后再按照“先行后列”的顺序存储各个像元点的光谱信息，最后依据上述规则将所有时间的立方体数据按时间顺序存储，如图2所示，这种存储结构可表示为

(4)

式中，每个立方体的存储可用下式表示

(5)

上式中变量的含义与表2相同。

表达式或变量	含义描述
t	某一个时间，取值范围 [1, T]
S	某一个光谱波段，取值范围[1, S]
C	某一列，取值范围[1, C]
r	某一行，取值范围[1, R]
A(t,s,c,r)	时间的光谱立方体A中第s波段、第c列、第r行的像元
BXXX	表示一个波段的数据
FXXX	表示多个波段组成的立方体数据
PXXX	表示时空谱四维数据集，其中XXX为五种格式中的一种

TSP格式的特点是将每个时间影像的光谱数据存储在一起，适用于对一个时间的光谱数据进行操作。提取一个像元或者一片区域的光谱曲线或者对不同时间的影像进行光谱特征化等操作可以采取TSP数据格式进行组织，例如计算光谱斜率和坡向、光谱二值编码、光谱吸收指数、光谱导数和积分等。

（3）Temporal Interleaved by Band (TIB)

图3 数据存储的TIB格式结构图

下载

如图3所示，TIB存储格式以波段优先为原则，首先将第一个波段T₁时间的所有像元按照“先行后列”的顺序存储，然后依次将不同时间上第一个波段的所有像元数据按“先行后列”的顺序存储在一起，最后依据上述规则将波段的数据按照时间顺序进行存储，这种存储结构可表示为

(6)

式中，表示的立方体是不同时间序列的同一个波段组成的数据立方体，存储顺序为按照时间序列存储第一波段，然后再存储第二波段，直至存完所有波段。可表示为

(7)

式中，每个波段的存储顺序为

(8)

上式中变量的含义与表2相同。

TIB格式的特点是将一个波段所有时间数据组织在一起，适用于提取某个波段的时间序列立方体数据。当需要提取一个波段的时间序列立方体或者针对某个波段需选择三个时间的数据用于假彩色合成显示时可以采取TIB数据格式进行组织。

（4）Temporal Interleaved by Pixel (TIP)

图4 数据存储的TIP格式结构图

下载

如图4所示，TIP首先将所有时间第一个波段的第一个像元点的数据按时间顺序组织在一起，然后将所有时间第一个波段内的像元数据再按“先行后列”的原则顺序存储，最后依据上述规则将所有波段数据按照波段顺序进行存储, 这种存储结构可以表示为

(9)

式中，F_TIP(s)表示不同时间影像的同一个像元光谱组成的立方体，可表示为

(10)

上述式子中变量的含义与表2相同。

TIP格式最大的特点是将图像中像元的时谱数据组织在一起，适用于对像元的时间谱进行处理与分析。当提取一个像元或者一片区域在某个波段的时谱曲线，在时间维进行平滑和滤波处理，对时间谱曲线进行拟合，以及进行预测分析等操作时可采取TSB数据格式进行组织。

（5）Temporal Interleaved by Spectrum (TIS)

图5 数据存储的TIS格式结构图

下载

如图5所示，TIS存储格式首先按照波段优先的原则，将所有波段第一个像元按照时间顺序进行存储，然后依据这一规则将其它像元按照空间上“先行后列”的原则依次进行存储, 这种存储结构可以表示为

(11)

式中，

(12)

上式中变量的含义与表2相同。

TIS格式的特点是将每一个像元在整个时间序列上的光谱数据组织在一起，适用于提取像元光谱曲线的时间序列数据。抽取某一个像元在一个时间范围内的所有光谱曲线并对这些曲线进行三维可视化，并分析该像元的光谱随着时间变化的情况时可采取TIS格式进行组织。

3 MDA (Multi-Dimension Analysis) 多维分析模块

3.1 MDA多维分析计算机软件模块

为了使用户理解和应用.mdd数据格式，笔者团队研发了可用于.mdd数据输入、存储、分析和输出的计算机软件模块，命名为MDA (Multi-Dimension Analysis)多维分析计算机软件模块，该模块集成于遥感多维数据格式互操作分析软件系统（MARS 1.0）中（简称MARS 1.0）。该系统在“全球变化科学研究数据出版系统”正式出版[9]。该计算机系统的元数据简介列于表3。

3.2 MDA模块功能

MDA是基于MDD多维数据格式开发的集多维数据构建、多维数据分析和多维数据可视化于一体的遥感数据时空谱多维分析软件模块，该软件模块包括MDD数据构建（MDD Builder）及打开（MDD Open）、格式转换（MDD Conversion）、数据导出（MDD Export）和数据运算（MDD Math）等功能，其具体功能如图6所示。

图6 MDA模块功能图

下载

MDA模块实现的功能包括：MDD数据的构建、打开、转换，从MDD数据中进行时谱、光谱和特征参量立方体的提取，MDD数据时间维和光谱维的信息可视化，以及对应的时谱和光谱的提取、显示及分析处理等。该模块能够将原始的或者经过预处理后的长时间序列的遥感数据集构建成MDD多维数据，提取不同空间范围内的光谱等信息的时间变化规律。由于MDD数据文件采用的五种存储结构分别针对不同的应用，因此为了快速有效地进行多维分析、提取与显示，可以通过该模块的格式转换功能进行格式转换，然后再进行后续操作。在构建的MDD数据集的基础上，可以利用光谱特征参量提取功能提取计算某个光谱特征参量（如NDVI、RVI等）的时间变化情况，构成特征参量立方体，并可以用灰度或者假彩色合成对特征参量进行显示，以交互式的方式显示任一像元的特征参量时谱曲线。可以通过光谱立方体或者时间立方体提取功能从MDD时空谱四维数据中提取三维立方体数据，导出成常用遥感软件支持的格式来进行数据的相关处理与分析。MARS 1.0软件中MDA模块的菜单项及其功能如表4所示。

3.3 MDD数据构建及可视化

目前，MDA模块已经集成了对原始MODIS、原始Landsat和经处理为ENVI标准数据格式的遥感数据的MDD数据构建。本节将介绍利用MDA模块，以MODIS和Landsat为数据源的MDD构建的总体流程，并以MODIS数据为例详细介绍MDD数据的构建、信息提取与可视化过程。

利用MDA将原始MODIS和Landsat数据构建为MDD数据的总体流程如图7和图8所示。

图7 利用MDA模块以MODIS为数据源构建MDD的总体流程

下载

图8 利用MDA模块以Landsat为数据源构建MDD的总体流程

下载

3.3.1 MDD数据构建过程（以MODIS数据为例）

MODIS数据具有全球免费、覆盖范围广、更新频率高等特点，在全球变化研究中被广泛应用。USGS网站上提供了MODIS的各级产品数据，最常用的包括8天合成的MOD09A1和MOD09GA等反射率产品，这些数据采用HDF格式的文件进行发布，反射率波段以及属性数据均以子数据集的形式存储在HDF文件中。MDA模块提供了针对MODIS和Landsat等数据的MDD数据自动构建方法，本例采用46景2011年全年的8天合成的MOD09A1反射率数据为原始数据来构建MDD数据文件。MODIS产品采用的空间投影类型为正弦投影，需对其进行重新投影，可采用常用的UTM投影。对于大研究区域，如整个北美洲，需要多个条带的MODIS产品才能在空间上完全覆盖，此时还需对不同条带的数据进行空间拼接。

利用MDA模块，以MODIS构建MDD数据的操作流程包含三个步骤：

步骤1：将原始MODIS数据解压到指定文件夹，文件自动按时间顺序排列，MDA通过对数据文件名的解析，自动识别数据类型及数据获取时间等参数，如图9所示；

图9 待构建MDD的MODIS数据文件

下载

步骤2：通过MDD Builder from MODIS功能模块进入MODIS构建MDD的主界面（图10），依次选择数据源所在路径、构建的波段范围、重投影类型和MDD的存储结构等，然后在子数据集选项中选择HDF数据文件中的栅格图像数据（图11）。

图10 MODIS多维数据构建界面

下载

图11 栅格图像数据选择

下载

步骤3：生成MDD多维数据，构建的结果包括头文件和数据文件，分别以mdr和mdd后缀结尾（图12）。

图12 MODIS构建MDD数据结果

下载

图13为本次实例生成的MDD数据的头文件，内容的具体解释如表5所示。

图13 MDD数据结果头文件

下载

3.3.2 MDD数据的信息提取

MDA模块具备对MDD数据的解析与分析功能，可以从MDD多维数据中提取各个维度的数据信息，实现各个时间的光谱立方体、各个波段的时谱立方体和经过运算后的时谱特征立方体（如NDVI时间序列）的导出。

（1）光谱及时谱立方体导出

导出时首先选择“MDD Export”菜单项，然后出现图14（左）所示的导出窗口，选择其中的“Image” 出现图14（右）窗口，可以选择空间范围。如果在导出类型中选择“Spectral Cube”则表示导出光谱立方体，在图15（左）中选择的一个时间以及光谱范围；如果在导出类型中选择“Temporal Cube”则表示导出光谱立方体，在图15（右）中选择的一个光谱波段以及时间范围。导出结果如图16所示。

图14 MODIS数据导出主界面

下载

图15 光谱和时谱立方体导出参数选择

下载

图16 光谱和时谱立方体导出结果

下载

（2）时谱特征立方体导出

图17 NDVI时谱特征立方体导出

下载

以生成NDVI时间序列为例介绍时谱特征立方体的导出过程，在这里需要用到MDA模块中的光谱运算工具。光谱运算是为了计算一个时间序列上的特征参量组成的立方体数据（称为时谱特征立方体）。时谱特征立方体的生成过程分为两步：第一步，针对每一个时间的影像立方体，按照输入的表达式以及表达式中变量与波段的对应关系，计算特征参量，例如植被指数；第二步，将各个时间计算的特征图层按照时间顺序组合成一个特征参量立方体。

在MDA利用“MDD Math”功能（如图17），首先选择空间范围，然后输入特征参量表达式，例如NDVI的计算表达式为（b1-b2）/（b1+b2），由于MODIS数据的红波段和近红外波段分别为第1波段和第2波段，因此将解析表达式后中的变量b1、b2与分别与波段2和波段1进行对应，并选择时间范围，指定输出路径后就可以导出结果。

3.3.3 MDD数据的可视化显示

（1）光谱维显示

图18 光谱维信息可视化

下载

MDA模块具备对MDD数据的可视化交互功能。使用“Available Data List”工具，切换至“Spectral Dimension”选项卡，可进行光谱维数据显示。首先选择某个时间，然后选择三个波段进行RGB彩色合成显示，或者选择一个波段进行灰度图像显示，显示结果为该时相的光谱立方体数据，“Data Profile”提取的为每个像元某一时间的光谱曲线（如图18）

（2）时间维显示

图19 时间维信息可视化

下载

MDA模块还可以便捷地对MDD 数据进行时间维的合成显示，同样是使用“Available Data List”工具，切换至“Temporal Dimension”选项卡，选择一个波段，然后选择三个时间进行 RGB 彩色合成显示，或者选择一个时间进行灰度图像显示，显示结果为某一波段的时间序列（时谱）立方体数据，“Data Profile”提取的为每个像元某一波段的时谱曲线（如图19）。

4 展望

遥感数据时间、空间和光谱维度的综合组织，是遥感在诸多应用领域的现实需求。例如，在水质监测方面，针对日益严重的水体生态环境退化问题，利用MDD数据能够快速并准确的计算出多种水体指数，辅助进行水体污染监测和动态监控，加强对水体生态系统的保护；在森林扰动监测方面，利用MDD数据可以有效组织长时间序列遥感影像，计算多种森林动态监测指数，并对森林区域从空间和光谱维度进行时序联合分析，准确解译森林扰动原因；在农情监测方面，利用MDD数据能够完成对多源遥感数据的时-空-谱三种信息的融合，完成农作物种类、空间分布及其长势信息的高精度提取，满足农情精准监测这一重大国家需求；在城市扩张方面，利用MDD数据可以快速实现城区不透水面积的变化分析，结合空间特征得到准确的城市扩张信息，为后续的城市发展方向提供决策支持。总之，MDD多维遥感数据能够在全球变化研究中发挥重要作用，具有广阔的应用前景。

致谢：中国科学院地理科学与资源研究所刘闯研究员对本文的完成和软件测试提出建议和帮助，仅此深表谢忱。

参考文献

• [1] Kennedy, R. E., Yang, Z., Cohen, W. B. Detecting trends in forest disturbance and recovery using yearly Landsat time series: 1. LandTrendr-Temporal segmentation algorithms [J]. Remote Sensing of Environment, 2010, 114(12): 2897-2910.
• [2] Huang, C., Goward, S. N., Masek, J. G., et al. An automated approach for reconstructing recent forest disturbance history using dense Landsat time series stacks [J]. Remote Sensing of Environment, 2010, 114(1): 183-198.
• [3] Powell, S. L., Cohen, W. B., Healey, S. P., et al. Quantification of live aboveground forest biomass dynamics with Landsat time-series and field inventory data: A comparison of empirical modeling approaches [J]. Remote Sensing of Environment, 2010, 114(5): 1053-1068.
• [4] Margono, B. A., Turubanova, S., Zhuravleva, I., et al. Mapping and monitoring deforestation and forest degradation in Sumatra (Indonesia) using Landsat time series data sets from 1990 to 2010 [J]. Environmental Research Letters, 2012, 7(3): 034010.
• [5] Townsend, P. A., Helmers, D. P., Kingdon, C. C., et al. Changes in the extent of surface mining and reclamation in the Central Appalachians detected using a 1976-2006 Landsat time series [J]. Remote Sensing of Environment, 2009, 113(1): 62-72.
• [6] Galford, G. L., Mustard, J. F., Melillo, J., et al. Wavelet analysis of MODIS time series to detect expansion and intensification of row-crop agriculture in Brazil [J]. Remote Sensing of Environment, 2008, 112(2): 576-587.
• [7] Sakamoto, T., Yokozawa, M., Toritani, H., et al. A crop phenology detection method using time-series MODIS data [J]. Remote Sensing of Environment, 2005, 96(3): 366-374.
• [8] 张立福, 陈浩, 孙雪剑等. 多维遥感数据时空谱一体化存储结构设计[J]. 遥感学报, 2017, 21(1): 62-73.
• [9] 张立福, 孙雪剑, 张霞等. 遥感多维数据格式互操作分析软件系统（MARS 1.0）[DB/OL]. 全球变化科学研究数据出版系统, 2017. DOI: 10.3974/geodb.2017.02.20.V1.
• [10] 全球变化科学研究数据出版系统. 全球变化科学研究数据共享政策[OL]. DOI: 10.3974/dp.policy.2014.05 (2017年更新).