Foreword

python解析mat文件，mat是matlab的数据集文件

mat文件解析

http://www.mathworks.com/help/pdf_doc/matlab/matfile_format.pdf

matlab的官方格式说明，但是这个文档很久没更新了，而且里面图片糊的要死

这里只针对mat v5的格式，目前最新的v7格式，发生的变化比较大，而且其本身也不能向下兼容

mat结构

文件头   固定128字节
数据元素块 
   - tag，根据tag决定元素块类型，大小
   - data,具体内容
   - 填充，保证数据对齐用的

前128字节中会有一些mat的文件格式信息，比如是什么版本的mat文件和生成的平台。

这里面比较关键的就是最后的2字节，这里有一个IM或者MI的信息，用来表示当前文件是大端存储还是小端存储的，获取到这个以后就可以决定是否要交换数据的2个字节。

Data Block

过了Header以后就是数据块了，默认的数据块前8字节是Tag

Tag里是有以下数据类型的标记，比如这里是0F，对应就是miCOMPRESSED压缩过的数据格式

压缩的数据内容通过zlab即可解析，其他类型的数据就比较简单可以直接读出来解析。

小数据格式

也有一种特殊情况，这种是数据本身都是小字节占用，没必要使用8字节存储空间，于是整个Tag就不一样了。

这种Tag只有4字节，并且是先描述数据长度、再描述数据类型，后面跟随的就是数据本体了。

这种类型的格式可以通过Tag的前两个字节来判断，如果是普通数据格式前两字节必然为0（描述的是数据格式，高2字节都是0），如果是小数据格式，前两字节必然不为0（描述的是数据长度）

Padding

mat的数据部分也有padding的问题，一般来说正常格式就是8字节的padding对齐，如果是小数据格式，就是4字节对齐。

python解析mat

https://github.com/nephics/mat4py/tree/master

参考mat4py库，只是这个库有点问题

奇怪的问题

如果读取来自.NET 4生产的mat文件，并且数据格式是miCOMPRESSED的，就会出现zlib无法解析的问题，PCWIN64倒是可以正常解析

目前的解决办法是将获取到的数据块截断，去掉尾部1字节就能正常解析了

def read_var_header(fd, endian):
    """Read full header tag.

    Return a dict with the parsed header, the file position of next tag,
    a file like object for reading the uncompressed element data.
    """
    mtpn, num_bytes = unpack(endian, 'II', fd.read(8))
    next_pos = fd.tell() + num_bytes

    if mtpn == etypes['miCOMPRESSED']['n']:
        # read compressed data
        data = fd.read(num_bytes)
        dcor = zlib.decompressobj()
        # from here, read of the decompressed data
        // 去掉1字节
        fd_var = BytesIO(dcor.decompress(data[:-1]))
        del data
        fd = fd_var
        # Check the stream is not so broken as to leave cruft behind
        if dcor.flush() != b'':
            raise ParseError('Error in compressed data.')
        # read full tag from the uncompressed data
        mtpn, num_bytes = unpack(endian, 'II', fd.read(8))

    if mtpn != etypes['miMATRIX']['n']:
        raise ParseError('Expecting miMATRIX type number {}, '
                         'got {}'.format(etypes['miMATRIX']['n'], mtpn))
    # read the header
    header = read_header(fd, endian)
    return header, next_pos, fd

Platform: .NET 4 - Math.NET这个文件应该是从.net的计算库而来

https://github.com/mathnet/mathnet-numerics/blob/master/src/Data.Matlab/Formatter.cs

mathdotnet是一个类似于matlab在net的计算库，里面封装了各种计算用的方法，并且支持部分matlab格式

https://www.mathdotnet.com/

https://github.com/mathnet

可以看到C# 最后塞了4字节的校验位

        static byte[] PackCompressedBlock(byte[] data, DataType dataType)
        {
            var adler = BitConverter.GetBytes(Adler32.Compute(data));
            using (var compressedStream = new MemoryStream())
            {
                compressedStream.WriteByte(0x58);
                compressedStream.WriteByte(0x85);

                using (var outputStream = new DeflateStream(compressedStream, CompressionMode.Compress, true))
                {
                    outputStream.Write(BitConverter.GetBytes((int)dataType), 0, 4);
                    outputStream.Write(BitConverter.GetBytes(data.Length), 0, 4);
                    outputStream.Write(data, 0, data.Length);
                    outputStream.Flush();
                }

                compressedStream.WriteByte(adler[3]);
                compressedStream.WriteByte(adler[2]);
                compressedStream.WriteByte(adler[1]);
                compressedStream.WriteByte(adler[0]);
                return compressedStream.ToArray();
            }
        }

实际C#自己解析的时候，可以看到先是去掉了2个头部，也就是上面的0x58 0x85然后又去掉尾部的4字节，就是校验位

        static byte[] UnpackCompressedBlock(byte[] compressed, out DataType type)
        {
            byte[] data;
            using (var decompressed = new MemoryStream())
            {
                using (var compressedStream = new MemoryStream(compressed, 2, compressed.Length - 6))
                using (var decompressor = new DeflateStream(compressedStream, CompressionMode.Decompress))
                {
                    decompressor.CopyTo(decompressed);
                }

                decompressed.Position = 0;
                var buf = new byte[4];
                decompressed.Read(buf, 0, 4);
                type = (DataType)BitConverter.ToInt32(buf, 0);
                decompressed.Read(buf, 0, 4);
                var size = BitConverter.ToInt32(buf, 0);
                data = new byte[size];
                decompressed.Read(data, 0, size);
            }

            return data;
        }

然后就扔进去直接解析了，那这个写法就非常迷惑了，解析的时候完全不看校验位，只管解析。

实际上Platform: PCWIN64和Platform: .NET 4 - Math.NET在压缩的时候使用的数据头和尾不一样

0x78，0x9C win64  明文是 xœ
0x58 0x85 .net   明文是 X…

最后的校验位也是不计算头部的，只计算数据部分

比较奇怪的是zlib无论是否有后4字节都能正常解析PCWIN64，而.NET4的就不行了

这个标记具体的含义，估计要看zlib源码才能知道了

Summary

奇怪的问题

Quote

https://stackoverflow.com/questions/70262841/why-does-zlib-decompressobj-succeed-but-zlib-decompress-fail

https://www.loc.gov/preservation/digital/formats/fdd/fdd000440.shtml?__cf_chl_rt_tk=yNcjuWx04s8_z_4zHxnH2pt3q6G_Kl5TVcf0F1YMR_M-1695453961-0-gaNycGzNDWU#useful

http://www.mathworks.com/help/pdf_doc/matlab/matfile_format.pdf