python解析mat文件
Foreword python解析mat文件，mat是matlab的数据集文件 mat文件解析 http://www.mathworks.com/help/pdf_doc/matlab/matfile_format.pdf matlab的官方格式说明，但是这个文档很久没更新了，而且里面图片糊的要死 这里只针对mat v5的格式，目前最新的v7格式，发生的变化比较大，而且其本身也不能向下兼容 mat结构 文件头 固定128字节 数据元素块 - tag，根据tag决定元素块类型，大小 - data,具体内容 - 填充，保证数据对齐用的 Header 前128字节中会有一些mat的文件格式信息，比如是什么版本的mat文件和生成的平台。 这里面比较关键的就..
更多
一日一技：JSON如何快速转成对象？
我们知道，在Python里面，要把JSON转成字典是非常容易的，只需要使用json.loads(JSON字符串)就可以了。但如果这个JSON转成的字典，嵌套比较深，那么要读取里面的数据就非常麻烦了。如下图所示：如果我要读取把图中的end减去start字段，那么用字典的时候，代码要写成这样：1result = info['data'][0]['entities']['annotations'][0]['end'] - info['data'][0]['entities']['annotations'][0]['start']光是看到这些方括号和单引号，就够让人头晕了。但如果改成下面这样，看起来就清爽多了：1result = info.data[0].entities.annotations[0].end -..
更多
SMPTE时间同步
Foreword SMPTE 时间同步，实际能搜到使用的例子 绝对时间同步 使用UTC时间，但是UTC时间往往是没有ms时间的，所以要更高精度的时候，UTC时间不合适 SMPTE同步 SMPTE是个大型时间同步规则的制定机构，有多个不同情况下使用的时间同步标准。 最初只是给视频信息做同步的，后续音频、灯光等等多媒体设备加入，扩充了使用范围和标准。以前电视最常见的没信号的彩条也是这个组织规定的。 直接使用SMPTE 大概率是从视频或者是音频的信号进行同步接入。 最常见的时间同步就是拍摄现场的场记板，做的好的同步，会和摄像机、录音设备等联动，记录当前的时间。每天可能有成百上千条素材产生的时候，通过时间同步就很容易定位到某一个时刻发生的各个视频内容，方便后期、剪辑、审阅等等。 而如果没..
更多
音频设备基础知识
Foreword 音频设备的基础知识，一些接口的科普 Audio 物理接口 XLR XLR接口，也叫卡侬头，常用于音响、调音台等设备，可以传输三芯（及以上）的平衡音频信号 XLR有3口、4口、5口、6口的，平常3口最为常见 三口，左边为输入，右边为输出。1=接地/屏蔽，2=热（+），3=冷（－）。不平衡运行时极1和极3必须接通。 XLR散装线缆采用95%覆盖双屏蔽设计和坚固的24 AWG导线，有点类似与网络设备，都有固定架、线材标准、屏蔽设计。 TRS TRS共有三种尺寸：2.5mm、3.5mm与6.3mm（也叫6.35或6.5），功能机时代oppo的手机都是2.5mm的音频接口和别人家的都不一样，3.5就是手机上被typec置换下去的耳机接口了，6.3的就是大音响上比较常见的..
更多市以上行政区划去掉后缀
今天才知道，中国一共333个市一级行政单位。数据来源是 民政部首页 ➡ 民政数据 import re def short_name(name): m = re.search(r''' (\S+?) (?: 壮族|回族|维吾尔|省|自治区|特别| # 省 (?:侗|傈僳|傣|哈尼|回|土家|壮|布依|彝|景颇|朝鲜|白|羌|苗|藏)族| 蒙古|柯尔克孜|哈萨克| 地区|市|盟|自治州|自治县 ).*$ ''', name, re.VERBOSE) if m: return m.group(1) return nam..
更多
红外IR协议
Foreword 很久之前记过，但是笔记找不到了，只好重写一遍 红外协议 红外协议多种多样，NEC、RC5、ITT等等 RC-5 RC-5基础是PPM脉冲编码，载波频率大概是38KHz左右，载波占空比一般是1/4 我这里的是1/3 协议主要是下面5个部分 起始位，一般固定是1，出现一个下降沿，方便中断等接收发现 字段位，如果是原始协议，默认是1，最多64条命令，如果是拓展协议，默认是0，就可以用128条命令 切换位，用来识别按键是一直按下，还是重复按，默认一般都是0 地址位，控制设备的地址 命令位，具体的命令 IR图像 正常的一段红外载波信号 调制以后 红外接收器经过解析以后输出给MCU的波形 一般波形会被取反输出，取反以后才是实际..
更多
使用Drone+docker配置本地轻量化CI/CD
前几天完成了nuxt /server的迁移工作，以后本站的部署不再仅限于vercel，而是可以用任何工具（见nitro deploy）。 发现一个比较轻量的CI/CD工具：Drone，成功给本站安排上了，但是只安排了一点（下面会说明），地址是https://blog-cf.yunyuyuan.net/，运行在我家里的linux服务器上，使用cloudflared tunnel做内网穿透，关于cloudflared tunnel详见之前的文章。 之前我写过一篇jenkins+github配置CI/CD的文章，主要是入门Jenkins，当时觉得Jeninks太吃资源，而且各种配置混杂，管理页也很丑，所以后面没有学下去了。 安装drone 准备 ..
更多hdfs 实时 Decommissioned 节点
前置工作在hfds-site.xml 中确保 dfs.hosts, dfs.hosts.exclude 都存在.假设为 /tmp/includes ,/tmp/excludes上下线节点只需要修改 Namenode 的 /tmp/includes ,/tmp/excludes 文件, 也可以同步修改所有NN, DN节点下线节点假设要移除的节点为 dn1, dn1 需要同时存在于 /tmp/includes ,/tmp/excludes执行 hdfs dfsadmin -refreshNodes 即可不重启 hdfs, 将 DN节点下线检查 hdfs web ui, 即可看到节点变为 Decomission 或者 Decomissioning 状态重新上线节点将 dn1 从 /tmp/excludes 中移..
更多自己动手实现一个可以运行在JVM上的编程语言
众所周知，JVM虚拟机被设计为可以执行栈式指令的机器。因此任何一个语言只要编译之后得到的字节码符合JVM的标准，就可以在JVM上执行，例如Kotlin、Groovy、Scala、Clojure。我们自己设计一款语言，并命名为Jinx，它支持类定义、变量定义、变量打印。它的语法解析逻辑如下12345678910111213141516171819202122232425grammar Jinx;@header {package com.nosuchfield.jinx.code;}jinx: CLASS ID LEFT_BR classBody RIGHT_BR EOF;classBody: (variable | print)*;variable: VARIABLE ID EQUALS value;pri..
更多
一日一技：从Pandas DataFrame两个小技巧
今天我从网上下载了一批数据。这些数据是Excel格式，我需要把他们转移到MySQL中。这是一个非常简单的需求。正常情况下，我们只需要5行代码就能解决问题：1234567import pandas as pdfrom sqlalchemy import create_engineengine = create_engine('数据库链接URI', echo=False)df = pd.read_excel('Excel文件路径')df.to_sql(name='表名', con=engine)但我发现，这个下载的文件有两个工作簿(Sheet)，第一个Sheet叫做Overall，第二个Sheet叫做Result。我们需要的数据在Result这个工作簿中。那么，在使用Pandas读取时，需要这样写代码：1df..
更多