一日一技：Requests被网站识别怎么办？
现在有很多网站，已经能够通过JA3或者其他指纹信息，来识别你的请求是不是Requests发起的。这种情况下，你无论怎么改Headers还是代理，都没有任何意义。我之前写过一篇文章：Python如何突破JA3，但方法非常复杂，很多初学者表示上手有难度。那么今天我来一个更简单的方法，只需要修改两行代码。并且不仅能过JA3，还能过Akamai。先来看一段代码：123456789101112131415161718192021import requests headers = { 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/s..
更多
My nvim config in 2023
Start 在去年我曾经写过一篇 2022 年的 nvim 配置方案的博文，那篇文章实际上是本博客访问量最高的，随着时间来到了 2023 年的下半年，nvim 社区也有了新的变化，而随着 packer 插件管理器正式宣布放弃维护，我也不得不投身到了 lazy 的怀抱，然后说一句，真香！ 简单统计了下我使用的插件数量，不知不觉间也来到了 60+，在插件选择，配置上也有了更多自己的想法，增删并定制了特性， 根据我平时编码时的习惯，常用的开发语言做了针对性的优化和设置，在这里分享出来供各位参考。 组织良好的配置目录 针对 HHKB 键盘的优化 手动 LS（language server) 管理 采用 nord 作为统一的颜色风格 便于扩展 话不多说，本文的内容如果对你有启发的话，那就最好不过了！仓库地址在文..
更多
APISIX的使用
APISIX是一款基于Openresty的动态、实时、高性能API网关，它提供了负载均衡、服务熔断等丰富的功能。安装服务在https://github.com/apache/apisix-docker中提供了很多很便利的docker配置，可以很方便的启动APISIX的相关服务。~ git clone git@github.com:apache/apisix-docker.git~ cd apisix-docker/example/~ docker-compose upStarting example_etcd_1 ... doneStarting example_grafana_1 ... doneStarting example_apisix-dashboard..
更多
多模态-CLIP
问题多模态如何做融合，本文是对CLIP模型理解做个记录。 前提目前业界有中文开源版本的，例如Chinese-CLIP以及IDEA/Fengshenbang-LM太乙系列，本文采用Chinese-CLIP来梳理其流程。 数据集采用wukong-dataset，预训练模型使用chinese-clip-vit-base-patch16来进行实验。 流程1. 文本处理1234567891011121314import pandas as pdimport torchfrom PIL import Imagefrom datasets import Datasetfrom transformers import ChineseCLIPProcessor, ChineseCLIPModel, Trainer, Tra..
更多
RouterOS配置GRE和OSPF
Foreword ZeroTier还是有点问题，莫名其妙会掉线，掉了以后还不会自动重连，还得要手动关闭再开启。 尝试一下GRE+OSPF的连接方式 掉线的问题，怀疑类似这里，但是掉线只有一端掉，另外一端完全没问题 https://forum.mikrotik.com/viewtopic.php?t=184817 GRE 通用路由封装(GRE) 是一种协议，用于将使用一个路由协议的数据包封装在另一协议的数据包中。“封装”是指将一个数据包包装在另一个数据包中，就像将一个盒子放在另一个盒子中一样。GRE 是在网络上建立直接点对点连接的一种方法，目的是简化单独网络之间的连接。它适用于各种网络层协议。 运行Novell IPX协议的两个子网Group 1和Group 2分别在不同的城市，通..
更多
python解析mat文件
Foreword python解析mat文件，mat是matlab的数据集文件 mat文件解析 http://www.mathworks.com/help/pdf_doc/matlab/matfile_format.pdf matlab的官方格式说明，但是这个文档很久没更新了，而且里面图片糊的要死 这里只针对mat v5的格式，目前最新的v7格式，发生的变化比较大，而且其本身也不能向下兼容 mat结构 文件头 固定128字节 数据元素块 - tag，根据tag决定元素块类型，大小 - data,具体内容 - 填充，保证数据对齐用的 Header 前128字节中会有一些mat的文件格式信息，比如是什么版本的mat文件和生成的平台。 这里面比较关键的就..
更多
一日一技：JSON如何快速转成对象？
我们知道，在Python里面，要把JSON转成字典是非常容易的，只需要使用json.loads(JSON字符串)就可以了。但如果这个JSON转成的字典，嵌套比较深，那么要读取里面的数据就非常麻烦了。如下图所示：如果我要读取把图中的end减去start字段，那么用字典的时候，代码要写成这样：1result = info['data'][0]['entities']['annotations'][0]['end'] - info['data'][0]['entities']['annotations'][0]['start']光是看到这些方括号和单引号，就够让人头晕了。但如果改成下面这样，看起来就清爽多了：1result = info.data[0].entities.annotations[0].end -..
更多
SMPTE时间同步
Foreword SMPTE 时间同步，实际能搜到使用的例子 绝对时间同步 使用UTC时间，但是UTC时间往往是没有ms时间的，所以要更高精度的时候，UTC时间不合适 SMPTE同步 SMPTE是个大型时间同步规则的制定机构，有多个不同情况下使用的时间同步标准。 最初只是给视频信息做同步的，后续音频、灯光等等多媒体设备加入，扩充了使用范围和标准。以前电视最常见的没信号的彩条也是这个组织规定的。 直接使用SMPTE 大概率是从视频或者是音频的信号进行同步接入。 最常见的时间同步就是拍摄现场的场记板，做的好的同步，会和摄像机、录音设备等联动，记录当前的时间。每天可能有成百上千条素材产生的时候，通过时间同步就很容易定位到某一个时刻发生的各个视频内容，方便后期、剪辑、审阅等等。 而如果没..
更多
音频设备基础知识
Foreword 音频设备的基础知识，一些接口的科普 Audio 物理接口 XLR XLR接口，也叫卡侬头，常用于音响、调音台等设备，可以传输三芯（及以上）的平衡音频信号 XLR有3口、4口、5口、6口的，平常3口最为常见 三口，左边为输入，右边为输出。1=接地/屏蔽，2=热（+），3=冷（－）。不平衡运行时极1和极3必须接通。 XLR散装线缆采用95%覆盖双屏蔽设计和坚固的24 AWG导线，有点类似与网络设备，都有固定架、线材标准、屏蔽设计。 TRS TRS共有三种尺寸：2.5mm、3.5mm与6.3mm（也叫6.35或6.5），功能机时代oppo的手机都是2.5mm的音频接口和别人家的都不一样，3.5就是手机上被typec置换下去的耳机接口了，6.3的就是大音响上比较常见的..
更多市以上行政区划去掉后缀
今天才知道，中国一共333个市一级行政单位。数据来源是 民政部首页 ➡ 民政数据 import re def short_name(name): m = re.search(r''' (\S+?) (?: 壮族|回族|维吾尔|省|自治区|特别| # 省 (?:侗|傈僳|傣|哈尼|回|土家|壮|布依|彝|景颇|朝鲜|白|羌|苗|藏)族| 蒙古|柯尔克孜|哈萨克| 地区|市|盟|自治州|自治县 ).*$ ''', name, re.VERBOSE) if m: return m.group(1) return nam..
更多