Making subprocess async friendly in Python
It's been a while since i wrote something in English, mostly because there's nothing really interesting, until now. Occasionally, when facing a long running task in Python, I would choose either a distrubuted tasks queue system, or for the convenience, just the subprocess module. It's built-in and well designed for grabbing outputs of a child process runn..
更多人声分离简单评测
娃要去表演唱歌，老师要求提供MTV。。 视频是这个，需要去掉人声部分 先用 ffmpeg 提音轨 ffmpeg -i v.mp4 -ac 1 1.mp3 微信小程序上的全是骗充值的，网上的服务： 没卵用 https://vocalremover.org/ 名气很大，搜出来第一就这个 没用 https://www.conversion-tool.com/karaoke/ 卡死 https://www.songpeel.com/song-to-karaoke 要安装 https://github.com/adefossez/demucs 要6G显存 https://github.com/Anjok07/ultimatevocalremovergui 效果很好！ https://tunebat.com/Vo..
更多吐槽pynsq，另外给subprocess糊了一个异步
pynsq太烂了 起初是因为需要在 Web API 里消费一个消息队列(nsq)，给浏览器返回 EventSource 做实时输出。但是没想到官方库pynsq居然写得这么渣： def _handle_term_signal(sig_num, frame): logging.getLogger(__name__).info( 'TERM Signal handler called with signal %r', sig_num) tornado.ioloop.IOLoop.current().stop() def run(): """ Starts any instantiated :class:`nsq.Reader` or :class:`nsq.Wr..
更多
多模态-ViLT
最近面试了一北京候选者，之前使用电子病例以及CT图像两种模态信息，训练ViLT多模态预测模型，提高肺结节良恶性预测准确率。正好我对多模态如何对齐也比较感兴趣，以Transformers-Tutorials提供的代码为例，来看下其内部是如何实现的。数据集我没有从VQA下载，太大了，这里也强烈安利huggingface提供的lmms-lab/VQAv2 dataset。 剩下就改下VQADataset部分，其他保持不变。 这里记录比较有趣的几个点。 1. text和image如何对齐？答案：在第二维对齐。 具体来说，text部分使用的是BertTokenizer,max_position为40（所以如果有长文本，这里就坑了），假设batch_size为4,text embedding出来后就是(4, 40, ..
更多SHAP机器学习模型解释
介绍分享个模型可解释的库SHAP，其可以对XGBoost等机器学习库进行结果解释。 更多还有类似Paddle中的TrustAI。 什么是SHAP？SHAP（SHapley Additive exPlanations）是用来解释机器学习模型的工具。它告诉我们每个特征对模型预测结果的贡献有多大。想象一下你和几个朋友一起干活，最后得到了一笔报酬。你想知道每个人应该分多少钱，SHAP就是在做类似的事情，只不过它是在告诉你每个特征对模型预测结果的贡献。 核心概念1. Shapley值： 想象一个团队在完成任务后得到一笔奖金，我们想公平地分配这笔奖金。Shapley值就是一种分配方法，告诉我们每个成员（在机器学习中是每个特征）应得的报酬（对预测结果的贡献）。 2. 边际贡献： 假设我们在玩一个游戏，每次加入一..
更多
BLHeliSuite32逆向（五）
Foreword BLH在停止维护以后给厂商给出了离线版本，离线版本不兼容之前的上位机了，再次破解看一下具体是哪里出现了异同 参考流程 由于有之前的流程，所以这里直接参考 actReadSetupExecute 按键act DoBtnReadSetup 按键具体操作 ReadSetupAll 读取配置信息 ReadDeviceSetupSection 这里是操作去读 Send_cmd_DeviceReadBLHeliSetupSection 发送读取命令，执行后就拿到了256字节 ReadSetupFromBinString 这里就是关键，解析读上来的字符串，然后赋值给了BLHeli的各个参数 TBLHeli.Init 参数存储的对象初始化 BLHe..
更多如何删除 C:\Windows\WinSxS 文件
天气热得心慌，看Win10不爽，决定删几个文件玩玩 首先你需要以 SYSTEM 用户启动 cmd.exe Win+R 敲入： "\\live.sysinternals.com@SSL\DavWWWRoot\tools\PsExec.exe" -i -s cmd.exe 回车。确认当前身份敲入 whoami 夺权：takeown /F "C:\Windows\WinSxS\Backup" /A /R /D Y 授权：cacls "C:\Windows\WinSxS\Backup" /T /G SYSTEM:F /C 开删：rd /s /q "C:\Windows\WinSxS\Backup" 爽！ 当然，你也可以让系统代替你清理： Dism.exe /online /Cleanup-Image /Sta..
更多
chromium/libcef.dll真是毒瘤
先说@MicrosoftEdge 这他妈存3份，吃饱了？ 再说Epic Games 还能搞6份？真无语了。然后 icudtl.dat 以及 ICU 这一坨也是。
更多从 Leanote 迁移到 Obsidian
差不多积累了10年的笔记，因为软件开发商跑路去做 2B 了，这玩意也没人维护了。换 Obsidian Leanote 不支持导出 .md 但是它自己的格式就是 json，转换一下很简单。 把一个目录下的笔记批量导出为 Leanote 格式，比如导出到 /tmp/folder1 执行Python代码 import json dir = '/tmp/folder1' for n in os.listdir(dir): if not n.endswith('.leanote'): continue with open(f"{dir}{n.replace('.leanote', '.md')}", "w") as f2, open(dir+n) as f1: f2..
更多
Abiotic Factor开服指南
Foreword Abiotic Factor 最近也很火，类似僵尸毁灭工程的一个游戏，但是剧情比僵毁要完整，有一定的解密性，同时配合探索、生存、战斗元素，有点意思 Abiotic Factor 非生物因子 https://store.steampowered.com/app/427410/Abiotic_Factor/ 服务器要求是windows，通过steamcmd 安装 下载安装游戏服务器 steamcmd +login anonymous +app_update 2857200 +quit 建议存储成bat脚本，更新也是通过这种方式 部署 服务器程序目录 steamcmd\steamapps\common\Abiotic Factor Dedicated Ser..
更多