多模态-ViLT
最近面试了一北京候选者，之前使用电子病例以及CT图像两种模态信息，训练ViLT多模态预测模型，提高肺结节良恶性预测准确率。正好我对多模态如何对齐也比较感兴趣，以Transformers-Tutorials提供的代码为例，来看下其内部是如何实现的。数据集我没有从VQA下载，太大了，这里也强烈安利huggingface提供的lmms-lab/VQAv2 dataset。 剩下就改下VQADataset部分，其他保持不变。 这里记录比较有趣的几个点。 1. text和image如何对齐？答案：在第二维对齐。 具体来说，text部分使用的是BertTokenizer,max_position为40（所以如果有长文本，这里就坑了），假设batch_size为4,text embedding出来后就是(4, 40, ..
更多SHAP机器学习模型解释
介绍分享个模型可解释的库SHAP，其可以对XGBoost等机器学习库进行结果解释。 更多还有类似Paddle中的TrustAI。 什么是SHAP？SHAP（SHapley Additive exPlanations）是用来解释机器学习模型的工具。它告诉我们每个特征对模型预测结果的贡献有多大。想象一下你和几个朋友一起干活，最后得到了一笔报酬。你想知道每个人应该分多少钱，SHAP就是在做类似的事情，只不过它是在告诉你每个特征对模型预测结果的贡献。 核心概念1. Shapley值： 想象一个团队在完成任务后得到一笔奖金，我们想公平地分配这笔奖金。Shapley值就是一种分配方法，告诉我们每个成员（在机器学习中是每个特征）应得的报酬（对预测结果的贡献）。 2. 边际贡献： 假设我们在玩一个游戏，每次加入一..
更多ffmpeg笔记
合并一个文件夹内的所有视频12345find *.mp4 | sed 's:\ :\\\ :g'| sed 's/^/file /' > fl.txtffmpeg -f concat -i fl.txt -c copy output.mp4// 忽略错误信息ffmpeg -safe 0 -f concat -i fl.txt -c copy output.mp4rm fl.txt参考资源视频压缩123456// 视频使用h.264编码，声音使用aac编码ffmpeg -i input.mp4 -vcodec h264 -acodec aac output.mp4// 视频使用h.265编码，压缩到更小文档ffmpeg -i input.mp4 -vcodec libx265 -crf 28 outp..
更多
BLHeliSuite32逆向（五）
Foreword BLH在停止维护以后给厂商给出了离线版本，离线版本不兼容之前的上位机了，再次破解看一下具体是哪里出现了异同 参考流程 由于有之前的流程，所以这里直接参考 actReadSetupExecute 按键act DoBtnReadSetup 按键具体操作 ReadSetupAll 读取配置信息 ReadDeviceSetupSection 这里是操作去读 Send_cmd_DeviceReadBLHeliSetupSection 发送读取命令，执行后就拿到了256字节 ReadSetupFromBinString 这里就是关键，解析读上来的字符串，然后赋值给了BLHeli的各个参数 TBLHeli.Init 参数存储的对象初始化 BLHe..
更多如何删除 C:\Windows\WinSxS 文件
天气热得心慌，看Win10不爽，决定删几个文件玩玩 首先你需要以 SYSTEM 用户启动 cmd.exe Win+R 敲入： "\\live.sysinternals.com@SSL\DavWWWRoot\tools\PsExec.exe" -i -s cmd.exe 回车。确认当前身份敲入 whoami 夺权：takeown /F "C:\Windows\WinSxS\Backup" /A /R /D Y 授权：cacls "C:\Windows\WinSxS\Backup" /T /G SYSTEM:F /C 开删：rd /s /q "C:\Windows\WinSxS\Backup" 爽！ 当然，你也可以让系统代替你清理： Dism.exe /online /Cleanup-Image /Sta..
更多
chromium/libcef.dll真是毒瘤
先说@MicrosoftEdge 这他妈存3份，吃饱了？ 再说Epic Games 还能搞6份？真无语了。然后 icudtl.dat 以及 ICU 这一坨也是。
更多从 Leanote 迁移到 Obsidian
差不多积累了10年的笔记，因为软件开发商跑路去做 2B 了，这玩意也没人维护了。换 Obsidian Leanote 不支持导出 .md 但是它自己的格式就是 json，转换一下很简单。 把一个目录下的笔记批量导出为 Leanote 格式，比如导出到 /tmp/folder1 执行Python代码 import json dir = '/tmp/folder1' for n in os.listdir(dir): if not n.endswith('.leanote'): continue with open(f"{dir}{n.replace('.leanote', '.md')}", "w") as f2, open(dir+n) as f1: f2..
更多
Abiotic Factor开服指南
Foreword Abiotic Factor 最近也很火，类似僵尸毁灭工程的一个游戏，但是剧情比僵毁要完整，有一定的解密性，同时配合探索、生存、战斗元素，有点意思 Abiotic Factor 非生物因子 https://store.steampowered.com/app/427410/Abiotic_Factor/ 服务器要求是windows，通过steamcmd 安装 下载安装游戏服务器 steamcmd +login anonymous +app_update 2857200 +quit 建议存储成bat脚本，更新也是通过这种方式 部署 服务器程序目录 steamcmd\steamapps\common\Abiotic Factor Dedicated Ser..
更多
由于制裁，BLHeli停止开发，所有ESC产品停止支持
Foreword 前段时间刚参加完无人机展会，各种为战争服务的无人机，百花齐放，热闹程度远超前几年，没想到刚转头，无人机行业就又被打击了 BLHeli被制裁 简单说由于BLHeli广泛被无人机使用，搭载BLH的ESC并不能确定最终用途，所以整个BLH数据被禁止出口，包括BLH自身收款的银行都受到了影响，所以BLH停止开发和维护了。 实际上BLH是先停止，然后才发出来相关公告 BLH大概在无人机市场里占90%，一个无人机就至少要搭载4个BLH电调，全世界大部分电调厂商都在国内，每年出货量大概几百上千万，BLH认可度之高，远超想象。 最初BLH大概是在2013年上线的，一上线就开源，其优异的性能和相对低廉的价格，一下就爆火了。而BLH初代还是8bit的单片机，成本低，性能也相对弱一些，..
更多
一日一技：如何找到Github用户的邮箱？
我经常逛Github Trend，看看每天有没有什么高级的开源项目出来。有时候发现一个项目非常好，想跟开发者交流。一般情况下，开发者会在Github主页留下自己的联系邮箱，如下图所示，这是我的Github个人主页：但有的开发者却不会留邮箱，如下图所示：这种情况下，怎么联系上这个开发者呢？你可以直接发Issue，但是这样其他人就能看到你发的消息。其实还有一个更简单隐蔽的方法，可以直接拿到这个开发者的邮箱。首先，在这个开发者的Repo中，随便找一条Commit记录，如下图所示：这个Commit对应的URL是：https://github.com/didi/xiaoju-survey/commit/3dc15aeb688f04dfdf69f0f46b0f66902303f92d。现在，只需要在这个URL的末尾加..
更多