自建实体服务器
Foreword 打算自建服务器，完成一些内部的测试和使用，有些东西也需要内部验证，一些管理软件也都需要一个内部平台。 硬件选型 成本考虑，1手最新服务器买不起，所以上个老服务器，能用就行了，水平其实差不多的。 机柜 Dell R7525 CPU 7H12*2 内存 64G*12 硬盘 7.68T*1 阵列卡H745卡 电源 双电2400w 价格26760 不含税 系统虚拟化 有了硬件基础以后，还需要一个好用的系统方便做虚拟化，想折腾就上PVE，想稳定就用ESXi PVE PVE，全称Proxmox Virtual Environment，虚拟机内核是KVM，主要还是Linux系统，扩展能力很强，对应要求操作的人也很高 ESXi ESXi是VMWare旗下..
更多
Spark create function 逻辑
问题来源函数注册成功, 但是在调用的时候提示无法加载对应的类.结论spark 创建函数的时候并不会直接去加载对应的资源/类, 只有在使用时才会加载对应的资源和类, 因此创建成功并不能代表能正常使用hive 创建函数的时候会去加载对应的类, 所以创建成功即代表可用spark-sql 测试create temp func 和 create func 的区别12CREATE [ OR REPLACE ] [ TEMPORARY ] FUNCTION [ IF NOT EXISTS ] function_name AS class_name [ resource_locations ]从语法上都是, 创建一个自定义函数, 只是前者注册的是临时函数, 只在当前 Session 有效. 后者注册的函数是永久函数..
更多浏览器拉起钉钉客户端并跳转OA工单
又是 corporate software engineering 吃屎的一天。用户在内部系统走流程，厂里用的是钉钉自带的OA工单审批。已经接入了API创建、完成工单 问题在于发起工单之后，用户并没有感知，不知道工单去哪里了，流程就断了，向钉钉官方售后发起咨询，对方丢了一句：不支持。无语 只能自己鼓捣。已知工单链接，在钉钉聊天窗口内部的最短的网址为： https://aflow.dingtalk.com/dingtalk/mobile/homepage.htm?corpid=...&procInstId=...#approval 对方丢了一个 dingtalk:// 跳转协议 反复尝试，发现一个很有用： 桌面端打开URL dingtalk://dingtalkclient/page/li..
更多安装并使用zsh
首先我们安装zsh，并切换默认的shell为zsh，之后重启进入zshsudo apt-get install zshchsh -s /bin/zshsudo shutdown -r now之后我们安装oh-my-zsh，因为网络的原因所以设置了代理wget -e https_proxy=192.168.65.100:7890 https://raw.github.com/ohmyzsh/ohmyzsh/master/tools/install.shchmod +x install.sh./install.sh然后再安装zsh命令自动补全插件zsh-autosuggestionsgit clone https://github.com/zsh-users/zsh-autosuggestions ${ZSH..
更多SVG放在 img 中不能加载图片/字体
最近想在 markdown 里搞图文混排，遇到一个大图把版面占完了，想缩小一些，由于 .md 渲染器安全限制，没法直接指定宽高 只能从图片本身想办法，首先最直接的手段就是服务器再缩放一次，但是蛋痛的问题是缩放之后文件怎么存，怎么给静态文件路由，怎么保障图片可用性，怎么兼容各种尺寸，想想都头大。 想到一个 hack，要不直接放一个 .svg 进去，因为 svg 支持加载位图资源，所以把 svg 位图缩小一点，让浏览器渲染 svg 不就行了。 没想到就被这个 hack 坑了。原因是 svg 如果被 <img> 标签渲染，那么禁止加载任何外部资源，脚本也禁止执行。 为了证明这个限制，我写了个 demo 放在 https://lab.est.im/shit_svg/ 这个问题太隐蔽了。stackove..
更多
一日一技：Requests被网站识别怎么办？
现在有很多网站，已经能够通过JA3或者其他指纹信息，来识别你的请求是不是Requests发起的。这种情况下，你无论怎么改Headers还是代理，都没有任何意义。我之前写过一篇文章：Python如何突破JA3，但方法非常复杂，很多初学者表示上手有难度。那么今天我来一个更简单的方法，只需要修改两行代码。并且不仅能过JA3，还能过Akamai。先来看一段代码：123456789101112131415161718192021import requests headers = { 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/s..
更多
My nvim config in 2023
Start 在去年我曾经写过一篇 2022 年的 nvim 配置方案的博文，那篇文章实际上是本博客访问量最高的，随着时间来到了 2023 年的下半年，nvim 社区也有了新的变化，而随着 packer 插件管理器正式宣布放弃维护，我也不得不投身到了 lazy 的怀抱，然后说一句，真香！ 简单统计了下我使用的插件数量，不知不觉间也来到了 60+，在插件选择，配置上也有了更多自己的想法，增删并定制了特性， 根据我平时编码时的习惯，常用的开发语言做了针对性的优化和设置，在这里分享出来供各位参考。 组织良好的配置目录 针对 HHKB 键盘的优化 手动 LS（language server) 管理 采用 nord 作为统一的颜色风格 便于扩展 话不多说，本文的内容如果对你有启发的话，那就最好不过了！仓库地址在文..
更多
APISIX的使用
APISIX是一款基于Openresty的动态、实时、高性能API网关，它提供了负载均衡、服务熔断等丰富的功能。安装服务在https://github.com/apache/apisix-docker中提供了很多很便利的docker配置，可以很方便的启动APISIX的相关服务。~ git clone git@github.com:apache/apisix-docker.git~ cd apisix-docker/example/~ docker-compose upStarting example_etcd_1 ... doneStarting example_grafana_1 ... doneStarting example_apisix-dashboard..
更多
多模态-CLIP
问题多模态如何做融合，本文是对CLIP模型理解做个记录。 前提目前业界有中文开源版本的，例如Chinese-CLIP以及IDEA/Fengshenbang-LM太乙系列，本文采用Chinese-CLIP来梳理其流程。 数据集采用wukong-dataset，预训练模型使用chinese-clip-vit-base-patch16来进行实验。 流程1. 文本处理1234567891011121314import pandas as pdimport torchfrom PIL import Imagefrom datasets import Datasetfrom transformers import ChineseCLIPProcessor, ChineseCLIPModel, Trainer, Tra..
更多
RouterOS配置GRE和OSPF
Foreword ZeroTier还是有点问题，莫名其妙会掉线，掉了以后还不会自动重连，还得要手动关闭再开启。 尝试一下GRE+OSPF的连接方式 掉线的问题，怀疑类似这里，但是掉线只有一端掉，另外一端完全没问题 https://forum.mikrotik.com/viewtopic.php?t=184817 GRE 通用路由封装(GRE) 是一种协议，用于将使用一个路由协议的数据包封装在另一协议的数据包中。“封装”是指将一个数据包包装在另一个数据包中，就像将一个盒子放在另一个盒子中一样。GRE 是在网络上建立直接点对点连接的一种方法，目的是简化单独网络之间的连接。它适用于各种网络层协议。 运行Novell IPX协议的两个子网Group 1和Group 2分别在不同的城市，通..
更多