一日一技：不走常规路线，列表页1秒搞定
最近遇到一个需求，需要抓取Docusaurus上面的全部文档。如下图所示：抓文档的正文非常简单，使用GNE高级版，只要有URL直接就能抓取下来，如下图所示：但现在的问题是，我怎么获取到每一篇文档的URL？Docusaurus是一个文档框架，它的页面和目录都是JavaScript实时渲染的。当我们没有展开它的目录时，XPath只能提取到当前大标题的链接，如下图所示：当我们点开了某个大标题，让里面的小标题出现时，XPath能够提取的数据会随之变化，如下图所示：在这种情况下，我们经常使用的爬虫方案，都会遇到阻碍：直接使用Requests获取源代码——源代码里面没有每条目录的URL使用Selenium——直接执行XPath获取不完整。你需要控制Selenium依次点开每个小箭头，才能使用XPath获取到全部的UR..
更多
网站页面域名获取工具-Edge (2.1.4P)
简介用Python写了一个小工具，可以打开指定网站，抓取此网站的所有域名。 适合用来做分流和过滤。 要求系统要求 Windows 10 1809版本以上，要求64位系统。 要求安装最新的Edge浏览器。 使用说明： 打开后会让你设置操作时间。 点击抓取后，会打开一个浏览器窗口，此浏览器只存在60秒，且不要手动关闭。 期间可以浏览网站和登录网站等操作，60秒之后会把期间抓取的域名输出到上面，然后点击复制即可 注意：本机要使用最新Edge浏览器。下载地址：https://www.microsoft.com/zh-cn/edge/download 下载安装包：https://cowtransfer.com/s/cf4102d94afa42 传输口令 u12amg 压缩包：https://cowtran..
更多
一日一技：iOS抓包最简单方案
写过爬虫的同学都知道，当我们想对App或者小程序进行抓包时，最常用的工具是Charles、Fiddler或者MimtProxy。但这些软件用起来非常复杂。特别是当你花了一两个小时把这些软件搞定的时候，别人只用了15分钟就已经手动把需要的数据抄写完成了。我的需求如果你不是专业的爬虫开发者，那么大多数时候你的抓包需求都是很小的需求，手动操作也不是不能。这种时候，我们最需要的是一种简单快捷的，毫不费力的方法来解放双手。例如我最近在玩《塞尔达传说——王国之泪》，我有一个小需求，就是想找到防御力最大的帽子、衣服和裤子来混搭。这些数据，在一个叫做『Jump』的App上面全都有，如下图所示：防具总共也就几十个，肉眼一个一个看也没问题，就是费点时间而已。那么，如果我想高效一些，有没有什么简单办法通过抓包再加上Python..
更多
网站页面域名获取工具-Edge (2.0.6P)
简介用Python写了一个小工具，可以打开指定网站，抓取此网站的所有域名。 适合用来做分流和过滤。 要求系统要求 Windows 10 1809版本以上，要求64位系统。 要求安装最新的Edge浏览器。 使用说明： 点击抓取后，会打开一个浏览器窗口，此浏览器只存在60秒，且不要手动关闭。 期间可以浏览网站和登录网站等操作，60秒之后会把期间抓取的域名输出到上面，然后点击复制即可 注意：本机要使用最新Edge浏览器。下载地址：https://www.microsoft.com/zh-cn/edge/download 下载安装包：https://cowtransfer.com/s/2232e1fa0f6d43 传输口令 ckliqq 压缩包：https://cowtransfer.com/s/ce79..
更多Kafka 集成 Kerberos 认证
Kerberos 搭建Configuring GSSAPI | Confluent Documentation创建 KDChttps://github.com/gcavalcante8808/docker-krb5-server.gitmkdir kdc && cd kdcvim docker-compose.yml填入以下内容docker-compose up -d容器里面使用了 supervisor, 占用了 9001 端口, 可能会和 minio 产生冲突 推荐修改 supervisor 配置文件的端口. 共两处 docker cp krb5:/etc/supr*.conf .1234567891011121314151617181920212223version: '2.2's..
更多
Windows Server 2022 RDS配置授权激活服务
介绍远程桌面服务 (RDS) 是一个卓越的平台，可以生成虚拟化解决方案来满足每个最终客户的需求，包括交付独立的虚拟化应用程序、提供安全的移动和远程桌面访问，使最终用户能够从云运行其应用程序和桌面。 本文主要介绍了其RD 授权的激活方式，默认情况下只有120天试用期。 环境说明使用 Windows Server 2022 版本，并加入域控。使用域账号登录服务器。 并确认安装远程桌面授权角色，安装后重启。 开始激活在Windows 管理工具 > Remote Desktop Services > 打开远程桌面授权管理器 选择激活服务器> 下一步 确保服务器可以连接到互联网并正确配置DNS，默认自动连接即可，点击下一步。 填写姓名字、公司，选择地区。任意填写即可。点击下一步。..
更多
Sony-WF1000XM4降级指南
Foreword Sony-WF1000XM4之前升级到了2.0，没想到降噪真的降低了，人声听的清清楚楚，拉跨啊，和Apple Airpods Pro 比起来差远了，甚至最简单的空调声音都不能滤干净了。 无意间看到了一个降级帖子，没想到还挺多人用的，就来试试。 https://tieba.baidu.com/p/8348981777 MDR_Proxy https://github.com/lzghzr/MDR_Proxy 简单说耳机升级是通过APP升级的，要降级自然也是通过APP，不过这个APP已经被破解了，可以使用不安全地址来获取固件信息。 MDR_Proxy就是用来代理升级链接的。 先下载MDR_Proxy.zip和Headphones_9.4.0_unsafe.zi..
更多在py3里同步/异步混合使用 httpx 调用
比如开发需求是请求一个 http API，得到数据，解析一下返回，那么一般的做法是封装一个方法，比如 import httpx def get_sth(p1, default=MY_VAL): # network r = httpx.get(API_URL, params={'t1': p1}) # parsing res = r.json().get('my_key') or MY_VAL 但是如果想在 async/await 里用这段代码，就得改成 import httpx async def get_sth(p1, default=MY_VAL): # network with http.AsyncClient() as client: ..
更多再一次理解 C++ 中的 extern "C"
本文是“攻玉计划”的一部分，翻译自 https://stackoverflow.com/questions/1041866/what-is-the-effect-of-extern-c-in-c 中 Ciro Santilli 的回答通过反汇编了解 extern “C” 的作用main.cpp12345678910void f() {}void g();extern "C" { void ef() {} void eg();}/* Prevent g and eg from being optimized away. */void h() { g(); eg(); }将上述代码编译为 ELF 格式的二进制，然后反汇编：12g++ -c -std=c++11 -Wall -Wextra -ped..
更多
MikroTik ROS Winbox Ping工具DNS问题
介绍RouterOS是一个基于Linux内核的独立操作系统。它为MikroTik专用硬件设备提供支持，但也可用于虚拟机（CHR版本）。 本文介绍了一下，我在实际生产环境中遇到的一个问题，在国内使用WinBox远程国际上的ROS路由，去Ping谷歌，但返回的都是被污染的IP地址。 问题当使用WinBox方式远程连接ROS的时候，使用GUI的 Ping工具，其DNS解析是由本机的WinBox去调用本机系统网络去解析，所以可能导致DNS解析有问题。 比如在中国大陆被污染问题、可能获取的IP不是ROS离着最近的IP等。 解决方法使用Terminal 终端命令行下ping即可。 官方文档说明：https://help.mikrotik.com/docs/display/ROS/Ping ..
更多