一日一技：2秒抓取网页并转换为markdown
在《一日一技：自动提取任意信息的通用爬虫》这篇文章中，我提到可以通过大模型从网页内容里面提取结构化信息。为了节省Token，文章里面我直接提取了页面上的所有文本。这种方式需要自己写代码来过滤HTML中的垃圾标签。并且提取出来的文本可能会混在一起。虽然大模型在很大程度上不会受到标点符号的影响。但如果有办法把网页直接转换为Markdown的话，大模型在解析时就能更加准确。现在，你不需要写任何代码就可以实现这个目标！假设我们需要抓取我的这篇知乎专栏文章：小问题，大隐患：如何正确设置 Python 项目的入口文件？。我们知道知乎是有反爬虫的，直接抓取并不容易。怎么样在2秒内抓取这篇文章，并转换为Markdown呢？非常简单，你只需要在url前面加上https://r.jina.ai/并回车就可以了。完整的URL变..
更多多人游戏网络技术基础
前言很久不更新Blog了，是自己懈怠了很多，所以在思考了一下之后明白，我需要继续加强学习 加入ubisoft之后其实也没做什么值得称道的事儿 只是一个基础的开发人员，不过工作当中有一些可以被记录和梳理的地方 我也会更新到Blog当中 我会把学习捡起来的，我会的。 开发多人游戏需要了解的概念首先，开发多人游戏会涉及到非常多的网络概念和机制，所以这里会梳理所有相关的网络机制 梳理这些的原因，是将知识进一步拆分，免得掉入庞大的知识深渊，也可以帮助我们去定点学习 在梳理完这些知识之后，我会根据每个技术单独写Blog（虽然已经开了很多坑了） Server 和 Client这个其实比较简单，因为无论是游戏，还是普通的web开发，或者是基础的网络操作，都离不开server和client Server游戏的服务器，存储所..
更多
Nintendo Switch 软破解，变安卓TV
Foreword 隔6年，打算把老Switch破解了，软破，既可以当正版完，又能在平时切换成电视主机，方便用来串流或者使用一些不受限的APP。主要受Nvidia Shield Pro 2019影响，这么个老设备都可以在电视领域虐杀一片，Switch作为老大哥，性能解禁，秒杀其他的应该不是问题 软破 软破的好处是不需要拆机，很简单就可以操作 达到的效果也很好，可以选择启动正版、大气层（盗版）、安卓系统、ubuntu等等，后续怎么玩就取决于自己了，而且关键是这并不会影响正版的所有内容，正版该怎么玩还是怎么玩 可破区分 Switch有软破硬破，18年6月前的机器基本都可以软破，就是不需要任何焊接或者拆机就能完成注入破解，而且平常可以双系统，不影响正版使用。 软破常用的识别图，不过不是很准确，可..
更多Nintendo Switch 软破解
Foreword 隔6年，打算把老Switch破解了，软破，既可以当正版完，又能在平时切换成电视主机，方便用来串流或者使用一些不受限的APP。主要受Nvidia Shield Pro 2019影响，这么个老设备都可以在电视领域虐杀一片，Switch作为老大哥，性能解禁，秒杀其他的应该不是问题 软破 可破区分 Switch有软破硬破，18年6月前的机器基本都可以软破，就是不需要任何焊接或者拆机就能完成注入破解，而且平常可以双系统，不影响正版使用。 软破常用的识别图，不过不是很准确，可以用下面的地址查询一下 https://damota.me/ssnc/checker/ 输入序列号就行了，我这个1002开头的比较特殊，一部分机器是较晚生产的，所以他们不能破解，一部分是比较早生产的所以..
更多RouterOS WifiWave2 配置CAPsMAN
Foreword RouterOS的CAPsMAN一直非常难用，要配置的东西很多，自从RouterOS 开始搞Wave2，CAPsMAN就分化成了2种，就变得更难用了。 从RouterOS 7.13开始，总算是支持同时存在2种CAPsMAN了，一种老的WIFI4、WIFI5，另外一种WIFI5 Wave2和WIFI6 CAPsMAN配置 CAPsMAN的好处是任何Mikrotik的设备都可以作为AC使用，Wave2的设备必须要安装Wave2的包才能使用，否则只支持Wifi5的老设备，也就是Wave1 AC端/CAPsMAN端 CAPsMAN端配置比较复杂，他需要下发配置文件，所以所有Wifi的配置都需要在这里进行设置 #create a security profile /interface..
更多
一日一技：在macOS上查看任意软件的调试信息
如果你使用macOS，想看上面某个软件使用什么技术开发的。那么你可以使用这个方法。它对普通人来说可能没什么用。如果你本来就做macOS软件开发，那么这个方法可能会很有用。首先，我们知道macOS上面，安装的软件一般都放在/Applications/或者~/Applications文件夹里面。这里我以阿里网盘为例。在软件图标上面右键，然后按住键盘上的Option键，就会出现一个复制路径的选项将"阿里云盘"拷贝为路径名称。这样就能复制文件路径了。然后，在终端粘贴，并补全路径:/Applications/aDrive.app/Contents/MacOS/再按一下Tab键，终端会自动给你补全可执行文件的名字，如下图所示：在这个路径后面，加一个空格，然后加上如下参数： -_NS_4445425547 YES。回车..
更多
easy-panel基于cockroachai的chatGPT plus多人分享
Foreword 由于前一个项目cws的依赖项目暴死，根基不存，这个项目也没办法正常使用了，他的作者又基于另外一个非开源的分享项目，二开了一个管理面板 https://github.com/chatpire/chatgpt-web-share cockroachai https://github.com/cockroachai/cockroachai cockroachai 最大的问题就是不开源，但是看到目前基于他分享站，还是非常多的 可以看到很多免费分享的地址，体验和原生一样 https://share.freegpts.org/ 安装 git clone https://github.com/cockroachai/cockroachai.git cd coc..
更多
LLM-RHLF工作原理一
前言大模型最近很是火啊，媒体铺天盖地的宣传，候选者简历中写到LLM微调等等。本文希望介绍下RHLF在整个训练工作中的位置以及起到的作用，方便理解与后续应用。 代码分析本文以huggingface trl/RHLF notebooks讲到的几个例子作为入口。在这个文件夹下，一共有三个例子： gpt2-sentiment.ipynb gpt2-sentiment-control.ipynb best_of_n.ipynb 同时也按照上述这三个文件顺序进行分析。 一、gpt2-sentiment.ipynb 目的：这个文件实现的是如何利用RHLF学会生成正向评论。 1. Load IMDB dataset数据集默认有两个字段，text 和label，即用户对一部电影的评论和这条评论的情感倾向（正向、..
更多
一日一技：setup.py里面的两个小技巧
当你要自己发布一个Python包时，下面这两个小技巧可能对你有用。pip安装后执行代码今天公众号粉丝群里面，有同学提问：这个同学自己开发了一个Python包，这个包在使用pip安装时，会产生一些临时文件。他希望安装完成以后，能够自动清理这些临时文件。要实现这个需求，可以使用Python自带的setuptools来实现。代码如下：12345678910111213141516171819202122import osfrom setuptools import setup, find_packagesfrom setuptools.command.install import installclass CustomInstallCommand(install): """自定义安装命令，执行标准安装后跟..
更多
Redmi小爱音响8刷机和安装第三方APP
Foreword Redmi小爱音响8原价400多买的，上了大当，APP有限，而且视频软件还是TV版本的，不知道是咋想的，这就做个Pad模式不好吗。还好有很多人魔改，把他变成一个电视系统的，甚至还有拿他打游戏的，这么大的身躯里承担了他本不应该承受的痛啊。 准备 主要安装两个驱动 https://github.com/daynix/UsbDk/releases/download/v1.00-22/UsbDk_1.0.22_x64.msi https://gsmclassic.com/download/driver/mtk/MediaTek_SP_Driver_v5.2307.zip 本文的所有软件我也一起同步到了我的仓库里，防止丢失 https://github.com/el..
更多