BLCL的博客小馆

归档 · 2025binance币安理财存U年化收益40% !!牛市躺着就是收钱,闲置资金记得放理财!立即注册立享收益!!

首页

关于

归档

loading..
Python爬虫Scrapy

一日一技:Scrapy如何发起假请求?

摄影:产品经理韩国章肥虾。在使用Scrapy的时候,我们可以通过在pipelines.py里面定义一些数据处理流程,让爬虫在爬到数据以后,先处理数据再储存。这本来是一个很好的功能,但容易被一些垃圾程序员拿来乱用。我看到过一些Scrapy爬虫项目,它的代码是这样写的:1234567891011...def start_requests(self): yield scrapy.Request('https://baidu.com')def parse(self, response): import pymongo handler = pymongo.MongoClient().xxdb.yycol rows = handler.find() for row in rows: ..

更多
loading..
CarSu7 UltraRace

Su7 Ultra下赛道

Foreword 记录一下Su7 Ultra下赛道的准备,还有一些难找的信息、科普内容都汇总到一起了 安全 头盔 赛车头盔有下面一些品牌: Xquip,好像是唯一的国产品牌,入门型号FF-S4,FIA认证大概要2700左右,SA2020认证只用1700 OMP,优点是视野大,入门型号GP-R,2900左右 Aria,优点是帅,其实感觉好像差不多,入门型号GP6S,3400左右 SPARCO,入门型号W01,3000左右,碳纤维版5500,好便宜 Bell,高端牌子,入门型号GP3,4600左右,经典型号RS7,5500多,碳纤维版9700多, Stilo,好像最便宜都5300,主打..

更多
loading..
Renode

Renode仿真STM32H7

Foreword 之前做了QEMU模拟运行FreeRTOS,模拟STM32,但是毕竟不是官方QEMU,对于嵌入式这边的芯片或者设备模拟还是差一点。 https://www.qemu.org/docs/master/system/arm/stm32.html Renode比较知名的就是用来模拟物联网设备,这种设备往往都弱一些,MCU这种比较多。 具体关于这两个说法有很多,谁更合适还是要实际用一用,体验一下才行 Renode https://renode.io/ https://github.com/renode/renode Renode 的指令模拟器使用 C 语言编写,外设模拟器使用 C# 语言编写,兼顾了运行效率和开发效率. Windows下直接安装即可,启动以..

更多
loading..

利用 Grafana 监控 RouterOS 运行状态

乱翻收藏夹的时候发现我还有个免费的 Grafana Cloud,遂想着把我这些自建的东西都用它监控起来,反正不用白不用。那么第一个就拿我的 RouterOS 软路由开刀吧。 环境 Mikrotik CHR 7.12 Grafana Cloud - Cloud Free 订阅 Prometheus 2.37 mktxp CloudFlare Tunnel,如果你像我一样把 Prometheus 部署在家宽的话 在 RouterOS 系统创建组和用户毕竟还是用第三方工具登陆路由器,还是遵循最小权限原则,给 mktxp 创建一个只包含必要的权限的账号比较好。 12/user/group add name=prometheus policy=read,api/user add name=promethe..

更多
loading..
GPUAI

GPU相关常识

Foreword GPU相关一些基础建设的常识 GPU CPU NPU TPU TPU,张量处理单元,主要是进行矩阵乘法计算 NPU,其实类似TPU,但是他是一种定制的计算规则,比如矩阵先乘后加,先加后乘,或者是更复杂的乘加乘加等等,相当于是定制化的计算单元,他是有适用的局限性的。如果专门为某个算法而生,那么这个算法就能吃满硬件加速,远超CPU或者TPU等其他方式实现的计算速率。 GPU,主攻并行计算,常常需要CPU指挥,广义上GPU是包含了TPU、NPU的,所以主力是强大的专业算力。 CPU,主攻逻辑运算,广义上CPU是可能会包含NPU和TPU,GPU的,但是多而不精,遇到一些专业问题,还是得专业的来搞。 但是,其实现在GPU的广义定义可能又发生改变了,英伟达新系列已经把一个小CPU作为协..

更多
stdout

A single Python function for both async/sync

Scenario: I often need to write Python functions like: take some parameters and format them call an API with the formatted parameters parse the result and return chosen values There's a huge problem in step #2. In today's Python world, troubles arise because async/await are "infectious", In practice this function is splitted - like in Python stdlib, whe..

更多
loading..
Cursor

Cursor使用技巧,配置详解

Foreword Cursor配置详解 关键点还是写在前面,如果你是个新手,Cursor可以帮你快速达到一个熟手的水平,但是要再提高,还是需要你自己去深入代码,深入设计本身,Cursor只能把你拉到一般水平,专业的事情,还是要专业的人来做。 Cursor 收费 Cursor免费版本,可以有半个月的试用,你可以去体验,对比一下,看是不是符合你的习惯;我们默认给配的都是Pro版本,Bussiness版本和Pro一样,只是多了一些审计的功能,没必要,企业版需要250+人才有资格谈 https://www.cursor.com/cn/settings 正常来说我们用的Pro版本,每月都有500次高级模型的请求次数,gpt-4o-mini这种小模型有不限次数的请求,建议用高级模型,一般..

更多
loading..
AISDComfyUIuv

SD ComfyUI部署

Foreword 顺便把SD ComfyUI搭建一下 ComfyUI https://github.com/comfyanonymous/ComfyUI 部署 安装环境 最好先安一下python 3.12的环境, ComfyUI的一些老库可能运行不了 uv python install 3.12 uv venv source .venv/bin/activate uv python pin 3.12 拉取ComfyUI源码 git clone https://github.com/comfyanonymous/ComfyUI.git git checkout v0.3.33 安装CUDA wget https://developer.download.nvidia.com..

更多
loading..
Python

一日一技:如何正确解析超大JSON列表

摄影:产品经理回锅肉当我们采购数据集时,有时候供应商会以JSON Lines的形式交付给我们。这种格式,本质上是文本格式,它每一行是一个JSON。例如,供应商给我们了一个文件小红书全量笔记.json文件,我们可以使用如下Python代码来一行一行读取:123456import jsonwith open('小红书全量笔记.json') as f: for line in f: info = json.loads(line) note = info['note'] print('笔记内容为:', note)这个格式的好处在于,每一次只需要把少量内容读取到内存中。即便这个文件有1TB,我们也可以使用一个4GB内存的电脑来处理。今天出了一个乌龙事件,某数据供应商在..

更多