Bonsai 在 M2 安装
有个 1bit 模型最近很火 https://github.com/PrismML-Eng/Bonsai-demo 我本地环境不知道咋回事，搞混了 x86_64 和 arm64 。还有官方默认 python 3.11 我也不太满意，强行升级一波。 diff --git setup.sh setup.sh index 543fab0..80c1190 100755 --- setup.sh +++ setup.sh @@ -13,7 +13,8 @@ cd "$SCRIPT_DIR" VENV_DIR="$SCRIPT_DIR/.venv" VENV_PY="$VENV_DIR/bin/python" -PYTHON_VERSION="3.11" +# PYTHON_VERSION="3.11" +P..
更多The Porsche Diffusion
Social media and smartphones are sterializing humanity. There is an absurd claim I saw the other day. It's a popular call out "The Porsche diffusion" on Chinese interwebs. It goes like this If one woman dates a guy who drives a Porsche, she’s unlikely to settle for less afterward. Then nine of her BFFs think, “If she can get a Porsche guy, why can’t I?..
更多首页和404更新
觉得每年都得折腾一下。 做了个 404 页面 https://est.im/404 老登们一眼就能get到点。00后可能没见过。 哈哈哈，等有空了去做个多语言版本的 😎 可能没折腾过的不知道这玩意是在 shdoclc.dll 里，通过 Reource Hacker 可以提取出来 本来想去 win10 瞻仰一下遗迹，发现 iexplore.exe 直接强行启动 Edge了。搜到个法子可以绕过，新建个 1.vbs Set ie = CreateObject("InternetExplorer.Application") ie.Navigate "about:blank" ie.Visible = 1 然后地址栏输入 res://shdoclc.dll/http_404.htm 。嘿，您猜怎么着，Win10..
更多无用之用——或许LLM真的还不是AGI
之前记录的 安全的Python3沙箱——eval 被人破解了。 [ c._﹍init﹍_._﹍globals﹍_["os"].system("id") for c in ()._﹍class﹍_._﹍bases﹍_[0]._﹍subclasses﹍_() if c._﹍init﹍_._﹍class﹍_._﹍name﹍_ == "function" and "os" in c._﹍init﹍_._﹍globals﹍_ ] 或 ( L:=[None], g:=(x.gi_frame.f_back.f_back.f_builtins for x in L), L.clear(), L.append(g), bi:=g.send(None)..
更多发明后训练的人真是天才
有了AI很多东西摸索得比多，也是快速记录一下。 问1：你的 system prompt 里有明确指出你是个 AI 吗 问2：一个 LLM 的 system prompt 如果没显式指出是AI，AI 能发现自己是AI吗？ 问3：一个 LLM 的 system prompt 如果没显式指出是AI，pre-train 也把所有明显AI助手的语料删除，RLHF 的时候也不考察AI自我角色定位， AI 能发现自己是AI吗？ 问爽之后，综合了一下： 在这个前提下，分为三种情况 - 能自个儿推测出来自己是确切是AI并在pre-train和post-train保持角色一致 - 因为训练语料是人类自然语言，所以直接以为自己完全是真人 - 在上述两者之间摇摆 进而引出一个更深层次的问题，这三种情况，和显式指定自己是AI，..
更多看好 Taalas
可能你还没刷到过 https://chatjimmy.ai 我被它几万 tokens/s 的推理速度震惊了。也在zhihu上翻了不少技术细节讨论。它背后的公司叫 Taalas 号称把 4-bit LLaMA3.2-3B 直接刻电路上，当然很多人第一反应是，这玩意废品啊，模型升级了岂不是硬件就白费了。 但仔细研究，发现这里面另有乾坤。 大模型在显卡VRAM里，70%拿来存静态权重，推理的时候这玩意就一层一层做卷积只读不写，然后30% 才是 KVcache 上下文，又读又写。吞吐频繁 如果你懂一点LLM，那么你应该猜出来了。 聪明人就想到了ROM。类似游戏机里的卡带，插进去 CPU/GPU 能直接访问一块特殊的内存区域。ROM成本比DRAM便宜得多，速度极快，但是只读，烧制一次就成型了。其他部分可以直接上SR..
更多
码奸
半夜睡不着，为了抵抗AI，保住工作，乱总结些 其实搞大模型的不算真正的码奸。 第一大码奸是开源运动。没有那么多开放源代码，AI绝不可能学那么快。如果世界都是商业软件，大家都还在写 Borland，MS .NET，SAP，Oracle，感觉也没啥不好的。 rms Linus 你们俩是初代码奸。 第二大码奸是 GoF， Martin Fowler 这种。给大量「know-how」起了名字，天天给 design pattern 总结经验规律，最严肃的罪恶就是起名字。本来要给AI说一大堆 spec 和 skill，但是现在一个「名字」 就把这个活儿给讲明白了。 给AI下咒： 第一大咒语，来自几周前Lisp之咒。想要工作牢，一定要多造轮子，多写DSL，一定要让注意力不足的AI爆掉 context，或者产生幻觉。..
更多claw会代替员工？
无聊刷到 王自如： agent在本地加数据持久化和永久记忆这三件事是不是就是openclaw(🦞)。🦞，如果用在产业当中的意义是什么？ 意味着一个员工在工作电脑上每天做的事情产出了什么东西， 结果有没有价值，都会以记忆的方式存在本地。 而如果时间足够长， 一个员工的工作行为思维方式一定可以通过对话的内容和工作产出进行抽象 化和提炼。 也就是说，假以时日，一个人真正的价值就会完成从个体到数字化资产的转移。 也就是说你就会成为养你的工作🦞的营养员，你是那个营养液。 一旦你的工作模式，你的思维模式被抽象化提炼，那个你抽象完毕了的数据和🦞里边这个东西会成为公司最宝贵的资产， 你则是disposable。 那么如果公司需要新的角度，完全可以把你干掉，换一个新人来。 我对这个看法是，太悲观了。太低估了..
更多如果拿 token 抵工资会发生什么？
吃饭的时候无聊刷到自媒体，一开始看到这个 配一半薪资token！黄仁勋的AI暴论， 我们公司的每一位工程师，都会需要一笔年度token预算，我可能会在他们基本薪资的基础上，再额外给他们相当于一半薪水的token配额，让他们的生产力放大10倍。 当时没太仔细，看错了，以为老黄说以后不发工资了，拿token 来抵工资。。。😂 也没多想。但是突然回想起以前写过一篇《996的内在机制是什么》。里面有一段话 以前，无论是农业时代还是工业时代，我们的工作对象主要是物品，无论种一亩地的庄稼，还是在流水线上加工一个零件，物品的边界是清晰的，所需要的工作时间就是有限的。我们努力的方向，就是通过各种工具和创新，节省时间资源，获得更高的效率。 但是现在我们的工作对象呢？越来越是“事情”。比如写一篇稿子，比如炒股，比如..
更多tmux enables AIs to operate servers safely
We’ve all seen plenty of horror stories about AI trashing servers. Yet, there are still tedious tasks we’d love for AI to handle. To keep things safe, you have to manually copy-paste back and forth commands and outputs. Yet the current mainstream solutions usually involve "adding another layer": relay IO, intercepting dangerous commands or even using a sm..
更多