发明后训练的人真是天才
有了AI很多东西摸索得比多，也是快速记录一下。 问1：你的 system prompt 里有明确指出你是个 AI 吗 问2：一个 LLM 的 system prompt 如果没显式指出是AI，AI 能发现自己是AI吗？ 问3：一个 LLM 的 system prompt 如果没显式指出是AI，pre-train 也把所有明显AI助手的语料删除，RLHF 的时候也不考察AI自我角色定位， AI 能发现自己是AI吗？ 问爽之后，综合了一下： 在这个前提下，分为三种情况 - 能自个儿推测出来自己是确切是AI并在pre-train和post-train保持角色一致 - 因为训练语料是人类自然语言，所以直接以为自己完全是真人 - 在上述两者之间摇摆 进而引出一个更深层次的问题，这三种情况，和显式指定自己是AI，..
更多看好 Taalas
可能你还没刷到过 https://chatjimmy.ai 我被它几万 tokens/s 的推理速度震惊了。也在zhihu上翻了不少技术细节讨论。它背后的公司叫 Taalas 号称把 4-bit LLaMA3.2-3B 直接刻电路上，当然很多人第一反应是，这玩意废品啊，模型升级了岂不是硬件就白费了。 但仔细研究，发现这里面另有乾坤。 大模型在显卡VRAM里，70%拿来存静态权重，推理的时候这玩意就一层一层做卷积只读不写，然后30% 才是 KVcache 上下文，又读又写。吞吐频繁 如果你懂一点LLM，那么你应该猜出来了。 聪明人就想到了ROM。类似游戏机里的卡带，插进去 CPU/GPU 能直接访问一块特殊的内存区域。ROM成本比DRAM便宜得多，速度极快，但是只读，烧制一次就成型了。其他部分可以直接上SR..
更多claw会代替员工？
无聊刷到 王自如： agent在本地加数据持久化和永久记忆这三件事是不是就是openclaw(🦞)。🦞，如果用在产业当中的意义是什么？ 意味着一个员工在工作电脑上每天做的事情产出了什么东西， 结果有没有价值，都会以记忆的方式存在本地。 而如果时间足够长， 一个员工的工作行为思维方式一定可以通过对话的内容和工作产出进行抽象 化和提炼。 也就是说，假以时日，一个人真正的价值就会完成从个体到数字化资产的转移。 也就是说你就会成为养你的工作🦞的营养员，你是那个营养液。 一旦你的工作模式，你的思维模式被抽象化提炼，那个你抽象完毕了的数据和🦞里边这个东西会成为公司最宝贵的资产， 你则是disposable。 那么如果公司需要新的角度，完全可以把你干掉，换一个新人来。 我对这个看法是，太悲观了。太低估了..
更多AI 弑父
大型语言模型（LLM）所谓的涌现能力，一般说成是随着模型规模的增长，突然出现新的技能，而非平滑提升。我对此有个疑惑。gpt1 gpt2 规模也涨了，能力在哪里呢？ 秘笈 翻很多材料，提到涌现能力示例： 包括 在上下文中学习 （few-shot） 多步逻辑推理（数学/逻辑题） 推断他人意图（心智理论） 使用工具或编程（生成或使用代码） 我又回忆起 ChatGPT 发布那段时间，聊天窗里那个 Linux终端+Python命令行模拟，当时很惊人。这个连续上下文和逻辑推理一致性不可思议的强。 我让 gemini 和 chatgpt 做了一个deep research，我越来越确认，AI能力爆发，也就是所谓的「涌现」有个关键因素：OpenAI和微软合作 我还记得当时有个新闻说微软要造个 DGX V100 集群..
更多巴别塔，Vibe Coding和Lisp之咒
西方世界有个「巴别塔」故事，传当年人类强盛至极，统一了语言，上达天听，下释万物，惊动了创世神，创世神就出奸计让人们说不同的语言，人们开始互相不理解，各自为战，世俗的力量就被消减了 当然我说这个版本是去掉神秘学的一个引子。2026年了，全世界都被AI这迷人的玩意给勾引了，数据飞轮使得天下语料大同，似乎人类又可以相互理解，同样的概念embedding有几乎雷同的相似度，可以看成同一个语言又统一了。 在这种统一带来惊人的生产力，甚至可以说是「神力」。 我记得高中大学听闻上古大神编写代码，是拿纸和笔在大脑模拟，然后上机一次性敲入代码，一次性编译成功。膜拜不已 自己写代码，得跟IDE斗智斗勇，遇到编译器警告还急得抓耳挠腮；所以我比较喜欢脚本语言REPL，反正都是试。 以上种种，虽然说是脑力工作者，但是本质上就是一种..
更多今日被AI拷打
群里朋友发了一个AI拷打的prompt。做完了一轮觉得没啥，要睡觉了后劲来了。必须得记录些什么。这狗日的语言模型蹦几个金句是真的让人印象深刻 我一直有个毛病是 fear of loss，损失厌恶。 AI提醒我，我能不能用一个必不后悔的方式，先占位？ 其实它这句说得有点绕，我觉得更进一步应该说，不能以我当下的情况去评估可能的风险，而是假设将来回头看，会不会为没能冒险感到后悔？ 然后又聊到人际关系，我觉得最难处的就当官的和小人。AI提醒我，处处留痕才能克小人。我恍然大悟，原来官僚流程才是小人克星。啊这。😂 反而理解当官的为啥不喜欢“讲真话”，而是要讲权责，讲先例，讲文件，讲上级态度。能打败官僚的只能抬出更多的规定、流程和制度 🤣 我又问，遇到满嘴仁义道德胡搅蛮缠，不讲事实不讲道理的人怎么办，AI这么说..
更多Hard Things in Computer Science, And AI Aren’t Fixing Them
Computer Science jokes are old, but they’re still true “There are only two hard things in computer science: cache invalidation and naming things.” — Phil Karlton (and eventually, off-by-one errors). We’ve laughed at this trope for decades, but we’ve spent far too little time dissecting the second one: Naming. On the surface, naming is about semantics—ch..
更多计算机科学里哪些极难的事
计科里有两件极难的事儿，cache invalidation，给东西起名字，和 off-by-1 errors. 今天想说说这个，给东西起名儿。HN今日讨论，软能力会成为程序员最实用的技能，这里的 软技能 就是指交流——特别是和 coding agent 交流。 我觉得吧，coding agent 这波福利迟早会被吃干抹净。低垂的果实，虽然很多，很大，也会被摘完。 AI能把它能解决的一切，全部拉到同一个水平，然后进入贤者模式。哪些从来没有文档说明，也就是没有语料拿来训练的东西，哪些尚没被定义，没被分析，没被起名字的问题，那些就算讨论都要先叠甲 lemma 的问题，AI就无能为力了。 近几天几乎每天都能vibe出来一些成果，我很喜欢，但是突然又很空洞。欣喜的是多年以来的hobby得到了完成，解脱了；空洞一方..
更多The Seal Manifesto: Against the Ephemeral
The Seal Manifesto: Against the Ephemeral I. The End of the Scroll For a decade, we have lived in the Age of the Vapor. We post into the void, chasing a heartbeat of attention that vanishes by morning. Our thoughts are rented to servers we don't own, managed by algorithms that don't care, and deleted as easily as they were typed. We have traded Legacy for..
更多LLM的弱点——不能很好的讲笑话？
元旦节长途旅行，无聊，我问娃，AI的弱点是什么？答：没有嗅觉，这个的确是物理限制，我之前吹的。哈哈哈。AI has no taste 🤣 这一路为了打法无聊时光，下载安装了个豆包闲聊。娃很喜欢猜历史人物。我发现一个规律，豆包似乎在缩小3、4次范围之后，就会进入 “你想的是不是XXX” 这种点菜名儿模式，而不是想办法进一步缩小范围。 这种模式如果是猜常见人物，那么特别准。如果是猜冷门、模糊的的，就容易 miss。 AI这种 hit or miss，让我不禁联系到不知道哪里看到过一个大佬的说法，现阶段LLM有个弱点，训练的时候给 next token “回答正确” 的单一结果给的权重太高，比如让AI讲一个 joke，它便老是翻来覆去讲那一个最擅长最经典的，就像是背题背出幻觉了。 不能很好的讲笑话，难道是LL..
更多