LLM的弱点——不能很好的讲笑话？
元旦节长途旅行，无聊，我问娃，AI的弱点是什么？答：没有嗅觉，这个的确是物理限制，我之前吹的。哈哈哈。AI has no taste 🤣 这一路为了打法无聊时光，下载安装了个豆包闲聊。娃很喜欢猜历史人物。我发现一个规律，豆包似乎在缩小3、4次范围之后，就会进入 “你想的是不是XXX” 这种点菜名儿模式，而不是想办法进一步缩小范围。 这种模式如果是猜常见人物，那么特别准。如果是猜冷门、模糊的的，就容易 miss。 AI这种 hit or miss，让我不禁联系到不知道哪里看到过一个大佬的说法，现阶段LLM有个弱点，训练的时候给 next token “回答正确” 的单一结果给的权重太高，比如让AI讲一个 joke，它便老是翻来覆去讲那一个最擅长最经典的，就像是背题背出幻觉了。 不能很好的讲笑话，难道是LLM的终..
read_more
chromium/libcef.dll真是毒瘤
先说@MicrosoftEdge 这他妈存3份，吃饱了？ 再说Epic Games 还能搞6份？真无语了。然后 icudtl.dat 以及 ICU 这一坨也是。
read_more
LLM, RAG 和 Groq
最近跟朋友聊起LLM，RAG 究竟有没有用，能不能拿来做成产品或者服务。由于我对AI的了解也很肤浅，所以没太敢下结论。 但是今天突然想起一个趣事，相传 账单·大门 院士有一句名言「640KB ought to be enough for anybody」 这句话是不是他老人家说的不重要了，重要的是 IBM PC 的这个 640KB内存 的梗是绕不过去了。 后来发现 640KB 不够了怎么办？屎山上接着hack呗。于是发明了 EMM386 ，在CONFIG.SYS 里吟唱一句 DEVICE=C:\DOS\HIMEM.SYS 可以保平安。 如果人人都能用 Gemini 1.5 Pro 那个 1M context tokens， 那么 RAG 技术也没啥用了吧。猜想能用 RAG 卖钱的，估计跟定制 HIMEM.S..
read_more
语言 和 Embodied Cognition
从 coolshell 那里 看到一段好文，摘抄一下： The limits of my language mean the limits of my world -- Ludwig Wittgenstein 很有力量的一句话啊。下面有评论给了个现成的例子 用了 java，现在无论用什么语言，只要写业务代码，都会是浓浓的Java味，没有Model, Service, Controller 就感觉浑身难受…… 这里突然想到一个问题，传说中的认知科学集大成者，embodied cognition，强调「具身」所能带来的额外感知能力，会不会就是一种 IO ports？ 所谓的「体验导向认知」，是不是就是能处理原始模拟信号的各种传感器？ 如果说有谁要给 embodied cognition 设计一个 log，..
read_more