textrank关键句

引言最近在面试北京技术负责人一位候选者（学校杠杠的）时，他对现在公司的新闻领域做摘要时说准确率能达99%，并且也通过了他们内部验证以及用户的对外展示（这家公司你就可劲想吧）。心里是有点不太相信可以达到这么高，理由： 新闻常见字数成千上万，对于这种情况人的理解也有所差异，但只要摘要中出现核心关键词/句子基本也认可。 对于所用到的无监督的方式（用到了textrank），目前业界的上限在那，同时受限于特征工程。 对于使用生成式模型，比如使用PGN，这类方式就要有标注数据。以及有个问题就是生成文本不可控，这也是目前业界在研究的方向。 用到了textrank，那么句子都是从原文中获得的，那么连续性无法保证，更应该说从原文提取关键句子，代表原文。 之前没做过这方面，就比较好奇怎么实..

Twitter资助的 Bluesky项目

发现一个有点好玩的东东 ATP(Authenticated Transfer Protocol)协议，是 ActivityPub 的竞品。ATP对应 blusky，AP 对应 Mastodon 其中维护者pfraze谈到为什么要抛开 ActivityPub 单独搞一套协议： There are a lot of differing design decisions. Account portability is a major reason why we chose to build a separate protocol. Signed data repositories and DIDs are both unique to ATP and not terribly easy to retrofit..

self-attention解析

单塔文本匹配

介绍文本匹配是研究两段文本之间的关系。 此处介绍两种，分别是point-wise和pair-wise语义匹配模型。 point-wise是ptm+二分类，判断句子相似度。pair-wise是ptm+score，判断两个句子相似度得分，可用于排序。最近实现了一个，可参考pairwise-match。 粗排方面有sentence transformer以及SimBERT，再比如DSSM。 这些先记下，等后面有时间了再实现总结。 更新关于双塔模型中的sentence transformer，网络结构如下： 其中pooling为比如Sentence的维度为(1,7,768)，那么就对7那一维做mean操作。 由于共用同一个pretrained model，将向量提前保存到数据库。当..

HTTPS是如何保证数据安全的

与Windows大量使用二进制文件和数据传输不同，HTTP（Hypertext Transfer Protocol，超文本传输协议）与Linux/Unix一样都是是基于文本的，这也导致其在传输过程中十分容易被解析和篡改，于是HTTPS（Hypertext transfer protocol secure）应运而生。HTTP协议一般跑在TCP协议之上，而HTTPS协议就是在原来的TCP和HTTP之间增加一层加密的操作，加密解密由Clinet端和Server端完成，由此保证了HTTP协议的内容不被中间人获取和篡改。可见HTTPS的核心就是这一段加密和解密，它是通过SSL（Secure Sockets Layer）安全套接层和TLS（Transport Layer Security）传输层安全协议实现的。SSL..

8行javascript录制屏幕

看到个骚操作，玩了一下，写了个 bookmarklet navigator.mediaDevices.getDisplayMedia({video:true}).then(function(stream){ const mr=new MediaRecorder(stream,{mimeType:"video/webm;codecs=h264,opus"}); mr.ondataavailable=function(ev){ const a=document.createElement('a');a.href=URL.createObjectURL(ev.data); a.download ='screen_capture.webm';a.click(); }; // will ..

终极白嫖：使用免费MongoDB显示浏览量

最近又研究研究了vercel，看到了database，发现vercel可以直接整合各大数据库，其中MongoDB有免费够用的方案，于是我试了试，用数据库存储博客浏览量。 初始化 首先注册一个免费的MongoDB账号(无需绑卡，他真的，我哭死)，免费版512 MB容量，普通使用绰绰有余，虽然是共享内存，但实测速度并不慢。 然后在vercel上一键整合到nuxt3-blog项目，控制界面就可以看到MONGODB_URI环境变量了: MONGODB_URI 实在太方便啦，关键还免费。OK，现在非代码部分已经over了，下面是喜闻乐见的Talk is cheap,show me the code环节。分两部分： 功能代码：数据库增删改查 API代码：前端调用 功能代码 这里省略创建并缓存数据库连接的代码，我参..

内容推荐调研

介绍下派一个任务,研究下推荐系统,貌似后面和电信搞一个类似电视视频内容推荐之类的项目. 基于流行度的推荐这个推荐比较简单些,就是根据视频的得分来进行排序,排除掉当前用户已经看过的,剩下的再排序返回给用户就行. 好处是这是一个非常简单但是非常有效的算法,基本来说我们看视频都是根据播放量高、得分高进行播放。坏处是有一个长尾效应，过于小众的基本不会推荐出来，看看京东，其实也有点类似这样～ 关于视频的打分，这个可以根据一些特征工程来获得，比如用户点赞，收藏，喜欢，浏览，基于不同权重进行得分。如果没有这些特征，可以手动构造这些视频的得分（不行可以抓豆瓣。。。）甚者直接根据用户的浏览记录进行排序就能上线。 对于长尾效应，可以运营分出几大类，根据类别再进行排序也是可以一定程度多了新的选择..

橘生淮南为橘，橘生苏联为？

在二十世纪上半叶，苏联柑橘专家(Citrology在当时是一个重要学科)在-30℃的低温下在户外种植（亚）热带植物，而且不使用玻璃或任何燃料辅助。 During the first half of the twentieth century, Soviet citrologists grew (sub)tropical plants in temperatures as low as minus 30 degrees Celsius – outdoors, and without the use of glass or any fossil fuel-powered assistance. "渐进式抗冻" “Progressive cold-hardening” 进口的柑橘品种只在黑海沿岸几个孤立的地方..

求合理路径

今天在群里看到有人问了这么一道题，如下图所示。瞬间让我大呼这不就是我之前想出的一道面试题么，不过有可能是我当时没有表达清楚，发现小伙伴们理解的不是很透彻。 那我的方法就是基于每个元素的position，构成一个有向图即可。 代码如下（也方便未来自己再重新写😂） 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869# -*- coding: utf8 -*-#import mathfrom typing import Listdef trace_path(vec, pathes): if not..