自建大数据分析集群
老项目老项目了这些都是。大部分都是十年前就出现的工具。感叹真是经久不衰。最近服务开发中，为了节约成本，弄了两个服务器，希望搭建一套数据分析平台，验证项目流程。查了很多资料对这些平台的搭建都非常简略，过程也是复杂，对新人很不友好，我也算是整理了一下相关的内容。简化服务搭建流程。得益于Docker的容器化，整个数据平台搭建起来非常方便整个过程里面，包含以下工具的搭建：HDFS，主要是用来存储数据YARN，提供资源调度，实现MR计算Hive on MR，基于MR的SQL引擎, 性能堪忧。也有基于Spark的，但是没有找到版本对应的公共镜像，就放弃了Spark Standalone，分布式计算框架，有基于YARN或者HIVE的版本，为了依赖纯粹，使用了独立集群Kafka on Kraft，为了依赖纯粹，使用了Kr..
更多PC时代的终结？
最近ChatGPT一再出圈引爆话题，很多封装OpenAI API 的项目都火爆得不行。自己也跟朋友、网友有些讨论，有些感慨。 回顾自己成长和从业经历，接触计算机是从「微机」这个概念入手的。当时学校的「微机室」是需要焚香沐浴才能「上机」的。我理解以前IBM mainframe霸权时代，都是巨头的天下，神仙打架，压根没有普通玩家能入场的机会，因为UNIX大型机硬件就不是普通人能接触到的，只有 Bill Gates 这种私校才有可能给学生提供机房；后来行业发展机缘巧合，X86为代表的 PC 普及，顾名思义就是 personal computer，摩尔定律推动PC性能暴增，我觉得1900-2020 几乎所有创业项目雏形都能在单台PC上跑通，并且由单人开发维护。 现在有点变化了。当年gpt3出来，已经不是普通大厂能..
更多
ESXi 勒索病毒ESXiArgs 其CVE-2021-21974漏洞分析和恢复
介绍该漏洞编号为CVE-2021-21974，由 OpenSLP 服务中的堆溢出问题引起，未经身份验证的攻击者可以此进行低复杂度攻击。该漏洞主要影响6.x 版和 6.7、7.0版本之前的 ESXi 管理程序，2021年2月23日 ，VMware曾发布补丁修复了该漏洞。（在此之后发布的版本不影响）该漏洞启动之后，主要破坏行为为停止所有虚拟机，并加密所有数据文件。因为不会加密大文件，所以有很大可能性进行恢复操作。具体影响版本大于以下版本则不受影响ESXi versions 7.x prior to ESXi70U1c-17325551ESXi versions 6.7.x prior to ESXi670-202102401-SGESXi versions 6.5.x prior to ESXi650-202..
更多mvn报错: MVN Malformed \uxxxx encoding.
原因从仓库下载到本地的文件损坏了, 删除重新下载即可排查使用 mvn compile -X 找到详细位置添加断点, 通过 IDEA DEBUG 模式运行 mvn compile寻找 TrackingFileManager 栈该栈的 file 变量即为有问题的文件ls 该文件父目录, 即可看到一个 maven-m\u0000\u0000??? 非常奇怪的文件连带父目录一起删除, 重新执行即可
更多
ZeroTier使用自建Moon服务器加速
Foreword 最近老是出现奇怪的情况，家里的主机总是连不上，公司和笔记本都没问题，但是家里的经常出现开机以后要等很久很久，zerotier才能ping通，然后中间可能还会又ping不通了，只要ping不通基本rdp就连不上。 怀疑可能是zerotier从国外打洞失败了，可能某个ip被墙了，但是平常看不出来，而ZeroTier可以自建服务器，加速p2p的访问，就想着试一试。 看了一些评论说，有些运营商好像直接ban了zerotier的服务器，导致永久无法连接，但是如果使用moon中转的话，就没这个问题了。 Moon 一般Moon服务直接安装在国内的vps上就行了，只要自己能很轻松访问即可，走流量什么的都很少。 安装zerotier 安装zerotier curl -s https://i..
更多
CTF | 2022 西湖论剑·中国杭州网络安全技能大赛 WriteUp
引言看起来这是 农历兔年到来的第一场 CTF 比赛 祝大家新年快乐，兔年大吉，前兔似锦，大展宏兔！ 西湖论剑·2022中国杭州网络安全技能大赛 全日制高校在校生（含研究生），以所在高校为单位组队参赛，不得跨校组队。 本赛项与IoT攻防赛为同一批参赛选手，建议参赛选手组队时考虑IoT选手的比例。 线上初赛：2023年2月2日 10:00-18:00 主流CTF夺旗赛模式 https://game.gcsis.cn/ 又是个因为疫情原因（？）推迟举办的比赛了（ 由于只能按照所在高校来组队，不能联合战队，报名结束前两天问了下，校队里一群鸽子还没组队，然后就问了下和学弟们一起组了一队，随便看看题好了。 但是喵喵比较佛系，其实没好好打，当天下午快16.才开始看题，唔（（（ 这篇 writeup 里有一些是比赛..
更多
MAC地址购买与MT7931自定义MAC
Foreword 我之前已经知道，MAC地址作为链路层传输的基础，MAC必须唯一，否则在局域网或者路由寻址的时候就会出现错误。没想到还真的在实践过程中遇到了相同MAC地址的情况。 MAC MAC地址，直译为媒体存取控制位址，是一个用来确认网络设备位置的位址。在OSI模型中，第三层网络层负责IP地址，第二层数据链路层则负责MAC位址 。MAC地址用于在网络中唯一标示一个网卡，一台设备若有一或多个网卡，则每个网卡都需要并会有一个唯一的MAC地址 MAC地址的长度为48位(6个字节)，通常表示为12个16进制数，如：00-16-EA-AE-3C-40就是一个MAC地址，其中前3个字节，16进制数00-16-EA代表网络硬件制造商的编号，它由IEEE(电气与电子工程师协会)分配，而后3个字节，16进制数A..
更多Java try-with-resouce原理及Scala实现
背景众所周知，所有被打开的系统资源，比如流、文件或者Socket连接等，都需要被开发者手动关闭，否则随着程序的不断运行，资源泄露将会累积成重大的生产事故。在JDK7之前，只能通过 try-finally 手动判空并且手动关闭资源。JDK7之后，Java多了个新的语法：try-with-resources语句，对所有实现 java.lang.AutoCloseable 都可以自动关闭。极大的简化了代码。术词表简写全拼中文释义ARM/armAutomatic Resource Management自动资源管理JavaJava默认代表 Java 8ScalaScala默认代表 Scala 2.13使用Java基于 Java8多个声明使用分号隔开，代码块终止时，无论是正常还是异常，将按照此顺序自动调用对象的 cl..
更多MacOS 运行来自身份不明开发者的应用
前言实现这个目标大概有两种方法, 分为禁用和不禁用 SIP. 从安全性讲不禁用 SIP 好点.System Integrity Protection (SIP)是Mac系统的一种安全功能，它限制了root用户账户的权限，防止恶意软件修改或覆盖系统文件或应用。SIP在OS X El Capitan或更高版本中默认开启。如果要关闭或开启SIP，需要进入恢复模式并使用终端命令**csrutil disable或csrutil enable**。但是关闭SIP可能会导致系统不稳定或受到攻击，所以一般不建议普通用户这样做。禁用系统完整性保护(SIP)禁用之后可以运行来着任意来源的应用, 包括 来自身份不明开发者的应用第一种: 直接在主系统执行sudo spctl --master-disable重启电脑, 即可在 ..
更多为什么不太看好 Nostr/ActivityPub
肤浅地记录一下为啥不太看好 Mastodon/nostr 等 fediverse。 Scalability: 对于千万活跃用户来说，如何展示时间线是个很古老的问题，highscalability 和 微博 都有关于 push/pull 模式的讨论。简单的说： 读多写少 大V的巨型分发量压力 热点读的 materialization 太慢 一般的解决方案是 fanout-write。也就是如果大V发一条微博，那么他所有 follower 的专用timeline 队列都会被写入一条微博id 这个问题放在 fediverse 会更加复杂。目前我了解的情况是，没有专门解决这个问题。如果哪天真有个用户量巨大的网络形成了，同步全量数据都超过百兆带宽，那么其他普通 vps 上的节点也就几乎无法同步全量数据了。所以需..
更多