ShardingSphere-JDBC介绍
ShardingSphere-JDBC是一款可以将JDBC操作进行封装，然后实现数据分片、分布式事务、读写分离、高可用、数据加密和数据脱敏等功能的模块。它的原理是实现JDBC的接口，随后将收到的JDBC操作进行改写和处理，再将操作命中到真正的数据库之上。因为它实现了JDBC接口，因此现有的Java项目都可以100%兼容使用，只需要依赖ShardingSphere-JDBC并提供相关的配置即可。JDBC数据分片的简单使用我们看一个简单的JDBC数据分片的例子，首先我们需要添加相关的maven依赖12345678910 <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId..
更多
终极白嫖：使用免费MongoDB显示浏览量
最近又研究研究了vercel，看到了database，发现vercel可以直接整合各大数据库，其中MongoDB有免费够用的方案，于是我试了试，用数据库存储博客浏览量。 初始化 首先注册一个免费的MongoDB账号(无需绑卡，他真的，我哭死)，免费版512 MB容量，普通使用绰绰有余，虽然是共享内存，但实测速度并不慢。 然后在vercel上一键整合到nuxt3-blog项目，控制界面就可以看到MONGODB_URI环境变量了: MONGODB_URI 实在太方便啦，关键还免费。OK，现在非代码部分已经over了，下面是喜闻乐见的Talk is cheap,show me the code环节。分两部分： 功能代码：数据库增删改查 API代码：前端调用 功能代码 这里省略创建并缓存数据库连接的代码，我参..
更多etcd的简单介绍
etcd是一个开源的分布式一致性键值数据库，其基于Raft一致性算法，用于数据存储、服务发现和调度协调。安装首先我们下载程序包useradd etcdsu - etcdwget https://github.com/etcd-io/etcd/releases/download/v3.5.4/etcd-v3.5.4-linux-amd64.tar.gztar -zxvf etcd-v3.5.4-linux-amd64.tar.gzcd etcd-v3.5.4-linux-amd64之后我们可以查询etcd的版本$ ./etcd --versionetcd Version: 3.5.4Git SHA: 08407ff76Go Version: go1.16.15Go OS/Arch: linux/amd64我..
更多MongoDB安装和部署
MongoDB的版本可以在官网 https://docs.mongodb.com/manual/installation/ 上查询。我们使用的是社区版。mac目前用mac来开发，需要在本地安装运行一个mongdb，便于测试调试。安装mac上安装mongodb。在终端中用brew来安装速度有点太慢了。我们去 https://www.mongodb.com/try/download/enterprise 下载一个mac使用的版本。在网页右侧选择mongodb版本（这里选的是4.4.4），Platform选择macOS，压缩格式选tgz即可。点击Download需要填一些资料。填好后确认Submit即可。下载后解压文件，得到一个文件夹。1234567891011121314151617181920mongodb..
更多DataX的简单使用
DataX是阿里巴巴开发的用于离线数据同步的工具，它支持在MySQL、Oracle、SqlServer、HDFS、HBase等多个数据库之间进行数据的离线同步。安装DataX我们可以直接下载已经打包好的文件wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz当然，我们也可以选择从源码编译安装DataX。由于上面的包已经比较旧了，推荐从源码进行安装。git clone https://github.com/alibaba/DataX.git因为我们只需要针对一些指定的数据库，所以可以删除pom.xml文件中我们不需要使用的数据库子模块。我保留的子模块如下12345678910111213<module>mys..
更多canal简单使用
在使用大数据进行数据计算的时候，首先我们需要获取到数据。如果是从MySQL获取数据的话，可以选择阿里的开源组件canal，它将自己伪装成MySQL的slave来接收数据。开启MySQL的binlog设置首先我们查看MySQL是否打开了binlog复制的功能mysql> show variables like 'log_bin';+---------------+-------+| Variable_name | Value |+---------------+-------+| log_bin | OFF |+---------------+-------+1 row in set (0.00 sec)如果没有打开，就编辑MySQL的配置文件/etc/my.cnf，添加如下配置# b..
更多Redis服务的安装和使用
我在文章Redis failover中介绍过如何安装Redis并且通过sentinel（哨兵）实现Redis的高可用。随着Redis的不断更新，现在的Redis（我使用的版本是6.2.6）已经支持了集群功能，本文记录了如何搭建一个Redis集群并使用。我们使用如下的6台机器来构建一个Redis集群172.19.65.196172.19.72.108172.19.72.112172.19.72.203172.19.65.228172.19.65.136下载源码并编译首先在172.19.65.196上下载Redis源代码并进行编译，这里我下载的版本是6.2.6useradd -m redissu - rediswget https://download.redis.io/redis-stable.tar.gz..
更多HBase集群的搭建和使用
HBase是一个分布式的列族数据库，我们可以简单的将其看成一个kv数据库，每个[列 + rowkey + 时间戳]对应了一个单元格。下载HBase的压缩包并解压我们有三台机器，预计它们的角色将会如下Node NameMasterRegionServer172.19.65.196yesno172.19.72.108backupyes172.19.72.112noyes在官网下载HBase的压缩包并分发到三台机器上，然后解压压缩包。设置免密登录学习我们在HDFS的安装和使用中了解到的SSH免密登录的方法，设置196和108两台机器要能够免密访问所有的机器。搭建HDFS和ZooKeeper服务根据文章HDFS的安装和使用和ZooKeeper的简单介绍中所介绍的内容，搭建HDFS和ZooKeeper服务。修改配置..
更多
为什么 OLAP 需要列式存储
为什么这么设计（Why’s THE Design）是一系列关于计算机领域中程序设计决策的文章，我们在这个系列的每一篇文章中都会提出一个具体的问题并从不同的角度讨论这种设计的优缺点、对具体实现造成的影响。如果你有想要了解的问题，可以在文章下面留言。ClickHouse 是最近比较热门的用于在线分析处理的（OLAP）1数据存储，与我们常见的 MySQL、PostgreSQL 等传统的关系型数据库相比，ClickHouse、Hive 和 HBase 等用于在线分析处理（OLAP）场景的数据存储往往都会使用列式存储。图 1 - OLAP 和 OLTP对数据库稍有了解的读者都知道，在线事务处理（Online Transaction Processing、OLTP）2和在线分析处理（Online Analytical..
更多