Pulsar的介绍与安装
简介Apache Pulsar是一个分布式消息队列，它主要由以下三部分组成。组件作用Broker负责producer和consumer的请求还有消息的复制与分发，Broker无状态不存储数据Zookeeper存储元数据、集群配置，负责任务协调还有服务发现等Bookkeeper消息数据还有cursors数据的持久化存储，Bookkeeper的每一个存储节点叫做bookieproducer往Pulsar发送数据，consumer从Pulsar接受数据，consumer接收数据的过程叫做subscription（订阅）。Pulsar有四种订阅模式模式名模式独占（exclusive）一个subscription只能有一个consumer，如果多个consumer使用相同的subscription去订阅一个topi..
更多使用Celery实现Python分布式任务处理
Celery是一个任务队列，它可以实现跨进程和机器的分布式任务处理。任务队列的输入端会输入各种任务（task），这些任务会在输出端由worker进行处理，这些任务会由客户端通过发送消息的方式交给broker，随后broker把任务分发给worker。安装组件本文使用到的组件版本组件版本Python2.7.16Celery4.4.7Redis6.2.4redis-py3.2.1首先我们需要安装celery和Redis的依赖包pip install celery==4.4.7pip install redis==3.2.1Celery支持多种类型的broker，在这里我们主要使用Redis作为Celery的broker，关于Redis的安装和使用可以参考我之前的文章Redis failover。构建应用我们首..
更多