Kafka 配置基于 Kerberos 的 ACL 访问控制鉴权
由于acl信息存储在zookeeper中，所以在没有启用zookeeper权限体系的情况下，任何用户理论上都可以执行 kafka-acls.sh服务端启用 ACL添加配置到 config/server.properties因为之前创建用户的 kafka kerberos 认证的 principal 为 kafka/ubuntu@EXAMPLE.COM, 所以这里 User 部分直接取 kafka 即可. 配置成集群的 superuser, superuser不受 ACL 限制.123456789# 允许自动创建 Topic# auto.create.topics.enable=true#acl相关，配置后才能启用aclauthorizer.class.name=kafka.security.auth.Si..
更多Kafka 集成 Kerberos 认证
Kerberos 搭建Configuring GSSAPI | Confluent Documentation创建 KDChttps://github.com/gcavalcante8808/docker-krb5-server.gitmkdir kdc && cd kdcvim docker-compose.yml填入以下内容docker-compose up -d容器里面使用了 supervisor, 占用了 9001 端口, 可能会和 minio 产生冲突 推荐修改 supervisor 配置文件的端口. 共两处 docker cp krb5:/etc/supr*.conf .1234567891011121314151617181920212223version: '2.2's..
更多
自建大数据分析集群
老项目老项目了这些都是。大部分都是十年前就出现的工具。感叹真是经久不衰。最近服务开发中，为了节约成本，弄了两个服务器，希望搭建一套数据分析平台，验证项目流程。查了很多资料对这些平台的搭建都非常简略，过程也是复杂，对新人很不友好，我也算是整理了一下相关的内容。简化服务搭建流程。得益于Docker的容器化，整个数据平台搭建起来非常方便整个过程里面，包含以下工具的搭建：HDFS，主要是用来存储数据YARN，提供资源调度，实现MR计算Hive on MR，基于MR的SQL引擎, 性能堪忧。也有基于Spark的，但是没有找到版本对应的公共镜像，就放弃了Spark Standalone，分布式计算框架，有基于YARN或者HIVE的版本，为了依赖纯粹，使用了独立集群Kafka on Kraft，为了依赖纯粹，使用了Kr..
更多