Spark create function 逻辑
问题来源函数注册成功, 但是在调用的时候提示无法加载对应的类.结论spark 创建函数的时候并不会直接去加载对应的资源/类, 只有在使用时才会加载对应的资源和类, 因此创建成功并不能代表能正常使用hive 创建函数的时候会去加载对应的类, 所以创建成功即代表可用spark-sql 测试create temp func 和 create func 的区别12CREATE [ OR REPLACE ] [ TEMPORARY ] FUNCTION [ IF NOT EXISTS ] function_name AS class_name [ resource_locations ]从语法上都是, 创建一个自定义函数, 只是前者注册的是临时函数, 只在当前 Session 有效. 后者注册的函数是永久函数..
更多
自建大数据分析集群
老项目老项目了这些都是。大部分都是十年前就出现的工具。感叹真是经久不衰。最近服务开发中，为了节约成本，弄了两个服务器，希望搭建一套数据分析平台，验证项目流程。查了很多资料对这些平台的搭建都非常简略，过程也是复杂，对新人很不友好，我也算是整理了一下相关的内容。简化服务搭建流程。得益于Docker的容器化，整个数据平台搭建起来非常方便整个过程里面，包含以下工具的搭建：HDFS，主要是用来存储数据YARN，提供资源调度，实现MR计算Hive on MR，基于MR的SQL引擎, 性能堪忧。也有基于Spark的，但是没有找到版本对应的公共镜像，就放弃了Spark Standalone，分布式计算框架，有基于YARN或者HIVE的版本，为了依赖纯粹，使用了独立集群Kafka on Kraft，为了依赖纯粹，使用了Kr..
更多