kafka数据查询工具presto安装报com.facebook.presto.server.PrestoServer No factory for connector kafka

想喝好几罐八宝粥的男孩 发表于: 2020-10-25   最后更新时间: 2020-10-26  

对于kafka数据的查询是一个头疼的问题,偶然间在网上有看到对kakfa数据的查询有以下两个工具:ksql及presto两个工具,由于ksql在生产环境中不成熟,但是我在生产环境中试验过,无法查询kafka数据,在研究presto时,安装网上的教程安装部署presto总是出现一下错误,请教大神有遇到过吗?求赐教,希望与大家共同进步,又兴趣的可以研究一下。

presto版本为0.242,kafka版本为2.12-2.3.1 zookeeper版本为3.4.10,。我部署的是单节点,关于catallog下的kafka.propeties配置如下所示,按照官网配置的:

kafka.properties

screenshot

config.properties

coordinator=true   
node-scheduler.include-coordinator=true 
http-server.http.port=8081
query.max-memory=1GB
#discovery-server.enabled=true    
#discovery.uri=http://XXXXXX:8081

jvm.config

-server
-Xmx2G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

log.properties

com.facebook.presto=INFO

node.properties

node.environment=production
node.id=test01
node.data-dir=/ies_data/presto/data

启动bin/launcher run报错如下所示:

com.facebook.presto.server.PrestoServer    No factory for connector kafka

screenshot



您需要解锁本帖隐藏内容请: 点击这里
本帖隐藏的内容




上一条: kafka迁移问题
下一条: 拿到的数据是json格式的 一条信息里五个表 我用fastjson解析后放到hbase中?有什么好的建议么?

  • 虽然没用过,但是看错应该没找到对应的依赖jar。网上检索了一下,有几个原因可以参考一下。

    1. 每个Presto服务器启动时,都会记录已加载的目录。 我的猜测是文件不在正确的位置,或者您没有重新启动Presto服务器。 注意,该文件必须位于每台Presto服务器上。
    2. plugin.bundles
    3. hive.properties中 connector.name写错了,应该为指定的版本,以便于presto使用对应的适配器,修改为:connector.name=hive-hadoop2

    期待你的最终结果。