kafka报错 :org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 704708608 larger than 524288)

WARN Unexpected error from /172.17.0.136; closing connection (org.apache.kafka.common.network.Selector)
org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 704708608 larger than 524288)
        at org.apache.kafka.common.network.NetworkReceive.readFromReadableChannel(NetworkReceive.java:95)
        at org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:75)
        at org.apache.kafka.common.security.authenticator.SaslServerAuthenticator.authenticate(SaslServerAuthenticator.java:216)
        at org.apache.kafka.common.network.KafkaChannel.prepare(KafkaChannel.java:76)
        at org.apache.kafka.common.network.Selector.pollSelectionKeys(Selector.java:376)
        at org.apache.kafka.common.network.Selector.poll(Selector.java:326)
        at kafka.network.Processor.poll(SocketServer.scala:500)
        at kafka.network.Processor.run(SocketServer.scala:435)
        at java.lang.Thread.run(Thread.java:745)

我的kafka server.properties配置文件里面是有配置

socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

但是好像配置并没有生效

而且我查看kafka server.log 发现内部有错误

[2019-09-25 19:13:56,879] FATAL  (kafka.Kafka$)
java.io.FileNotFoundException: ./config/server.properties (No such file or directory)
        at java.io.FileInputStream.open(Native Method)
        at java.io.FileInputStream.<init>(FileInputStream.java:146)
        at java.io.FileInputStream.<init>(FileInputStream.java:101)
        at org.apache.kafka.common.utils.Utils.loadProps(Utils.java:428)
        at kafka.Kafka$.getPropsFromArgs(Kafka.scala:41)
        at kafka.Kafka$.main(Kafka.scala:57)
        at kafka.Kafka.main(Kafka.scala)

但是我不知道我哪里有获取这个文件,而且我的kafka正常启动了，所以想咨询一下大佬,有没有碰到我这个问题,我弄了一周了还没解决

[2019-09-26 14:08:51,191] INFO [Group Metadata Manager on Broker 191]: Finished loading offsets and group metadata from __consumer_offsets-21 in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager) [2019-09-26 14:09:46,469] FATAL (kafka.Kafka$) java.io.FileNotFoundException: ./config/server.properties (No such file or directory) at java.io.FileInputStream.open(Native Method) at java.io.FileInputStream.(FileInputStream.java:146) at java.io.FileInputStream.(FileInputStream.java:101) at org.apache.kafka.common.utils.Utils.loadProps(Utils.java:428) at kafka.Kafka$.getPropsFromArgs(Kafka.scala:41) at kafka.Kafka$.main(Kafka.scala:57) at kafka.Kafka.main(Kafka.scala)

你这么启动的kafka？命令贴一下。是否是这样

bin/kafka-server-start.sh config/server.properties

回答于 4年前

半兽人

这是我启动的命令:

cd /usr/kafka/kafka_2.11-0.11.0.1 ./bin/kafka-server-start.sh -daemon ./config/server.properties 1>/dev/null 2>&1 &

伴我同行

半兽人 -> 伴我同行 4年前

你的命令没错，确认下

java.io.FileNotFoundException: ./config/server.properties (No such file or directory)

是之前的错误输出。

伴我同行 -> 半兽人 4年前

不是之前的错误, 我实时检测日志,是不是就的就会跳出来这个

伴我同行 -> 伴我同行 4年前

我最困惑的还是这个错误Invalid receive (size = 704708608 larger than 524288) 明明我的server.properties里面有设置但是配置没生效感觉跟这个java.io.FileNotFoundException: ./config/server.properties (No such file or directory)错误有关系

找不到目录或文件这种错，在启动时会起不来，而不是在运行中报的，第一次遇到，你只运行

看看是否可以启动成功。

直接按照你的命令启动过不了多久又会出来

但是进程是在的

[root@servername191 kafka_2.11-0.11.0.1]# jps
19047 -- process information unavailable
5039 Jps
13565 core
3430 Kafka
13454 QuorumPeerMain
14697 nimbus

jdk什么版本？这是我唯一想到的了。
不行的话兄弟你升到2.30试试。

问题是我消费和生成的程序都可以正常运行,但是外网的就不行就会报:org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 704708608 larger than 524288) ,真的是没办法

解决了吗？我也一样的问题

luyun

伴我同行 -> luyun 4年前

我换成单节点kafka就好了

luyun -> 伴我同行 4年前

Invalid receive (size = 704708608 larger than 524288)这个问题呢？我也遇到了呢，请问有解法嘛

kafka server.log 有没有报错

就报的这个错呢

[2019-12-23 05:44:31,268] INFO [SocketServer brokerId=0] Failed authentication with /172.17.0.1 (Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAM-SHA-256) (org.apache.kafka.common.network.Selector)，

我是先启动zk和kafka再创建admin用户的，因为是现成的docker镜像，只能先启动，再创建admin，再重启的，不知道这样是不是有问题

我也没解决,重装了kafka然后去掉了权限验证

半兽人 -> luyun 4年前

1、可能试图接收到太大的请求。最大大小是socket.request.max.bytes的默认大小，为100MB。因此，如果收到的消息大于100MB，尝试增加server.properties下此变量的值。

2、我看你报的是认证的错误，我怀疑你漏配了server内部协议

listeners=SASL_SSL://localhost:9093
security.inter.broker.protocol=SASL_SSL
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN

luyun -> 半兽人 4年前

我只是执行了kafka-console-producer.sh 命令，还没有发送消息到kafka，kafka那边就已经这个错了，我配置的是SASL_PLAINTEXT

那你也关注集群报什么错，认证日志信息等等，确认集群是否正常。

我用的是单节点，没搞集群呢

单节点也一样，你现在应该关注的是认证失败的错。

你的答案

查看kafka相关的其他问题或提一个您自己的问题。

kafka报错 :org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 704708608 larger than 524288)

你的答案

昵称