半兽人

245 声望

提出一个好问题往往比解决一个问题更重要。

提出一个好问题往往比解决一个问题更重要。

个人动态
  • 发表了 Pipelines管道入门  
    2天前
  • 发表了 Kubernetes Dashboard  
    2天前
  • 李晟泽 回复 半兽人kafka 远程配置报 Timed out waiting for a node assignment. 中 :

    谢谢大佬,问题发现了是您列出的两个。

    1. 我window10 的telnet 服务没开。
    2. 云服务器没有开启端口。
    2天前
  • 李晟泽 回复 半兽人kafka 远程配置报 Timed out waiting for a node assignment. 中 :

    我本地是 windows 10, telnet 之前没开通,我现在在开通中,我用的是腾讯云的主机,部署在香港的。

    等我开通了telnet 再试试。

    2天前
  • 半兽人 回复 李晟泽kafka 远程配置报 Timed out waiting for a node assignment. 中 :

    配置没有问题
    1、telnet测试外网是通的么?
    2、有的云厂商有白名单,也有可能引起。
    3、只配置内网地址(advertised.listeners删掉),如果单节点,默认会绑定到外网的,也不会影响外部调用。

    2天前
  • 半兽人 回复 识趣failed to run Kubelet: misconfiguration: kubelet cgroup driver: "cgroupfs" is different from docker cgroup driver: "systemd" 中 :

    修改docker的cgroup driver为systemd

    vi /etc/docker/daemon.json
    

    增加

    "exec-opts": ["native.cgroupdriver=systemd"]
    

    例如:

    {
    "graph": "/data/docker",
    "exec-opts": ["native.cgroupdriver=systemd"]
    }
    

    修改完成后重启docker服务

    systemctl restart docker
    

    为什么的原因可以参考:Kubernetes(k8s) cgroup默认为什么使用systemd?docker如何修改?

    3天前
  • 发表了 Tekton安装  
    4天前
  • 发表了 Tekton中文教程  
    5天前
  • 识趣 赞了 在 缩小 Kubernetes pod 为0,并保持配置、deployment等完好无损 的评论!

    你这么做是对的。

    通常情况下,如kubectl scale deploy my-awesome-deployment --replicas=0,这样就不需要指定特定文件了,但如果对你来说更方便,使用文件也没有错。

    6天前
  • what 赞了 在 缩小 Kubernetes pod 为0,并保持配置、deployment等完好无损 的评论!

    你这么做是对的。

    通常情况下,如kubectl scale deploy my-awesome-deployment --replicas=0,这样就不需要指定特定文件了,但如果对你来说更方便,使用文件也没有错。

    6天前
  • 南一 赞了 半兽人 获取kafka版本 · 6天前
  • 南一 赞了 半兽人 kafka入门介绍 · 9天前
  • 一如乞人不需要形象 关注了Ta · 11天前
  • 慢慢长夜 贬了 在 kubernetes入门概念 的评论!

    可以通过

    journalctl -u kube-proxy
    

    查看具体原因

    12天前
  • 14天前
  • 关注了Ta · 17天前
  • 关注了Ta · 19天前
  • 放肆 贬了 在 kafka怎么保证消息的顺序消费,并且要保证性能高? 的评论!

    kafka的顺序保证

    先回答第一个问题:

    尽管kafka服务器保证了消息的顺序,消息还是异步的发送给各个消费者,消费者收到消息的先后顺序不能保证了。这也意味着并行消费将不能保证消息的先后顺序。
    来自:kafka入门介绍

    核心意思是:虽然服务端保障了消息的顺序,但是多个消费者程序的能力参差不齐,也会而导致顺序的错乱。

    所以只能1个分区对应1个消费者,并且只有这种可能。

    再来,性能问题

    1个分区注定只能有1个消费者(多个消费者就是上面说的,还是会导致错乱)。

    我们来想象一下需要强一致性的业务,AB、AB顺序不能乱,举个话费充值的场景,先扣款再充值,如果顺序乱了,充值后再扣款,如果扣款不成功就会导致资损。

    一个消费者

    那么,我们来尝试一下,只有一个消费者的情况下如何来提高性能,顺序拿到消息后,多线程? 很遗憾不行,多线程大家都明白是无序的(其实和多消费者一个道理)。

    答案只有一个:顺序消费,一笔一笔的来。

    将不同的业务发送到partition中?

    不成立,那就是2个业务了,之间注定是没有耦合的,顺序根本谈不上了,所以也排除了。

    根据业务时间戳?

    也不行,因为你看不到整个消息的全貌,你怎么知道这条消息是最新的,也无法排序。

    同一种业务再细分

    将同一种业务,归类细分,比如手机号同一个地区的放到同一个分区里处理,这也是唯一能想到的基于业务拆分的性能提升方式了,kafka是做不到的。

    最后

    总接下来,通过kafka自身是无法做到的,只能在业务上动手脚(业务再细分),鱼和熊掌不可兼得。

    19天前
  • pebbles辉 关注了Ta · 24天前
  • KiriharaRyouji 关注了Ta · 26天前
  • 傲月寒 贬了 在 volatile关键字解析 - java并发 的评论!

    非常抱歉,留言我在整理文章的时候刚看到,回复太迟了。

    x=y,实际上包含2个操作,它先要去读取x的值,再将x的值写入工作内存,虽然读取x的值以及将x的值写入工作内存这2个操作都是原子性操作,但是合起来就不是原子性操作了。

    当第一步已经读取x的值之后,x发生了改变,那第二步的结果就已经是错误的。

    原子性的核心原则只有一个,所以体现在java底层里,动作只有一次的,叫原子性。

    1月前
  • G1-JVM 赞了 在 kafka频繁报 OutOfMemoryError: Direct buffer memory 异常 的评论!

    看了下,是你的消息堵塞的太严重了,来不及发送,越堆越多,导致的oom。

    • 减少延迟,因为你的消息量级已经够了,不要等待0.1秒了,改成1或者0

      prop.put(ProducerConfig.LINGER_MS_CONFIG, 100);// 该参数是控制消息发送延时的 默认参数是0
      
    • batch.size,虽然加大了,但是你带宽不够,来不及发送。

      prop.put(ProducerConfig.BATCH_SIZE_CONFIG, 1048576);// 默认参数事16384即16KB
      
    • acks=0
      acks=0 如果设置为0,那么生产者将不等待任何消息确认。消息将立刻添加到socket缓冲区并考虑发送。在这种情况下不能保障消息被服务器接收到。并且重试机制不会生效(因为客户端不知道故障了没有)。每个消息返回的offset始终设置为-1。

    • 更多生产者配置,参考:Kafka Producer配置

    最后

    其实就是消息太多,而来不及发送,导致的。

    很大可能是kafka服务器节点的硬件(如网络)到达了瓶颈,你可以通过增加分区数/或者kafka节点数来分摊压力,提高发送速度,减少堵塞的消息量。

    1月前
  • 关注了用户 Lance.Wu · 1月前
  • 赞了 半兽人kubernetes测试环境有多个项目空间如何创建一个serviceaccount可以访问所有项目? 的评论!

    创建serviceaccount

    apiVersion: v1
    kind: ServiceAccount
    metadata:
      name: sa-all
      namespace: test-namespace
    

    创建一个是集群角色(设置访问权限)

    apiVersion: rbac.authorization.k8s.io/v1
    kind: ClusterRole
    metadata:
      annotations:
        rbac.authorization.kubernetes.io/autoupdate: "true"
      labels:
        kubernetes.io/bootstrapping: rbac-defaults
      name: cluster-role-all
    rules:
    - apiGroups:
      - '*'
      resources:
      - '*'
      verbs:
      - '*'
    - nonResourceURLs:
      - '*'
      verbs:
      - '*'
    

    *代表所有。

    verbs包括 ["get", "list", "watch", "create", "update", "patch", "delete"]权限。

    你也可以设置部份权限和资源,如下

    apiVersion: rbac.authorization.k8s.io/v1
    kind: ClusterRole
    metadata:
      name: monitoring-endpoints
      labels:
        rbac.example.com/aggregate-to-monitoring: "true"
    # 当你创建 "monitoring-endpoints" ClusterRole 时,
    # 下面的规则会被添加到 "monitoring" ClusterRole 中
    rules:
    - apiGroups: [""]
      resources: ["services", "endpoints", "pods"]
      verbs: ["get", "list", "watch"]
    

    通过kubectl api-resources命令可以查看kubernetes当前版本apiGroups和resources。

    NAME                              SHORTNAMES       APIGROUP                       NAMESPACED   KIND
    bindings                                                                          true         Binding
    componentstatuses                 cs                                              false        ComponentStatus
    configmaps                        cm                                              true         ConfigMap
    endpoints                         ep                                              true         Endpoints
    events                            ev                                              true         Event
    limitranges                       limits                                          true         LimitRange
    namespaces                        ns                                              false        Namespace
    nodes                             no                                              false        Node
    persistentvolumeclaims            pvc                                             true         PersistentVolumeClaim
    persistentvolumes                 pv                                              false        PersistentVolume
    pods                              po                                              true         Pod
    podtemplates                                                                      true         PodTemplate
    replicationcontrollers            rc                                              true         ReplicationController
    resourcequotas                    quota                                           true         ResourceQuota
    secrets                                                                           true         Secret
    serviceaccounts                   sa                                              true         ServiceAccount
    services                          svc                                             true         Service
    mutatingwebhookconfigurations                      admissionregistration.k8s.io   false        MutatingWebhookConfiguration
    validatingwebhookconfigurations                    admissionregistration.k8s.io   false        ValidatingWebhookConfiguration
    customresourcedefinitions         crd,crds         apiextensions.k8s.io           false        CustomResourceDefinition
    apiservices                                        apiregistration.k8s.io         false        APIService
    applications                                       app.k8s.io                     true         Application
    controllerrevisions                                apps                           true         ControllerRevision
    daemonsets                        ds               apps                           true         DaemonSet
    deployments                       deploy           apps                           true         Deployment
    replicasets                       rs               apps                           true         ReplicaSet
    statefulsets                      sts              apps                           true         StatefulSet
    workflows                         wf               argoproj.io                    true         Workflow
    tokenreviews                                       authentication.k8s.io          false        TokenReview
    localsubjectaccessreviews                          authorization.k8s.io           true         LocalSubjectAccessReview
    selfsubjectaccessreviews                           authorization.k8s.io           false        SelfSubjectAccessReview
    selfsubjectrulesreviews                            authorization.k8s.io           false        SelfSubjectRulesReview
    subjectaccessreviews                               authorization.k8s.io           false        SubjectAccessReview
    horizontalpodautoscalers          hpa              autoscaling                    true         HorizontalPodAutoscaler
    cronjobs                          cj               batch                          true         CronJob
    jobs                                               batch                          true         Job
    certificatesigningrequests        csr              certificates.k8s.io            false        CertificateSigningRequest
    leases                                             coordination.k8s.io            true         Lease
    events                            ev               events.k8s.io                  true         Event
    daemonsets                        ds               extensions                     true         DaemonSet
    deployments                       deploy           extensions                     true         Deployment
    ingresses                         ing              extensions                     true         Ingress
    networkpolicies                   netpol           extensions                     true         NetworkPolicy
    podsecuritypolicies               psp              extensions                     false        PodSecurityPolicy
    replicasets                       rs               extensions                     true         ReplicaSet
    pytorchjobs                                        kubeflow.org                   true         PyTorchJob
    scheduledworkflows                swf              kubeflow.org                   true         ScheduledWorkflow
    studyjobs                                          kubeflow.org                   true         StudyJob
    tfjobs                                             kubeflow.org                   true         TFJob
    compositecontrollers              cc,cctl          metacontroller.k8s.io          false        CompositeController
    controllerrevisions                                metacontroller.k8s.io          true         ControllerRevision
    decoratorcontrollers              dec,decorators   metacontroller.k8s.io          false        DecoratorController
    alertmanagers                                      monitoring.coreos.com          true         Alertmanager
    prometheuses                                       monitoring.coreos.com          true         Prometheus
    prometheusrules                                    monitoring.coreos.com          true         PrometheusRule
    servicemonitors                                    monitoring.coreos.com          true         ServiceMonitor
    networkpolicies                   netpol           networking.k8s.io              true         NetworkPolicy
    poddisruptionbudgets              pdb              policy                         true         PodDisruptionBudget
    podsecuritypolicies               psp              policy                         false        PodSecurityPolicy
    clusterrolebindings                                rbac.authorization.k8s.io      false        ClusterRoleBinding
    clusterroles                                       rbac.authorization.k8s.io      false        ClusterRole
    rolebindings                                       rbac.authorization.k8s.io      true         RoleBinding
    roles                                              rbac.authorization.k8s.io      true         Role
    priorityclasses                   pc               scheduling.k8s.io              false        PriorityClass
    storageclasses                    sc               storage.k8s.io                 false        StorageClass
    volumeattachments                                  storage.k8s.io                 false        VolumeAttachment
    

    将ServicesAccount与ClusterRole绑定

    apiVersion: rbac.authorization.k8s.io/v1
    kind: ClusterRoleBinding
    metadata:
      annotations:
        rbac.authorization.kubernetes.io/autoupdate: "true"
      labels:
        kubernetes.io/bootstrapping: rbac-defaults
      name: cluster-role-all-binding
    roleRef:
      apiGroup: rbac.authorization.k8s.io
      kind: ClusterRole
      name: cluster-role-all
    subjects:
    - kind: ServiceAccount
      name: sa-all
      namespace: test-namespace
    

    使用方式

    在你使用的test-namespace命名空间中的所有的工作负载当中都可以使用ServiceAccount。

    在Pod当中使用

    如果当前工作负载未绑定ServiceAccount,则会自动绑定defaultServiceAccount。

    apiVersion: v1
    kind: Pod
    metadata:
      name: test-pod
      namespace: test-namespace
    spec:
      serviceAccountName: sa-all
      automountServiceAccountToken: false
      ...
    

    另外一种方式,还可以通过文件卷挂载的方式使用

    apiVersion: v1
    kind: Pod
    metadata:
      name: test-pod
      namespace: test-namespace
    spec:
      containers:
      - image: nginx
        name: nginx
        volumeMounts:
        - mountPath: /var/run/secrets/tokens
          name: vault-token
      serviceAccountName: sa-all
      volumes:
      - name: vault-token
        projected:
          sources:
          - serviceAccountToken:
              path: vault-token
              expirationSeconds: 7200 # 过期时间
              audience: vault
    

    kubernetes会替 Pod 请求令牌并将其保存起来,通过将令牌存储到一个可配置的 路径使之在 Pod 内可用,并在令牌快要到期的时候刷新它。 kubelet 会在令牌存在期达到其 TTL 的 80% 的时候或者令牌生命期超过 24 小时 的时候主动轮换它。

    参考文献

    https://www.orchome.com/1315

    https://www.orchome.com/1308

    1月前
  • 关注了 {{10420 | filter2}} · 2月前
  • 订阅了 kafka 主题! · 2月前
  • 赞了 半兽人kafka入门介绍 的评论!

    感觉楼主的那个鸡蛋标签篮子的抽象很有意思,我这里做个拓展。

    某一天举办了一次吃鸡蛋大赛,可以以小组的形式参加,报名结束后,一共有两个小组参加:

    • A小组有三个人A1,A2,A3,
    • B小组有两个人B1,B2

    在他们面前各自放着三条流水线,鸡蛋从流水线滚下来(3 个 分区),厨师(生产者)在后台不停的往流水线里加鸡蛋,防止参赛选手(消费者)不够吃。

    A小组正巧有三个人,就一人负责一条流水线,按照流水线的上鸡蛋的顺序吃。

    B小组只有两个人,其中 B1 饭量比较大,独自负责两条流水线,这条流水线吃一个,那条流水线吃一个。

    这里就对应了一个参赛选择按鸡蛋的生产顺序进行吃鸡蛋,比如A小组,那么每个人吃的鸡蛋的顺序都是按照厨师放入流水线的顺序。而B小组B1这个人,就一会儿这吃个一会儿吃那个,没有一个顺序性保证了。

    比赛的结局就是谁最后吃的鸡蛋最多,谁就获胜。

    2月前
  • 赞了 半兽人kafka中文教程 的评论!

    看完入门这一部分,回答一下第一个问题:kafka 节点直接是如何复制备份的。
    1、kafka数据存储以主题分区为单位
    2、每个分区可以存储在多台 kafka 服务器上
    3、每个分区在某台服务器上以 leader 方式存在,其他服务器以 follower 方式存在
    4、leader负责分区的读写,写请求会转发到其他服务器进行消息同步,当消息同步到所有 follower 节点上并且写入完成后,即使大部分节点挂掉了,只剩一个节点了,那么还是能正常服务的。这里就是所谓的 kafka 复制备份吧

    2月前
  • 关注了用户 春秋. · 2月前
  • 关注了用户 LKD · 2月前
  • 赞了 半兽人kafka connector自带的producer如何更改配置? 的评论!

    结论:
    max.request.size=104857600 是connector内部topic的prodcuer的配置.
    producer.max.request.size=104857600 是connector source record 的prodcuer的配置.

    3月前
  • 赞了 半兽人zookeeper与kafka之间具体的是一种什么关系呢? 的评论!

    zk是一个分布式文件系统,采用了类raft协议进行选举。很多多主式的分布式程序采用抢占zk节点的方式进行选举,这样就不必自己做raft这一部分了。有的程序也会在zk上注册节点存放一些元数据。
    kafka 之前也是采用zk存放元数据,节点发现和进行选举等,这样各个节点间可以一定程度解耦。随着版本的更新,kafka逐渐将元数据放在broker中,以达到轻依赖的目的。2.8版本开放了kraft的试用模式,实现了类似es的raft选举方式,后续版本会逐步脱离zk的束缚。
    但是这也会带来新的问题,后期kafka 扩容升级时涉及到主节点可能会变得麻烦,监控方案也是一个考验。

    3月前
  • 赞了 mysql查找重复的行 · 4月前