728x90 반응형 SMALL Come on IT/DevOps28 Kubernetes 인증서 만료로 인한 서버 장애 해결 1. 글을 작성하게 된 계기 운영 중인 Kubernetes 클러스터에서 갑작스럽게 kubectl 명령어가 동작하지 않는 문제가 발생했다.단순한 노드 이슈 정도로 생각했지만, 원인은 바로 Kubernetes TLS 인증서 만료였다. kubeadm 기반 클러스터에서 인증서 만료는 생각보다 흔하지만, 매뉴얼을 보지 않으면 대응이 어렵다.이 글에서는 장애가 어떻게 발생했고, 어떤 방식으로 문제를 해결했는지 실제 사례 기반으로 정리한다. 2. 증상평소처럼 kubectl get nodes 를 입력했는데, 다음 에러가 출력되었다. tls: failed to verify certificate: x509: certificate has expiredcurrent time 2025-12-02... is after 2025-.. 2025. 12. 2. prometheus-kube-prometheus-kube-controller-manager/0 해결방법 1. 글을 쓰게 된 계기 마스터 노드에서 정상적으로 수집이 안될 때 해결하는 방법에 대해서 정리하고자 합니다. 2. 해결방법 kube-controller-manager가 10257 포트에서 리슨 중인지 확인먼저 kube-controller-manager가 10257 포트에서 제대로 실행 중인지 확인해야 합니다.🛠️ 40번 마스터 노드에서 실행:netstat -tunlp | grep 10257 👉 결과 확인정상 (0.0.0.0:10257 또는 127.0.0.1:10257으로 리슨 중) → Prometheus 접근 문제일 가능성 큼.아무 결과도 없음 → kube-controller-manager가 해당 포트를 열지 않음 → 설정 변경 필요. kube-controller-manager가 localhost.. 2025. 2. 26. Prometheus exporter 에서 수집이 안되는 경우 (feat. grafana) 1. 글을 쓰게 된 계기 현재는 해결되어서 위와 같은 상황이지만,이전에는 1개의 노드에 대해서 안되는 이슈가 있었습니다. serviceMonitor/monitoring/prometheus-prometheus-node-exporter/0 (3/3 up) 그래서 이를 해결하는 방법을 정리해놓고자 합니다. 2. 해결 방법 calicoctl get node super -o yaml spec: addresses: - address: 192.168.0.8/24 type: CalicoNodeIP - address: 192.168.0.50 type: InternalIP bgp: ipv4Address: 192.168.0.8/24 ipv4IPIPTunnelAddr: 192.168.78.192 .. 2025. 2. 26. K8s 워커노드 추가하는 방법 1. 글을 작성하게 된 계기 K8s에서 마스터노드와 워커노드를 구축하다가추후 서버가 새로 구입되면서 기존에 쿠버네틱스에워커노드를 추가하기 위해서 글을 작성하게 되었다. 2. 노드 추가 방법 1. 마스터노드인 control-plane에서 새로운 워커 노드가 클러스터에 조인할 수 있도록 토큰 생성 kubeadm token create --print-join-command# kubeadm join 192.168.1.100:6443 --token abcdef.1234567890abcdef \# --discovery-token-ca-cert-hash sha256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 2. 새로운 노드에서 1번에서.. 2025. 2. 14. bpf_jit 증가에 따른 seccomp 오류 해결 방법 (error loading seccomp filter) 1. 글을 쓰게 된 계기 k8s와 docker 등을 수없이 여러번 올렸다 내렸다하는 작업을 진행하고추후에 docker를 띄울려고 하니 seccomp 오류 등 각종 오류들이 나왔다. 이를 해결하는 방법에 대해 설명하고자 한다. (근본적인 해결방법은 아닌듯하다.) Failed to create pod sandbox: rpc error: code = Unknown desc = failed to create containerd task: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: unable to init seccomp: error loading seccomp.. 2025. 1. 4. K8s namespace가 deleted 안될 때 (feat. monitoring) kubectl delete namespace monitoring 명령을 실행했는데, namespace "monitoring" deleted 메시지가 출력되었음에도 불구하고 실제로 네임스페이스가 삭제되지 않을 때는, 종종 네임스페이스 내에서 제거되지 않은 리소스가 원인이 될 수 있습니다. 네임스페이스가 "Terminating" 상태로 남아 있는 경우가 대표적인 예입니다. 이를 해결하기 위한 방법은 다음과 같습니다. 1. 네임스페이스 강제 삭제 시도우선 네임스페이스를 강제 삭제할 수 있습니다.kubectl get namespace -o json | jq '.spec = {"finalizers":[]}' | kubectl replace --raw "/api/v1/namespaces//finalize" -f .. 2024. 10. 14. 이전 1 2 3 4 5 다음 728x90 반응형 LIST
