Primes's Infra Tech

프로젝트를 진행하며 활용 중인 스킬 트레이너에 대해 작성한다. 사실 이 기능은 네이버 쪽 가이드만 봐서는 긴가만가한 부분이 많다. 그래도 먼저 사용 가이드를 쭉 보는 것을 추천한다. 스킬 트레이너 화면 (ncloud-docs.com) 스킬 트레이너 화면 guide.ncloud-docs.com 스킬 트레이너는 단적으로 말하면, 외부 API 를 가져와 LLM 에게 학습시켜 해당 데이터를 활용해 답변할 수 있도록 하는 것이다. 즉, 데이터를 제공할 수 있는 API 를 사용해야만 한다. AI 특화 학습을 할 때 흔히들 알고 있는 파인튜닝(Fine-tuning)과는 조금 다른 개념이다. 파인 튜닝은 CLOVA Studio 에서는 [튜닝] 기능으로 활용하면 된다. 튜닝의 경우에는 다량의 학습 데이터셋을 직접 주입시..

최근, 프로젝트를 진행하면서 네이버 클라우드의 CLOVA Studio 서비스를 활용하게 되었다. Studio 서비스는 본래 클로즈 베타 서비스로 운영하다가 이제 오픈 베타로 전환되면서 사용자가 더욱 늘어날 것으로 보이지만 생각보다 참고할 자료는 많지 않은 상황이다. 나는 NCAI 공인 교육을 수강했고, 네이버 클라우드에서 진행하는 세미나를 듣는 등 여러 기초학습을 진행한 뒤 현재 프로젝트에서 직접 빌드를 짜보는 등 실습을 진행해보고 있다. 학습하는 과정을 기록해보며 복습, 그리고 도움이 될 만한 부분들을 정리하여 업로드한다. LLM과 CLOVA Studio 서비스에 대해 Studio 서비스는 익히 우리가 알고있는 ChatGPT 와 동일한 LLM 모델이다. 다만 실제로 프로젝트를 진행하고 실습을 해보며 느..

Controlplane 트러블슈팅 먼저 리소스를 조회해본다. 어느 부분이 문제인지 확인이 필요하다. deploy 의 app 리소스가 Ready 상태이지 못한 것을 확인한다. 파드가 정상적인 상태가 아님을 확인하였다. Worker node 트러블슈팅 node01 이 준비되지 않은 상태임을 확인 node01로 접속하여 확인한다. kubelet 이 dead 상태임을 확인, 재시작한 뒤 상태를 다시 확인해본다. 이제 정상적으로 Ready 상태임을 확인 다시 한번 node01이 NotReady 상태이다. 트러블 슈팅을 진행한다. 노드에 접속해보니 kubelet이 active 상태가 아니다. journalctl 명령어로 로그를 확인해본다. 인증 쪽에 문제가 있다고 추정, kubelet의 config 를 확인한다. ..

마스터 노드와 워커 노드에 kubeadm과 kubelet을 설치한다. 설치 방법은 공식 가이드 문서를 따른다. Container Runtimes | Kubernetes Container Runtimes Note: Dockershim has been removed from the Kubernetes project as of release 1.24. Read the Dockershim Removal FAQ for further details. You need to install a container runtime into each node in the cluster so that Pods can run there. This page outlines what kubernetes.io 각 노드 모두 설정을 마치..

Explore Environment 노드의 세부적인 사항의 조회를 원한다면 -o wide 옵션을 사용한다. k get nodes -o wide 내부 / 외부 IP 를 조회할 수 있다. 노드의 MAC 주소를 확인하는 방법은 노드에 접속하여 확인할 수 있다. 단, 마스터 노드의 경우 호스트와 공유하므로 호스트의 MAC 주소를 확인하면 된다. 마스터 노드가 사용하는 Default Gateway는, 호스트의 설정을 따라간다. 따라서 ip route로 조회한다. 노드 내 프로세스가 사용하는 포트 등의 정보를 조회할때는 netstat 을 사용한다. netstat에는 옵션이 다양하기 때문에, --help 를 활용하는 것이 좋다. kube-scheduler 가 사용하는 포트를 조회한다. 이 때, 옵션을 활용하는 것이 ..

Persistent Volume Claims 파드의 로그 저장 경로를 설정해본다. pod를 kubectl 로 edit 하여 로그를 저장할 경로를 추가한다. 조건은 다음과 같다. 조건에 따라 Persistent Volume 을 생성한다. 쿠버네티스의 공식 문서를 참고한다. Persistent Volumes | Kubernetes Persistent Volumes This document describes persistent volumes in Kubernetes. Familiarity with volumes is suggested. Introduction Managing storage is a distinct problem from managing compute instances. The Persisten..

ServiceAccount service account 생성하기 deployment 수정하여 serviceaccount 반영하기 dashboard-sa 서비스 계정을 deployment에 추가하여 해당 ServiceAccount가 deployment에 적용되도록 한다. 먼저 수정을 위해 yaml 파일을 생성한다. vi 편집기를 열어 내부를 수정한다. 이 때 주의할 점은 deployment 가 생성할 파드에 지정을 하는 것이기 때문에 파드 쪽에 항목을 추가해야 한다. 항목 추가 후 apply 로 적용한다. Security Context SecurityContext 는 파드의 보안 설정을 담당하는 부분이다. 파드의 설정에 ScurityContext 설정을 추가해본다. 조건은 다음과같다. ubuntu-slee..

View Certification cat /etc/kubernetes/manifests/kube-apiserver.yaml 위 명령어를 통해 kube-apiserver 가 사용하는 certificate file 을 확인할 수 있다. 인증서의 정보에 대해서는 crt 파일을 직접 열람해보면 확인 가능하다. apiserver의 crt 파일에서 인증서 발급자는 kube-apiserver 이고, 인증서 CA는 kubernetes 임을 확인 가능하다. 이와 동일하게, etcd 서버의 인증서 파일은 해당 경로에서 확인 가능하다. (openssl x509 -in /etc/kubernetes/pki/etcd/server.crt -text) kube-apiserver 트러블 슈팅하기 kubectl 명령어가 먹히지 않는 상..

OS Upgrade k get pods -o wide wide 명령어를 사용하면 좀더 자세하게 정보를 조회 가능하다. drain 명령어를 그냥 실행하면 daemonset 으로 인해 삭제될 수 없음을 얼럿한다. 여기선 ignore-daemonsets 명령어를 사용하면 삭제 가능하다. drain 명령어를 사용하면 노드에 위치했던 파드들이 전부 다른 노드들로 이동한다. drain 되어 스케줄링이 없는 노드를 다시 활성화시킨다. uncordon 명령어를 사용하면 다시 Ready 상태로 돌아온다. pod의 node는 유지하되, 더 이상 스케줄링이 되지 않도록 disable 하고 싶다면, cordon 명령어를 사용하면 된다. SchedulingDisabled 되었지만 이미 스케줄링 된 파드의 설정은 남아있음을 확인..

Monitor Cluster Component 모니터링 툴을 다운받고 k create -f . 으로 구성요소들을 모두 설치하여 top 명령어를 통해 각 요소들의 메트릭 수치를 확인할 수 있다. 간단! 로그를 활용하는 명령어는 위와 같다. 파드 내 로그를 확인할 수 있다. Rolling Update deploy에서 Rolling update 를 진행할 때, 몇 개의 파드가 업데이트를 진행하는지는 describe 를 통해 알 수 있다. RolingUpdateStrategy 부분에서, 25% 라고 되어있음을 알 수 있다. 예를 들어 파드가 4개라면 25%에 해당하는 1개의 파드만 업데이트를 진행하게 된다. edit 명령어를 통해 배포 전략을 변경한다면, strategy / type 부분을 수정한다. Comma..