vector — 고성로그·메트릭 파이프라인

Linux / 서버 로그 기록 및 분석 / vector.html

💬 "vector 명령어"

vector는 고성로그·메트릭 파이프라인 Datadog에서 오픈소스로 배포한 고성능 데이터 파이프라인입니다. 로그·메트릭을 수집·변환·송출합니다.

Rust 기반이라 Fluentd 대비 3~10배 빠릅니다. 로그·메트릭·트레이스를 하나의 바이너리로 처리합니다.

• 개념: Rust 기반이라 Fluentd 대비 3~10배 빠릅니다.
• 주요 기능: 로그·메트릭·트레이스를 하나의 바이너리로 처리합니다.
• 장점: TOML 기반 간단한 설정을 씁니다.
• 활용: HTTP·Kafka·S3·Elasticsearch·Datadog 등 다양한 소스·싱크를 지원합니다.

설치 및 다운로드

vector는 패키지 매니저 또는 공식 스크립트로 설치합니다.

설치 확인은 vector --version으로 합니다.

자주 쓰는 옵션

필수 명령어 조합 3가지

• vector validate --config /etc/vector/vector.toml — 설정 검증
• vector top — 실시간 처리량·오류 모니터링
• vector tap <source> — 소스 데이터 미리보기

💬 "실제 서버에서 vector를 사용하는 예시를 보여줘"

실제 운영 중인 서버에서 자주 만나는 상황을 순서대로 정리했습니다.

1단계 · 설치 확인

설치 여부를 확인합니다.

vector --version || curl --proto '=https' --tlsv1.2 -sSf https://sh.vector.dev | sh

2단계 · 설정 검증

vector.toml 설정을 검증합니다.

sudo vector validate --config /etc/vector/vector.toml

3단계 · 모니터링

실시간 처리를 확인합니다.

sudo vector top

실제 실행 화면

vector.toml 설정을 작성하고 검증한 결과입니다.

실제 운영 중인 서버

실무에서는 이렇게 씁니다

1. nginx 로그 수집 설정

상황 — nginx access 로그를 수집합니다.

[sources.nginx]\ntype = "file"\ninclude = ["/var/log/nginx/access.log"]

결과 — 로그 파일이 소스로 등록됩니다.

포인트 — 파일과 Elasticsearch에 동시 송출 가능합니다.

2. 실시간 모니터링

상황 — 처리량을 모니터링합니다.

sudo vector top

결과 — nginx 소스에서 142 events/s가 처리됩니다.

포인트 — 실시간 병목 확인이 가능합니다.

실제 실행 화면

vector top으로 실시간 처리를 모니터링한 결과입니다.

실제 운영 중인 서버

주의할 점

• Vector은 아직도 빠르게 변하고 있습니다. 설정 형식이 버전에 따라 달라질 수 있습니다.
• VRL은 강력하지만 학습 곡선이 있습니다. 단순 변환부터 시작합니다.
• 대량 로그 환경에서는 디스크 버퍼(buffer) 설정이 필수입니다. 송신 지연 시 로그 유실을 방지합니다.