Elasticsearch 아키텍처 구성 요소

물론이죠! 임나현님의 ElasticSearch 기술 블로그 포스트를 전문적이고 깊이 있는 내용으로 정리해드릴게요. 실무에서도 바로 참고할 수 있도록 구성 요소들의 개념, 관계, 실무 팁까지 포함했습니다. 아래 포스트는 마크다운 포맷이며, 티스토리 또는 노션 등 어디에 붙여넣어도 어울리도록 구성해두었습니다.

---

🛠 Elasticsearch 아키텍처 완전 정복: 클러스터, 노드, 인덱스, 샤드, 레플리카

Elasticsearch는 대용량 분산 검색 엔진으로, 고성능 검색과 실시간 로그 분석 등에 강력한 성능을 발휘합니다.
이번 글에서는 Elasticsearch의 핵심 아키텍처인 클러스터, 노드, 인덱스, 샤드, 레플리카의 개념과 이들 간의 관계를 실무적인 시각으로 자세히 살펴봅니다.

---

📌 전체 구성 요소 한눈에 보기

구성 요소	설명
클러스터 (Cluster)	Elasticsearch 전체 시스템 단위
노드 (Node)	클러스터에 참여하는 서버 한 대
인덱스 (Index)	문서(Document)들의 논리적 집합
샤드 (Shard)	인덱스를 물리적으로 분할한 단위
레플리카 (Replica)	샤드의 복제본, 고가용성 보장

---

🔧 1. 클러스터 (Cluster)

Elasticsearch의 전체 시스템이며, 하나 이상의 노드로 구성됩니다.

• 모든 데이터를 저장하고 인덱싱 및 검색을 수행하는 논리적 시스템 단위
• cluster.name 설정으로 클러스터를 식별
• 클러스터 내 모든 노드는 이 이름을 공유해야 함

📌 실무 팁

• 동일 클러스터명(cluster.name) 설정이 안 되면 노드 간 연결이 되지 않아 분산처리 불가능

---

🖥️ 2. 노드 (Node)

클러스터에 속한 서버 하나를 의미하며, 다양한 역할(Role)을 가질 수 있습니다.

🎯 주요 역할

역할	설명
마스터 노드	클러스터 상태 및 메타데이터 관리 (노드 추가/제거, 인덱스 생성 등)
데이터 노드	데이터를 실제 저장하고 검색/집계 처리
코디네이팅 노드	클라이언트 요청 수신 및 적절한 노드에 분배

📌 실무 팁

• 운영 환경에서는 역할을 분리해서 안정성과 성능을 높이는 것이 일반적입니다.

---

📁 3. 인덱스 (Index)

Elasticsearch에서 데이터를 저장하는 기본 단위입니다.
MySQL로 치면 “테이블”에 해당하는 개념입니다.

• 하나의 인덱스는 여러 개의 문서를 포함
• 내부적으로는 여러 샤드(shard)로 구성됨
• RESTful API로 생성/조회/삭제 가능

# 인덱스 생성 예시
PUT /law_documents
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1
  }
}

---

🧩 4. 샤드 (Shard)

인덱스를 수평으로 나누어 데이터를 분산 저장하는 단위입니다.

• 각각 하나의 Lucene 인스턴스로 동작
• 데이터를 분산 저장하여 병렬 처리, 확장성 확보
• 샤드 수는 인덱스 생성 시 결정되며, 생성 이후 변경이 어려움

🧠 프라이머리 샤드 vs 레플리카 샤드

종류	설명
Primary Shard	데이터의 원본 저장소
Replica Shard	Primary의 복제본, 장애 대비 및 읽기 부하 분산 역할

📌 주의
샤드를 너무 많이 설정하면 자원 오버헤드가 발생하고, 너무 적으면 분산 효과를 제대로 못 누립니다.

---

🛡️ 5. 레플리카 (Replica)

샤드의 복제본으로, 장애 복구 및 검색 성능 향상을 위한 핵심 요소입니다.

• 각 Primary Shard는 하나 이상의 Replica를 가질 수 있음
• Replica는 항상 다른 노드에 분산되어 저장됨
• Primary가 장애 시 Replica가 자동으로 Primary로 승격됨

📌 실무 팁

• 중요한 데이터일수록 높은 Replica 수 설정 (ex. 2~3개)
• Replica는 인덱싱은 하지 않지만 검색 처리에는 적극 참여하여 성능 향상에 기여

---

🧭 아키텍처 관계도

📦 클러스터 (cluster.name: my-cluster)
 ├── 🖥️ 노드 A (마스터 + 데이터 노드)
 │    └── law_documents 인덱스
 │         ├── 🧩 샤드 0 (Primary)
 │         ├── 🧩 샤드 1 (Primary)
 │         └── 🛡️ 샤드 2 (Replica)
 └── 🖥️ 노드 B (데이터 노드)
      └── law_documents 인덱스
           ├── 🛡️ 샤드 0 (Replica)
           └── 🧩 샤드 2 (Primary)

---

✅ 실무에서의 고려사항 요약

항목	고려 포인트
샤드 수	초기에 신중하게 설계해야 함. 변경 불가
Replica 수	데이터 중요도 및 검색 부하에 따라 결정
노드 구성	역할 분리로 안정성과 확장성 확보
클러스터명	동일한 cluster.name 설정 필수
장애 복구	Replica 승격 메커니즘 이해 필수

---

추가로 『엘라스틱서치 바이블』(여동현 지음)책에서 읽은 주제중 Elasticsearch와 Lucene 구조에 대한 기초 개념 설명 내용을 정리해보고자한다.

---

🧠 Elasticsearch와 Lucene의 구조 이해하기

『엘라스틱서치 바이블』 기반 핵심 개념 정리

---

✅ Elasticsearch의 핵심 기반: Lucene

Elasticsearch를 이해하기 위해서는 그 핵심 기술인 Lucene에 대한 이해가 선행되어야 합니다.
Elasticsearch는 Lucene을 기반으로 개발된 분산형 검색 엔진 시스템이며, 내부적으로 모든 검색 기능은 Lucene에 의해 수행됩니다.

---

🔍 Lucene이란?

Lucene은 Apache Software Foundation에서 개발한 자바 기반의 고성능 검색 엔진 라이브러리입니다.
색인 생성(indexing), 텍스트 분석(tokenization), 역색인 구조 구축, 검색 쿼리 실행, 점수화(scoring) 등 검색 시스템에서 필요한 핵심 기능을 모두 포함하고 있습니다.

다만, Lucene은 라이브러리 수준의 저수준 API만 제공하기 때문에 다음과 같은 특징이 있습니다:

• 검색 쿼리를 자바 코드로 직접 작성해야 함
• 저장소(파일 시스템)에 대한 직접적인 관리가 필요
• 복제 및 장애 대응 기능 없음
• REST API가 없어 외부 시스템과의 연동이 어려움

즉, Lucene은 매우 강력하지만, 실무에서 검색 시스템을 구축하기 위해서는 다양한 기능을 직접 구현해야 한다는 한계가 존재합니다.

---

📌 Elasticsearch의 등장 배경

Elasticsearch는 Lucene의 기능을 보다 쉽게 사용할 수 있도록 추상화된 분산 검색 엔진 애플리케이션입니다.
Lucene의 복잡한 구조를 감추고, 실제 운영 환경에서 필요한 다양한 기능을 내장하고 있습니다.

Elasticsearch가 제공하는 주요 기능은 다음과 같습니다:

기능	설명
REST API 지원	HTTP 기반의 간단한 요청으로 검색, 색인, 분석 수행
분산 구조	클러스터 기반으로 데이터를 여러 노드에 분산 저장
고가용성	샤드와 레플리카 구조를 통한 장애 대응
JSON 문서 기반 저장	NoSQL 형태의 유연한 문서 데이터 처리
실시간 색인 및 검색	거의 실시간에 가까운 데이터 반영 속도

즉, Elasticsearch는 Lucene의 강력한 검색 기능을 그대로 유지하면서도, 운영 환경에서 실질적으로 활용할 수 있도록 구성된 완성형 시스템이라고 할 수 있습니다.

---

🧩 Elasticsearch 내부 구조와 Lucene의 관계

Elasticsearch는 내부적으로 Lucene 인스턴스를 샤드(Shard) 단위로 관리합니다.
각 샤드는 하나의 Lucene 인덱스를 포함하며, 실제 데이터 저장 및 검색은 Lucene이 담당합니다.

• 하나의 Elasticsearch 인덱스는 여러 개의 샤드로 구성됨
• 각 샤드는 개별 Lucene 인덱스를 포함함
• Elasticsearch는 Lucene 샤드의 분산 배치, 복제, 클러스터 상태 관리 등을 담당

📌 정리하면:
Lucene = 검색 엔진 핵심 기능
Elasticsearch = Lucene을 감싼 분산 운영 시스템

---

🧠 구조적 비교

항목	Lucene	Elasticsearch
형태	자바 라이브러리	서버 애플리케이션
사용 방식	자바 API 직접 호출	REST API
데이터 저장	단일 인덱스	샤드 단위 분산 저장
복제 및 장애 대응	없음	레플리카 기반 자동 복구
클러스터링	직접 구현 필요	기본 지원

---

✅ 결론

Lucene은 검색 엔진 기술의 핵심이며, Elasticsearch는 이 Lucene을 기반으로 현실적인 운영 환경에 맞게 설계된 분산 검색 플랫폼입니다.
따라서 Elasticsearch를 깊이 있게 이해하기 위해서는 Lucene의 동작 방식과 인덱스 구조에 대한 이해가 반드시 필요합니다.

『엘라스틱서치 바이블』에서도 Lucene의 구조와 Elasticsearch의 아키텍처를 연계하여 설명하고 있으며, Lucene이 어떻게 Elasticsearch의 핵심으로 작동하는지를 이해하는 것이 전체적인 구조를 파악하는 데 매우 중요하다고 강조합니다.

---

✨ 마치며

Elasticsearch는 단순한 검색 엔진을 넘어서 대용량 분산 저장소 + 고성능 검색 시스템으로 활용할 수 있습니다.
아키텍처를 정확히 이해하고 구성 요소 간의 관계를 명확히 파악하면, 더 견고하고 확장 가능한 시스템을 설계할 수 있습니다.