네부캠 그룹프로젝트 - 3. MongoDB 인덱스 설정 및 테스트

Github 유저 정보를 보면 company, location, email 정보 등 사용자마다 갖는 정보의 구조가 다르다. 따라서 스키마리스한 구조가 적합하다. 또한 각 사용자의 프로필 데이터는 상호 독립적이다. 즉 어떠한 관계가 존재하지 않아서 정규화가 필요하지 않다. replica set이나 클러스터링 등 수평적인 확장으로 인해 고가용성을 보장하기가 RDBMS군보다 용이하다.

1️⃣ 현재 MongoDB에 저장하는 정보들

• Github에서 가져온 사용자 정보(id, username, following과 follower 수, 프로필사진 url 등)

• 계산된 score 정보 (number 타입)

• 일일 조회수 (number 타입)

• 이전과 비교했을 때 score가 증가한 정도 (number 타입)

조회 시 필터로 사용되는 정보들

• username

• score

• 일일 조회수

• score가 증가한 정도

2️⃣ Clustered Collection에 대한 고민

• 대부분의 조회의 결과가 score를 기반으로 sort가 되어야 하므로 Clustered Collection을 사용해서 실제 물리데이터를 정렬된 상태로 유지하면 정렬 연산이 필요 없어 조회 시 얻는 이점이 크다.

• 하지만 우리 서비스는 업데이트 또한 빈번하게 이루어진다. 하루에 1번은 전체 유저의 점수를 AWS Lambda같은 Cloud Function을 이용해 전체 유저의 score를 갱신할 예정이고, 버튼을 통해 120초의 delay를 갖는 단일 사용자의 업데이트 기능도 지원한다. 이 경우 Clustered Collection을 사용하면 갱신 시 부하가 상당할 것으로 예상된다.

3️⃣ MongoDB의 단일 인덱스와 결합 인덱스 설정

1. 일일 조회수를 기반으로, limit 쿼리 매개변수 개수의 최상위 유저들을 응답해주는 API

2. score의 증가 정도를 기반으로 limit 쿼리 매개변수 개수의 최상위 유저들을 응답해주는 API

3. username을 기반으로 limit 쿼리 매개변수 개수의 최상위 유저들을 응답해주는 API

4. username, tier, limit를 쿼리로 받아 score순으로 정렬된 데이터 중에서 limit 수 만큼의 유저들을 응답해주는 API

단일 인덱스 설정

UserScheme.index({ score: -1 });
UserScheme.index({ scoreDifference: -1 });
UserScheme.index({ dailyViews: -1 });

username필드에 일반적인 인덱스 vs Full-text 인덱스

• 이는 username으로만 필터링을 하는 API에서는 큰 문제가 없었다.

• 하지만 위의 4번 API에서 text-index를 사용하면 username과 다른 필드들(tier, score)이 함께 필터링에 사용되는 경우, 결합 인덱스를 탈 방법이 없었다.
• 트리 구조 인덱스 상, 문자열이라는 것은 앞에서 부터 정렬이 되어야하는데, 전문 검색은 역인덱싱이 반드시 필요하다. 하지만 역인덱싱은 B트리와는 다른 구조를 띈다.

결합 인덱스 설정

UserScheme.index({ username: 1, score: 1 });
UserScheme.index({ tier: 1, username: 1, score: 1 });

• username만을 필터링에 사용하는 경우, { username: 1, score: 1 } 순으로 설정된 결합 인덱스를 타는 것이 가능하다.

• 결합 인덱스의 특성상 앞에 필드가 일치하는 순으로 부분 필터링이어도 사용이 가능하기 때문이다.

• 따라서 username에 단일로 인덱스를 설정함으로써 발생하는 불필요한 인덱스를 유지 비용을 줄일 수 있다.

• 4번 API의 경우
• username만 주어지는 경우, { username: 1, score: 1 } 결합 인덱스를 타게 된다.
• tier만 주어지는 경우, { tier: 1, username: 1, score: 1 } 결합 인덱스를 타게 된다.
• tier와 username이 모두 주어지는 경우, { tier: 1, username: 1, score: 1 } 결합 인덱스를 타게 된다.

4️⃣ 인덱스 테스트

• score 순 정렬 API

• score 상승폭 API

• 일일 조회수 API

• username API

• tier (score순 정렬) API

• username과 tier (score순 정렬) API