TIL 55: [데이터베이스] NoSQL

SQL이 나오고 나서 데이터가 폭발적으로 증가하면서 발생했던 SQL 문제를 극복하기 위해 NoSQL이 탄생했습니다. NoSQL 종류는 아래와 같습니다.

 

• key-value stores: Redis, Amazon Dynamo DB
• column stores: HBase, Cassandra
• document stores: Mongo DB, Couchbase
• graph databases: Neo4J
• search engines: Solr, ElasticSearch, Splunk

 

MongoDB는 대표적인 NoSQL 도큐먼트 데이터 베이스입니다. 도큐먼트 데이터베이스는 데이터를 테이블이 아닌, 문서처럼 저장하는 데이터베이스를 의미합니다. JSON과 유사한 형식을 가지고 있어 데이터를 필드-값의 형태로 가지고 있고, 컬렉션이라고 하는 그룹으로 묶어서 관리합니다.

 

NoSQL 기반의 비관계형 데이터 베이스 사용 케이스

이전에 배웠던 것처럼 NoSQL은 비구조적/비관계형 데이터 베이스를 말합니다. 이러한 형태의 데이터 베이스를 사용하는 경우는 다음과 같습니다.

• 비구조적인 대용량의 데이터를 저장하는 경우
• 클라우드 컴퓨팅 및 저장공간을 최대한 활용하는 경우: 수직적 확장으로 DB를 증설하는 SQL과 달리 수평적 확장의 형태로 증설하므로, 이론상 무한대로 서버를 계속 분산시켜 DB를 증설할 수 있습니다.
• 빠르게 서비스를 구축하고 데이터 구조를 자주 업데이트 하는 경우
• MongoDB의 경우, 하나의 Primary와 두 개의 Secondary로 이루어진 레플리카 세트가 있습니다. 이 덕분에 하나의 서버에서 fault가 되어도 사용자들이 안정적으로 사용할 수 있습니다. (고가용성)

 

용어 정리

새로운 용어들이 많이 나와 정리했습니다.

• 레플리카 세트
  동일한 데이터를 저장하는 몇 개의 연결된 MongoDB 인스턴스의 모음입니다.
  
  
• 인스턴스
  특정 소프트웨어를 실행하는 로컬 또는 클라우드 단일 머신으로, 클라우드에서 실행되는 MongoDB 데이터베이스가 이에 해당합니다.
  
  
• 클러스터
  데이터를 저장하는 서버 그룹으로 여러 대의 컴퓨터를 네트워크를 통해 연결하여 하나의 단일 컴퓨터처럼 동작하도록 제작한 컴퓨터를 말합니다.
  
  
• 도큐먼트 / 필드 / 값
  필드-값 쌍으로 저장된 데이터 / 데이터 포인트를 위한 고유한 식별자 / 주어진 식별자와 연결된 데이터
  
  
• 컬렉션
  MongoDB의 도큐먼트로 구성된 저장소입니다. 일반적으로 도큐먼트 간의 공통 필드가 있습니다. 데이터베이스 당 많은 컬렉션이 있고, 컬렉션 당 많은 도큐먼트가 있을 수 있습니다.

 

 

BSON

BSON은 Binary JSON의 약자로 이진법에 기반을 둔 표현법입니다. JSON의 한계를 보완하기 위해 나왔습니다.

JSON의 한계로는 텍스트 형식이기 때문에 읽기 쉽지만, 파싱이 느리고 메모리 사용이 비효율적입니다.

또한 기본 데이터 타입만을 지원하기 때문에, 사용할 수 있는 데이터 타입에 제약이 있습니다.

BSON은 앞서 말했던 것처럼 이진법에 기반을 두었기에 메모리 사용이 효율적이며, 더 많은 데이터 타입을 사용할 수 있습니다.

이러한 BSON과 JSON의 특징을 살려 MongoDB의 데이터는 BSON의 형태로 저장되고, 보통 읽기 쉬운 JSON의 형태로 출력됩니다.

 

 

Exporting & Importing

JSON	BSON
mongoexport	mongorestore
mongoimport	mogodump

 

<export>
mongodump --uri "mongodb+srv://<your username>:<your password>@<your cluster>.mongodb.net/database_name">
		"<Atlas Cluster URI>"
                
mongoexport --uri "<Atlas Cluster URI>"
			--collection=<collection name>
            --out=<filename>.json
            // 데이터를 내보낼 때는 내보낼 컬렉션과 파일의 이름을 정확히 명시해야 합니다.
            


<import>
mongostore --uri "<Atlas Cluster URI>"
	   --drop dump
           
mongoimport --uri "<Atlas Cluster URI>"
	    --drop=<filename>.json

 

 

CRUD

양이 많아 주요 문법 위주로 정리해보려고 합니다!

Create

db.inspections.insert([{ "id" : "1", "test" : "1" }, { "id" : "1", "test" : "2" }, { "id" : "3", "test" : "3" }], { "ordered": false })
// The first object and third object will be inserted due to "ordered" that ignores orders.

순서대로 입력되는 특징 때문에 도큐먼트 간 충돌이 있을 경우 해당 도큐먼트 이후 순서의 정상적인 데이터가 입력되지 않습니다. 이러한 특징이 적용되지 않도록 하기 위해서는 "ordered" 특성을 사용하면 됩니다.

 

Read

show dbs

use DB명                                                      

ex) use sample_training

show collections                                          

해당 DB 안에 있는 컬렉션들이 모두 보여집니다.

db.collection_name.find(<쿼리문>)            

ex) db.zips.find({"state":"NY"})

 

find를 통해 조회되는 결과물의 개수가 20개 초과하는 경우 랜덤 하게 선택된 총 20개 결과물만 출력됩니다. 해당 조건에 맞는 다음 20개의 도큐먼트를 조회하기 위해서는 iterate의 줄임말이 it 명령어를 사용해야 합니다.

 

두 가지 조건을 주고 싶다면, find(<쿼리문 1, 쿼리문 2>)의 형태로 적어주면 됩니다.

해당 데이터베이스의 모든 데이터를 조회하고 싶다면 조건 쿼리문 없이 사용하면 됩니다. ex) db.zips.find

pretty( )는 도큐먼트의 구조와 각 필드, 값의 쌍을 조금 더 읽기 편하게 만들어 줍니다.    ex) db.zips.find( ).pretty( ) 

count( )는 데이터의 수를 조회하기 위해 사용합니다.                                                    ex) db.zips.find( ).count( )

findOne( )은 1개의 데이터를 조회할 때 사용합니다.                                                     ex) db.zips.findOne({" ")})

 

 

Update

update도 주어진 쿼리문에 맞는 첫 번째 도큐먼트 하나만 업데이트하는 updateOne( ), 쿼리문과 일치하는 모든 도큐먼트를 업데이트하는 updateMany( ) 2가지가 있습니다.

만약 우편번호로 구분된 ALPINE 시의 지역 인구수를 업데이트하기 위해서는 아래와 같이 명령어를 작성하면 됩니다.

 

db.zips.updateMany({ "city" : "ALPINE" }, { "$inc" : { "pop" : 10 } } )

 

updateMany의 첫 번째 인자는 어떤 도큐먼트를 업데이트할지 경정하는 쿼리문을 작성합니다.

두 번째 인자에는 발생할 업데이트 내용을 특정합니다. 여기서 $inc를 사용하면, 특정 필드의 값을 원하는 만큼 증가시킬 수 있습니다.

이렇게 명령어를 실행하면 첫 번째 인자인 조건을 충족하는 도큐먼트의 수를 나타내는 matchedCount와, 두 번째 인자로 들어간 업데이트 연산자로 인해 수정된 도큐먼트의 수를 나타내는 modiefiedCount로 나누어져 응답이 옵니다.

 

간단하게 데이터를 증가시키려 한다면 $inc를 사용해도 괜찮겠지만, 100,000,000에서 5,325,678로 줄이려고 한다면 일일이 계산하기 복잡할 것입니다. 이 경우 $set을 아래와 같이 사용할 수 있습니다.

 

db.zips.updateOne({ "zip" : "12534" }, { "$set" : {"pop" : 6235} } )

 

$push 연산자는 배열로 이루어진 필드의 값에 요소를 추가하기 위한 연산자입니다. 아래와 같이 서브 도큐먼트를 추가하고 싶을 때 사용할 수 있습니다.

 

db.grades.updateOne({ "student_id" : 250, "class_id" : 339 }, { "$push" : { "scores" : { "type" : "extra credit", "score" : 100 } } } )

 

 

 

Delete

delete에는 하나의 도큐먼트를 지울 수 있는 deleteOne( )과 여러 도큐먼트를 삭제할 수 있는 deleteMany( )가 있습니다. 

도큐먼트가 아닌 컬렉션을 삭제하기 위해서는 drop을 사용합니다. 아래와 같이 사용하면 컬렉션을 삭제할 수 있습니다.

 

db.collection_name.drop( )

 

Advanced

비교 연산자

$eq (equal to)

$ne (not equal to)

$gt (greater than)

$lt (less than)

$gte (greater than or equal to)

$lte (less than or equal to)

 

{ <feld> : { <operator> : <value> } }           

ex)  db.trips.find ( { "tripduration" : {"$lte" : 70}, "usertype" : "Customer" } ) 

usertype이 Customer인 자료를 구하려고 할 때 $eq를 사용해야 하는데 $eq는 생략 가능합니다.

 

 

논리 연산자

$and     $eq처럼 생략 가능

$or

$nor      주어진 모든 쿼리절과 일치하지 않는가

 

$not      주어진 쿼리와 일치하지 않는가

 

$and, $or 및 $nor는 유사한 구문을 사용하며 연산자가 작동할 절의 배열 앞에 위치합니다.

 

$not은 조금 다른 방식으로 단순히 뒤에 오는 조건을 부정하기 때문에 배열 구문이 필요하지 않습니다.

 

 

표현 연산자

표현 연산자($expr)를 크게 세 가지 방식으로 사용할 수 있습니다.

첫 번째로 쿼리 내에서 집계 표현식(Aggregation Expression)을 사용할 수 있으며 { $expr : { expression } } 구문을 사용합니다.

두 번째로 $expr를 이용해 변수와 조건문을 사용할 수 있습니다.

마지막으로 $expr를 이용해 같은 도큐먼트 내의 필드들을 서로 비교할 수 있습니다.

 

같은 도큐먼트 내에 필드들을 비교하고 싶을 때 아래와 같이 쓸 수 있습니다.

 

{ "$expr" : { "$eq" : [ "$start station id", "$end station id" ] } }

 

start station id와 end station id의 값이 동일한지를 확인해주는 쿼리문입니다.

이때 $을 사용함으로써 해당 필드의 값을 가리킬 수 있습니다. 예를 들어, 만약 start station id의 값이 439라면 $start station id를 통해 439라는 값을 받아올 수 있습니다.

 

 

배열 연산자

$push 배열 연산자는 배열에 요소를 추가하거나 이전에 다른 유형의 값이었던 경우 해당 필드를 배열 타입의 필드로 바꿀 수 있습니다.

$size 배열 연산자는 지정된 배열 필드가 주어진 길이와 정확히 일치하는 모든 도큐먼트들이 있는 커서를 반환합니다.

$all 배열 연산자는 지정된 배열 필드의 배열 순서와 관계없이 지정된 모든 요소가 포함된 모든 도큐먼트들이 있는 커서를 반환합니다.

 

 

Aggregation Framework

Aggregation Framework는 MongoDB에서 데이터를 쿼리 하는 가장 간단한 방법 중 하나입니다. 

aggregate를 사용하면 도큐먼트를 필터링하지 않고 그룹으로 데이터를 집계하거나 데이터를 수정할 수 있습니다. 또한 파이프라인처럼 배열 요소의 순서대로 작업을 합니다. 

$group은 들어온 데이터 스트림을 여러 개로 그룹화하는 연산자입니다.

만약 listingAndReviews 컬렉션에서 국가 이름과 그 수의 목록을 가져오는 쿼리를 작성한다면 

 

db.listingsAndReviews.aggregate( [ { $project : { "address" : 1, "_id" : 0 } }, { $group : { _id  : "$address.country", "count" : { "$sum" : 1 } } } ] )

 

위와 같이 쓸 수 있습니다. $group 연산자를 이용해 address.country 값으로 데이터를 그룹화합니다. 두 번째 인자에서는 $group에서 $sum 연산자를 사용하면 각 국가마다 몇 개의 숙소가 있는지 집계할 수 있습니다.