레디스 개요 복습

• REDIS Remote Dictionary Server
  • 디스크가 아닌 주 메모리(RAM)에 데이터를 저장하는 데이터베이스
    • 따라서 데이터가 주메모리보다 크면 안됨
  • 단일 스레드로 설계됨
  • 디스크 검색이 필요한 다른 DBMS보다 자료 접근이 훨신 빠름
  • 때문에 성능 향을 위한 캐시 서버로 자주 사용됨
    • 자주 접근하는 데이터 및 계산에 많은 시간이 소요되는 데이터를 캐싱해 빠른 접근 제공
• 키 - 값 쌍을 가진 JSON 객체를 저장하는, 스키마 없는 데이터 베이스(NoSQL)

Redis Command

KEY 관련 명령어

• SET (key, value): 키 - 값 쌍을 설정
• GET (key): 주어진 키에 대한 값 조회
• DEL (key): 주어진 키 삭제
• EXISTS (key): 키 존재 여부 확인
• FLUSHALL: 모든 데이터 삭제
• KEYS (pattern): 특정 패턴을 가진 키 전체 조회
• SETEX (key, seconds, value): 특정 시간 후에 만료되는 키 - 값 쌍 설정
• TTL (key): 키의 만료까지 남은 시간 리턴

LIST 관련 명령어

• LPUSH (key, value): 배열 가장 첫번째에 요소(value) 추가
• RPUSH (key, value): 배열 가장 마지막에 요소(value) 추가
• LRANGE (key, startIndex, stopIndex): 시작 인덱스(startIndex)와 종료 인덱스(stopIndex) 사이의 요소 목록 리턴
• LPOP (key): 배열의 가장 첫번째 요소 제거
• RPOP (key): 배열의 가장 마지막 요소 제거

HASH 관련 명령어

• 단일 키 내에 {키 - 값} 쌍 저장이 가능
  • HSET (key, field, value): 키(field) - 값(value) 쌍을 해시 안에 세팅
  • HGET (key, field): 해시 안의 키(field)의 값을 가져옴
  • HGETALL (key): 해시의 모든 키-값 쌍 조회
  • HDEL (key, field): 해시에서 주어진 키(field) 삭제
  • HEXISTS (key, field): 해시 내의 키(field) 존재 여부 확인

REDIS Remote Dictionary Server

• 디스크가 아닌 주 메모리(RAM)에 데이터를 저장하는 데이터베이스
  • 따라서 데이터가 주메모리보다 크면 안됨
• 단일 스레드로 설계됨
• 디스크 검색이 필요한 다른 DBMS보다 자료 접근이 훨신 빠름
  • 때문에 성능 향을 위한 캐시 서버로 자주 사용됨
    • 자주 접근하는 데이터 및 계산에 많은 시간이 소요되는 데이터를 캐싱해 빠른 접근 제공
• 키 - 값 쌍을 가진 JSON 객체를 저장하는, 스키마 없는 데이터 베이스(NoSQL)
• 장점
  • 인메모리 키 - 값 저장소: 순수한 메모리 읽기는 빠른 읽기/쓰기 속도 및 빠른 응답 제공
  • IO 다중화(멀티플렉싱): 단일 스레드가 여러 개의 열린 소켓 연결에서 동시에 대기
  • 저수준 데이터 구조: 효율적인 저수준 데이터 구조 사용
• 단점
  • 휘발성: 시스템이 갑자기 중단되면 Redis 내의 데이터 손실 가능

Redis Cache 동작 방식

• 클라이언트의 데이터 요청
• Redis Cache에서 해당 키 탐색
• 키 발견 시 - Cache Hit
  • 캐시된 데이터 응답
• 키 발견 실패 시 - Cache Miss

결합도 Coupling

• 외부 모듈과의 연관도 또는 모듈 간의 상호의존성을 나타내는 정도
• 소프트웨어 구조에서 모듈간의 관련성을 측정하는 척도
• 한 모듈이 변경되기 위해서 다른 모듈의 변경을 요구하는 정도
  • 결합도가 높을 수록 함께 변경해야 하는 모듈의 수가 늘어나게 됨

결합도 특징

• 모듈 연관성 없음
• 인터페이스 의존성
• 복잡성 감소
• 파급효과 최소화

결합도의 유형

• 자료 < 스탬프 < 제어 < 외부 < 공통 < 내용
• 내용 결합도
  • 다른 모듈 내부에 있는 변수나 기능을 다른 모듈에서 사용하는 경우의 결합도
  • 하나의 모듈이 직접적으로 다른 모듈의 내용을 참조할 때 두 모듈은 내용적으로 결합된 경우의 결합도
• 공통 결합도
  • 파라미터가 아닌 모듈 밖에 선언되어 있는 전역 변수를 참조하고, 전역 변수를 갱신하는 식으로 상호작용 하는 경우의 결합도
• 외부 결합도
  • 모듈이 다수의 관련 기능을 가질 때 모듈 안의 구성요소들이 그 기능을 순차적으로 수행할 경우의 결합도
• 제어 결합도
  • 어떤 모듈이 다른 모듈의 내부 논리 조직을 제어하기 위한 목적으로 제어 신호를 이용해 통신하는 경우의 결합도
  • 하위 모듈에서 상위 모듈로 제어 신호가 이동하여 상위 모듈에게 처리 명령을 부여하는 권리 전도 현상 발생하는 결합도
• 스탬프 결합도
  • 모듈 간의 인터페이스로 배열이나 객체, 구조 등이 전달되는 경우의 결합도
• 자료 결합도
  • 모듈 간의 인터페이스로 전달되는 파라미터를 통해서만 모듈간의 상호 작용이 일어나는 경우의 결합도

응집도 Cohesion

• 모듈의 독립성을 나타내는 개념
• 모듈 내부 구성요소 간 연관 정도 의미
• 하나의 모듈은 하나의 기능을 수행하는 것을 의미
• 즉 변경이 발생할 때 모듈 내부에서 발생하는 변경의 정도
  • 하나의 변경을 수용하기 위해 모듈 전체가 변경 -> 높은 응집도
  • 하나의 변경을 수용하기 위해 일부 모듈의 일부만 변경 -> 낮은 응집도

특징

• 유사기능 영역 구성
• 단일 책임 할당
• 함수 간 상호 협력

유형

• 우연적 < 논리적 < 시간적 < 절차적 < 통신적 < 순차적 < 기능적
• 우연적 응집도
  • 서로 간에 어떠한 의미 있는 연관 관계도 없는 기능 요소로 구성될 경우의 응집도
  • 서로 다른 상위 모듈에 의해 호출되어 처리상의 연관성이 없는 서로 다른 기능을 수행할 경우의 응집도
• 논리적 응집도
  • 유사한 성격을 갖거나 특정 형태로 분류되는 처리 요소들이 한 모듈에서 처리되는 경우의 응집도
• 시간적 응집도
  • 특정 시간에 처리되어야 하는 활동들을 한 모듈에서 처리할 경우의 응집도
• 절차적 응집도
  • 모듈이 다수의 관련 기능을 가질 때 모듈 안의 구성요소들이 그 기능을 순차적으로 수행할 경우의 응집도
• 통신적 응집도
  • 동일한 입력과 출력을 사용하여 다른 기능을 수행하는 활동들이 모여 있을 경우의 응집도
• 순차적 응집도
  • 모듈 내에서 한 활동으로부터 나온 출력 값을 다른 활동이 사용할 경우의 응집도
• 기능적 응집도
  • 모듈 내부의 모든 기능이 단일한 목적을 위해 수행되는 경우의 응집도

결론

• 응집도는 높아야 하고, 결합도는 느슨해야 한다.
• 설계를 변경하기에 편리해 지기 때문

_Async/Await_

자바스크립트에서 async/await는 뭘까?

async/await는?

Promise 기반으로 동작하지만, then/catch/finally 와 같은 프로미스 후속 처리 메서드에 콜백 함수를 전달하여

비동기 처리 결과를 후속 처리할 필요 없이 마치 동기 처리처럼 프로미스를 사용할 수 있다.

결과적으로 Promise를 더 쉽게 다룰 수 있게 해 준다.

async/await을 사용하면 비동기 함수들을 마치 동기 함수처럼 작성하여 동작할 수 있게 해 준다.

function getData(){

/*

 비동기 함수

 */

}

// 프로미스

new Promise((resolve, reject) => {

const result = getData();

if ( /* 비동기 작업 수행 성공 */) {

resolve(result);

} else {

reject(result);

}

})


// async/await

async function getData() {

await /* 비동기 함수 */

}

Async

async 함수는 async 키워드를 사용해 정의하고, 언제나 프로미스를 반환한다.

Await

await 키워드는 프로미스가 settled 상태가 될 때까지 대기하다가 settled 상태가 되면 프로미스가 resolve 한 처리 결과를 반환한다.

참고 링크

- async/await (https://learnjs.vlpt.us/async/02-async-await.html)

자바스크립트에서 사용되는 Promise는 무엇일까?

콜백

콜백 함수는 다른 함수에 인자로 전달되는 함수로

어떤 함수의 동작에서 이벤트가 발생하였을 때, 혹은 특정 시점에 도달했을 때 호출하는 함수이다.

아래 예시는 정말 러프하게 이해할 수 있게끔만 적어놓은 함수이다. 단순한 구조라면 콜백 구조가 깊지 않지만, 복잡도가 높아짐에 따라 콜백 함수가 중첩되고 그 깊이가 엄청나게 깊어지는 것을 콜백 지옥이라 한다.

function getData(){

  /*

  비동기 함수

  */

}


getData().then(

  // 완료 되었을 때

).then().then().catch().finally()

Promise

Promise 객체는 ES6에서 추가된 개념으로, 비동기 작업이 작업 완료 후 미래의 완료 혹은 실패 결과를 나타낸다.

기존의 방식으로는 작성하게 된다면 콜백 지옥에 빠지게 된다.

또한 Promise 객체는는 비동기 함수들을 병렬로 수행할 수 있도록 하며 .all() 메서드와 .allSettled() 메서드를 프로퍼티로 가진다.

_출처: https://adrianalonso.es/desarrollo-web/apis/trabajando-con-promises-pagination-promise-chain/_

Promise는 비동기 작업을 수행하고 그 작업의 성공 혹은 실패 함수를 호출할 수 있다.

function getData(){

  /*

  비동기 함수

  */

}


new Promise((resolve, reject) => {

  const result = getData();


  if ( /* 비동기 작업 수행 성공 */) {

    resolve(result);

  } else {

    reject(result);

  }

})

Promise의 상태(State)

Promise 객체의 상태 정보는 세가지가 있다.

• pending: 비동기 처리가 아직 수행되지 않은 상태 - Promise 객체가 생성된 직후 기본 상태
• fulfilled: 비동기 처리가 수행된 상태 (성공) -> resolve 함수 호출
• rejected: 비동기 처리가 수행된 상태 (실패) -> reject 함수 호출

정리

• Promise는 콜백 지옥에 빠지는 비동기 처리를 간결하게 처리할 수 있게 표현
• 상태에는 pending, fulfilled, rejected 가 있다.
• 실행 결과에 따라 실패 시 reject, 성공 시 resolve 함수를 호출할 수 있다.

참고 링크

- Promise (https://learnjs.vlpt.us/async/01-promise.html)

도커 EXPOSE

• Expose는 컨테이너에 오픈할 포트를 의미한다.
• 즉 컨테이너에서만 열려있는 포트로, 동일한 도커 네트워크에 속해있지 않은 호스트나 외부에서 접근할 수 없다.

도커 PORT

• Port는 EXPOSE 된 컨테이너의 포트를 호스트에 열어주는 것을 의미한다.
• 앞의 포트는 호스트의 포트, 뒤의 포트는 컨테이너의 노출된 포트를 의미한다.
• 즉 동일한 도커 네트워크에 속해있지 않더라도, hostIP와 해당 포트를 알고 있다면 컨테이너에 접근이 가능해 진다.
• 컨테이너의 포트를 호스트와 연결시켜주는 것이므로, 컨테이너 포트와 동일할 필요가 없다
  • 이 말은 다시 말하면, 특정 포트(3306 / 5504 / 6379등) 만을 사용해야하는 어플리케이션에 대해 다양한 포트 번호를 호스트가 사용할 수 있게 되는 것이다.
  • 왜냐하면 특정 포트를 반드시 사용해야 한다는 제약은 컨테이너의 포트에만 적용될 수 있기 때문이다.
    • 3306만을 사용해야하는 mysql을 구동할 때, PORTS를 5587:3306으로 설정한다면 외부에서는 5587로 접근하지만 어플리케이션은 3306 포트를 사용하는 효과를 거둘 수 있는 것이다.

도커 네트워크

• 도커 네트워크는 일종의 내부망 이다.
  • 각 컨테이너들은 독립적인 네트워크 망을 가진다.
  • 정확히는 분리된 네트워크를 가진다 -> IP를 나눈다는 의미
  • 때문에 각 컨테이너별로 호스트와는 다른 가상의 IP 주소를 가진다.
• 도커 네트워크는 컨테이너가 끼리의 통신을 할 수 있는 범위라 말할 수 있을 것 같다.
• 기본적으로 컨테이너가 구동되게 되면 해당 컨테이너에 대한 default_network가 생성된다.
  • 이렇게 되면 다른 네트워크의 컨테이너와 소통할 수 없기 때문에 도커 외부로 우회하여 소통해야한다.
  • 컨테이너끼리 소통하기 위해 외부로 나갔다 들어와야 하기 때문에 성능적으로 저하가 발생하고, 보안적으로도 문제가 생길 수 있다.
• 그러나 동일한 네트워크에 속한 컨테이너들 끼리는, 컨테이너의 이름과 포트만으로 서로 통신이 가능하다.

컨테이너 구동 시 도커 네트워크 구성에 대해

• 컨테이너 구동 시, 순차적으로 도커 내부 IP 부여
  • 일반적으로 172.~~ 으로 시작하더라
  • 순차적으로 IP를 부여하기 때문에, 컨테이너를 내렸다 다시 올리면 컨테이너 IP가 변동 될 수 있음
• 도커 네트워크는 내부망이기에, 외부와 연결시켜야 함
  • 컨테이너 구동 시, 자동적으로 컨테이너 마다 호스트에 veth(Virtual Ethernet)라는 가상 네트워크 인터페이스를 생성함
  • 네트워크 관련 설정을 하지 않는다면 default0 브릿지를 사용함

Docker Bridge

• 도커 브릿지는 호스트와 컨테이너를 잇는 라우팅 경로
  • 즉 쉽게 말하면, 각 컨테이너에 가상의 IP를 부여하는 공유기 역할

도커 네트워크 전체 조회

• 현재 사용중인 도커 네트워크 리스트 조회

docker network ls

• 도커 네트워크 세부사항 조회

docker network inspect 

도커 네트워크 설정

• 도커 네트워크 설정
• docker network create <네트워크 이름>

컨테이너 네트워크 설정

• 같은 도커 네트워크에 해당하는 모든 컨테이너들은 서로 내부 통신이 가능함
  • 이미 db_mariadb 라는 컨테이너가 proxy라는 도커 네트워크 안에 구동되어 있다면
  • 지금 올리는 어플리케이션 컨테이너를 proxy라는 네트워크에 포함시킴으로 인해서, db_mariadb:3306 을 url로 잡으면 통신이 가능해짐
  • 같은 네트워크가 아니라면, 'HostIP:컨테이너 포트' 를 통해 접근할 수 있음
    • 문제는 컨테이너가 호스트에 포트를 열어둔게 아닌, 컨테이너 포트만 노출 시킨 상태라면 접근할 수 있는 방법이 없어짐
• 컨테이너 네트워크 설정 - docker compose
  • external: 컨테이너 구동 시 새로운 네트워크를 사용할지에 대한 여부를 설정하는 것
    • true: 기존 도커 네트워크를 할당함
    • false: 새로운 도커 네트워크를 생성함

  services:
      app:
          // 컨테이너 설정
          networks:
              - proxy
  
  networks:
      proxy:
        # proxy라는 새로운 네트워크를 생성하는게 아닌, 기존의 proxy라는 네트워크를 사용한다는 의미
          external: true

• 컨테이너 네트워크 설정 - Dockerfile

    docker run app_name --net proxy

프로메테우스란?

• 프로메테우스는 사운드 클라우드에서 처음 제작한 모니터링 & 알람에 초점이 맞춰진 모니터링 오픈소스 툴이다.
• 요청 발생 수, DB 연결 수 등의 숫자로 치환될 수 있는 시계열 데이터를 메트릭스(Metrics) 라 하는데, 이를 시계열 데이터로 저장 및 수집하는 툴이다.

특징

• 다차원 시계열 데이터를 메트릭스 명과 key-value 쌍으로 관리한다.
• PromQL 이라는 쿼리 언어로 차원들을 관리한다.
• 다른 저장소에 종속되지 않는다.

데이터 수집 방법

• 엔드포인트에 HTTP 요청을 통해 데이터를 스크레이핑 한다.
• exporter를 배포해 해당 exporter의 엔드포인트를 통해 데이터를 스크레이핑한다.

시스템 메트릭 수집

• 프로메테우스가 서버의 시스템 메트릭스(Load Average, CPU Usage 등)을 수집하는 방법은 node-exporter를 사용하는 것이다.
  • node-exporter는 시스템 정보를 수집하는 툴이라고 생각하면 편하다.

Node Exporter 실행

• 컨테이너로 이를 시행시킬 수 있다.
• 아래처럼 설정한다. 이렇게 했을 때, exporter의 엔드포인트로 접근해 데이터를 수집할 수 있다.

services:
    exporter:
        image: prom/node-exporter:v1.8.2
        container_name: exporter
        expose: 9100
        command:
          - '--path.procfs=/host/proc'
          - '--path.rootfs=/rootfs'
          - '--path.sysfs=/host/sys'
          - '--collector.filesystem.mount-points-exclude=^/(sys|proc|dev|host|etc)($$|/)'
        volumes:
            - /proc:/host/proc:ro
            - /sys:/host/sys:ro
            - /:/rootfs:ro
        networks:
            - proxy

• path.roofts 설정
  • 호스트 전체 모니터링을 위한 설정
  • 루트 디렉토리에 대해 바인딩 시켜, Exporter가 호스트 FileSystem에 접근하게 해 주는 옵션
  • 이후 루트 디렉토리를 볼륨으로 넣음
  • 일반 디렉토리면 그냥 넣어주면 된다.

프로메테우스 실행

설정

• 프로메테우스 설정
  • prometheus.yml 파일로 해야 인식한다. 물론 볼륨으로 넣을 때, 명칭을 바꿔주는 것도 가능하다.
  • 수집할 대상의 엔드포인트를 정의한다.
  • 이는 scrape_configs 에 그 타겟 대상과 라벨링이 가능하다.

global:
    scrape_interval: 15s
    evaluation_interval: 15s

# Set the scrape interval to every 15 seconds. Default is every 1 minute.

rule_files:
    - alert.rules.yml
      alerting:
        alertmanagers:
            - static_configs:
            - targets: ["host.docker.internal:9093"]

scrape_configs:
    - job_name: 'System Server'
      static_configs:
        - targets: ['node:9100']

    - job_name: 'cAdvisor'
      static_configs:
        - targets: ['cadvisor:8080']

• 설정 옵션 관련 내용
  • global: 전체적인 데이터 수집에 대한 전역 설정
  • scrape_configs: 수집 작업에 대한 정의
  • remote_write: 수집된 메트릭을 원격 엔드포인트로 전달하기 위한 설정

컨테이너 설정

• prometheus.yml 파일 이외에도 alert.rules (장애 알람 규칙) 등 다른 설정들도 먹일 수 있다.
• 해당 설정들은 /etc/prometheus 경로에 넣어주면 된다.

services:
    prometheus:
        image: prometheus:v2.54.1
        volumes:
            - ./prom-config/prometheus.yml:/etc/prometheus/prometheus.yml
            - ./prom-config/alert.rules.yml:/etc/prometheus/alert.rules.ym
            - prometheus_data:/prometheus
        command:
            - '--config.file=/etc/prometheus/prometheus.yml'
            - '--storage.tsdb.path=/prometheus'
            - '--web.console.libraries=/etc/prometheus/console_libraries'
            - '--web.console.templates=/etc/prometheus/consoles'
            - '--web.enable-lifecycle'
        networks:
            - proxy
        restart: unless-stopped
        ports:
            - 9090:9090

GUI

• 이제 http://localhost:9090으로 접근해 보면 아래와 같이 확인할 수 있다.
• 아래 랜딩페이지 화면에서 PromQL을 통해 데이터를 쿼리해 볼 수 있다.

'

• 또한 현재 데이터를 수집하고 있는 대상을 확인하는 방법은 Status - Target으로 확인할 수 있다.
  • 여기서 현재 정상적으로 데이터가 수집되고 있는지도 확인할 수 있다.

WORM

• 감염 방식 중 하나로, 여러 단말기에 분산되어 해당 단말기들에 연결된 네트워크 전체를 감염
• 트로이 목마의 위장 기능과 바이러스의 증식 기능을 탑재

Trojan horse

• 정상적인 프로그램으로 위장한 악성코드
• 시작부터 끝까지 메모리에 상주하여, 시스템 내부 정보를 공격자의 컴퓨터로 빼돌리는 프로그램
• 직접적 전파능력은 없음

Root Kit

• 공격자의 존재를 숨기면서 시스템에 대한 무제한 접근 권한 부여
• 펌웨어, 가상화 계층 등의 시스템 영역에서 작동
• 운영체제 시스템콜을 해킹하여 안티바이러스 탐지 우회 가능

Ransomware

• 피해자의 데이터나 디바이스를 점유해 데이터를 암호화 한 후, 암호키를 대가로 금품을 요구하는 악성 코드

페이지 교체 알고리즘

• 메모리를 관리하는 운영체제에서 페이지 부재가 발생하여 새로운 페이지를 할당하기 위해 현재 할당된 페이지 중 어느 것을 교체할지 결정하는 방법

FIFO

• 선입선출법. 페이지 주기억장치에 적재된 시간 기준으로 교체된 페이지 산정하는 기법
  • 중요한 페이지가 오래 있었다는 이유만으로 교체되는 문제.
  • 가장 오래 있었던 페이지는 앞으로도 계속 사용될 가능성이 있으므로.

LFU

• 가장 적은 횟수를 참조하는 페이지 교체
  • 참조될 가능성이 많음에도 불구하고 횟수에 의한 방법으로, 최근에 사용된 프로그램을 교체할 가능성 존재
  • 해당 횟수를 증가시키므로 오버헤드 발생

LRU

• 가장 오랫동안 참조되지 않은 페이지 교체
  • 프로세스가 주기억장치에 접근할 때마다 참조된 페이지에 대한 시간을 기록해야함. 큰 오버해드 발생