[바미] 새로 쓴, 대용량 데이터 베이스 솔루션 Vol.1 - 3장 SQL의 실행계획 - 2
·
프로그래밍(Web)/공부일기
새롭게 안 사실들 실행 계획의 유형들..실행 계획에 대한 내용이 이렇게 다양하게 많이 있을 줄 몰랐다.엑세스, 스캔에 대한 내용들처음 들어 보는 조인세미 조인(Semi Join), 카티젼 조인Cartesian Join), 내포 조인(Nested loop Join), 정렬 병합 조인(Sort Merge Join), 해쉬 조인(Hash Join), 등등공부한 내용들3.2 실행계획의 유형실행계획은 데이터베이스 테이블에서 데이터를 추출하여 원하는 결과를 생성하기 위한 처리 경로를 의미한다. 가장 기본적인 실행계획은 실제 데이터가 저장된 물리적인 데이터를 액세스하는 것으로, 이를 스캔(Scan)이라고 부른다. 또한, 여러 테이블에서 스캔을 수행한 후 데이터를 서로 연결시키는 처리를 조인(Join)이라고 하며, 이..
[바미] 새로 쓴, 대용량 데이터 베이스 솔루션 Vol.1 - 3장 SQL의 실행계획 - 1
·
프로그래밍(Web)/공부일기
새롭게 안 사실들 옵티마이저옵티마이저를 처음 이 책을 공부할 땐 머리속에 남지 않았는데 옵티마이져 관련 이슈를 경험하고 나서 눈에 제대로 들어오기 시작했다.아우트라인엑세스, 스캔에 대한 내용들처음 들어 보는 조인세미 조인(Semi Join), 카티젼 조인Cartesian Join), 내포 조인(Nested loop Join), 정렬 병합 조인(Sort Merge Join), 해쉬 조인(Hash Join), 등등공부한 내용들제 3장 SQL의 실행계획SQL의 실행 계획은 데이터베이스 엑세스 효율에 가장 큰 영향을 미치는 요소로, SQL의 수행 방식을 미리 계획하여 성능 최적화를 도모하는 데 핵심적인 역할을 한다. 실행 계획은 사용 중인 SQL의 형태, 데이터 및 인덱스 구조, DBMS 버전, 통계 정보 등을..
[바미] 옵티마이저(Optimizer)란 무엇인가?
·
프로그래밍(Web)/공부일기
옵티마이저(Optimizer)란?옵티마이저는 데이터 베이스가 SQL 쿼리를 '어떻게' 실행할지를 결정(최적화)하는 엔진입니다. 개발자가 작성한 쿼리를 보고 어떤 순서로 테이블에 접근할 지, 어떤 인덱스를 사용할 지, 어떤 조인 방식을 쓸 지, 등등을 가장 빠르고 적은 자원을 사용하는 방법으로 결정해주죠. 데이터베비스 내부에서 쿼리가 실제로 실행되기 전에 '이 쿼리를 어떤 플랜(Plan)으로 실행하면 가장 비용(Cost)이 적을까?'를 계산하고, 이것에 따른 실행 계획(Execution Plan)을 생성해주는데 이 과정을 수행하는 것이 오늘 알아 볼 옵티마이저(Optimizer)입니다.옵티마이저(Optimizer)가 SQL을 실행하는 과정 옵티마이저(Optimizer)는 크게 SQL 작성 -> 구문 분석(..
[바미] 인덱스가 불러 일으킨 커다란 해프닝
·
프로그래밍(Web)/업무관련
시작안녕하세요. 때는 저 저번주에 있었던 일입니다.  기존에 온프라미스 환경에서 서비스중인 프로젝트의 버전을 구 버전에서 신 버전으로 업데이트 해야하는 일이 있었습니다. 당연히 신버전은 DB 테이블도 달랐기 때문에 항상 최신 DB를 유지하고 있는 개발서버의 DB스키마를 덤프떠서 작업하려 했습니다.에러 발생...코드 최신화 후 덤프 띄운 DB도 적용시킨 뒤에 프로젝트를 재시작 시켰는데...기존에 5분마다 돌고 있던 로직부분에서 Lock wait timeout exceeded; try restarting transaction 에러 문제가 발생하게 되었습니다. 처음에는 '또 DB 커넥션 풀에서 문제가 발생했구나'라고 생각했습니다. 왜냐하면 이전에도 비슷한 형태로 발생한 일이 있었는데 그 때는 커넥션 풀에서 발..
[바미] 도커 내부의 PM2로 실행한 프로젝트가 DB connection이 실패할 때
·
DevOps
결론vim /etc/hosts에서 127.0.0.1 localhost# ::1 localhost ip6-localhost ip6-loopback부분을 주석하니 해결 되었습니다. 그 다음 부분은 제가 DB 연결을 위해 시도해 본 부분들입니다. 그 외 시도한 부분들.env 값을 제대로 가져오는 지 확인require('dotenv').config();logger.info('🔹 PM2 실행 환경에서 RDB_HOST:', process.env.RDB_HOST)이 부분에서 제대로 가져오지 않아  pm2 --name backend --interpreter nodemon --update-env --env production이런 식으로 pm2가 실행 되었을 때 환경변수가 강제로 적용되도록 ..
[바미] Docker MySQLCli에서 한글 입력이 되지 않을 때
·
MySQL(DB)
도커 내에서 mysql 서버를 접속하여 DB들을 셋팅해주는데 DB 데이터를 넣는 것들 중 한글로 된 데이터들을 INSERT 할 때 ''으로 insert 되는 일이 있었습니다. INSERT INTO tb_universityinfo (UnivName, UnivLocate, UnivType, UnivEstablish, UnivPresident, UnivCampos, UnivLateX, UnivLateY, UnivPageURL, UnivIMG, UnivLotAddr, UnivAddr, UnivMapIMG) VALUES('서울대학교','서울특별시 관악구','국립 4년제','1946','유홍림','관악캠퍼스',37.4648267,126.9571988,'https://www.snu.ac.kr/index.html','..
[바미] 새로 쓴, 대용량 데이터 베이스 솔루션 Vol.1 - 2장 인덱스 유형과 특징
·
프로그래밍(Web)/공부일기
새롭게 안 사실들B-Tree 인덱스 구조를 가진 테이블의 엑세스 속도100 건의 로우를 가진 테이블에서나 100만건의 로우를 가진 테이블에서나 한 건을 엑세스 하는 속도는 거의 같다는 점을 새롭게 알았다.B-Tree의 B가 Binary외에 Balanced도 있다는 의미는 이미 알았지만 엑세스 하는 속도도 균형 잡았을 줄은 몰랐다.인덱스의 종류들B-Tree 인덱스의 구조 - 루트, 브랜치, 리프 블록함수기반 인덱스에 대하여NULL 값에 대하여나는 단순히 NULL = 없음, 값은 값이지만 존재하지 않는 값으로 생각하고 있었다.하지만 이 책에서는 NULL을 '미확정 값'이라고도 표현하고 있어 개념을 재확립 하였다.공부한 내용들제 2장 인덱스의 유형과 특징인덱스의 개념인덱스는 데이터베이스 내에서 특정 데이터를 ..
[바미] 새로 쓴, 대용량 데이터 베이스 솔루션 Vol.1 - 1장 데이터 저장구조와 특징
·
프로그래밍(Web)/공부일기
들어가기 전에..해당 글은 새로 쓴 대용량 데이터 베이스 솔루션 책을 공부한 내용을 정리하였습니다.새롭게 안 사실들PK와 FK의 개념 재적립PK는 각 테이블의 고유한 식별자 역할을 하는 컬럼FK는 테이블 간의 관계를 정의하기 위해 사용되는 컬럼DB도 임의의 위치에 저장된다.프로그래밍 언어의 변수만 임의의 위치에 저장되는 줄 알았는데 분리형 테이블에서 데이터가 저장될 때 '임의의 위치'에 저장된다는 것을 새롭게 알게 되었다. 분리형 테이블에 사용되는 주요 개념들데이터 블록데이터를 저장하는 가장 기본 단위로, Block은 논리적이지만 디스크에 물리적으로 매핑되며 데이터 삽입 시 빈 공간(Free Space)이 있는 블록을 찾아 데이터를 저장하게 된다.프리 리스트(Free List)블록이 새 데이터를 저장할 ..
[바미] 큐잉 이론(Queueing Theory)이란?
·
프로그래밍(Basic)/이론
큐잉 이론(Queueing Theory)이란?우리 주변에는 ‘대기열(Queue)’라는 개념이 곳곳에 존재합니다. 패스트푸드점에서 줄을 서는 고객, 콜센터에 전화를 기다리는 고객, 웹 서버에 몰려드는 사용자 요청 등 다양한 서비스 대기 상황들이 있는데 큐잉 이론(Queueing Theory)은 이러한 대기열을 수학적으로 분석해, 가장 효율적으로 처리하기 위한 방법을 연구하는 분야입니다.  이를 통해 우리는 어떤 조건에서 얼마나 많은 자원을 배치해야 평균 대기 시간이 줄어들 수 있는지, 시스템 처리 효율을 최대화하기 위해 대기열 구조를 어떻게 설계해야 하는 지와 같은 문제를 해결할 수 있습니다. 큐잉 이론이 중요한 이유현대 IT 환경에서 큐는 다양한 계층에서 핵심적인 역할을 합니다. 단순히 눈에 보이는 고객..
Bami