[Java] Virtual Thread

우아한 테크 세미나 [Java의 미래, Virtual Thread]를 보고 정리한 내용입니다.

1. 스레드 생성 및 스케줄링 비용이 기존 스레드 보다 저렴

기존 스레드
- 기존 자바 스레드는 생성 비용이 크다
  - 스레드 풀: 자바의 스레드 생성과 스케줄링 비용이 크기 때문에 미리 여러 개의 스레드를 만들어 놓고 요청이 올 때마다 스레드를 사용
- 사용 메모리 크기가 크다 - 최대 2MB까지
- OS에 의해 스케줄링
  - 스레드 생성/소멸시 항상 OS와 통신해야 하기 때문에 System Call 발생 ⇒ 시스템콜 오버헤드 발생
virtual thread
- 생성 비용이 작다
  - 스레드 풀 개념이 존재하지 않고, 항상 새로 생성
- 사용 메모리 크기가 작다 - 수십 kb까지만
- OS가 아닌 JVM 내 스케줄링 → 시스템콜에 의한 오버헤드가 발생하지 않음

2. 스레드 스케줄링을 통해 Nonblocking I/O 지원

I/O Blocking
- 복잡한 비즈니스 로직에 따른 증가하는 I/O blocking time
- Thread per request 모델에서는 특히 병목이 되는 blocking time
Non blocking I/O
- Spring WebFlux는 netty의 event loop를 이용해 blocking time을 획기적으로 줄임
- virtual thread인 경우 다음을 활용하여 Non blocking I/O를 가능하게 함
  - JVM 스레드 스케줄링
  - Continuation 활용
- JVM 스레드 스케줄링
- Continuation 활용

3. 기존 스레드를 상속하여 코드 호환

final class VirtualThread extends BaseVirtualThread {

abstract sealed class BaseVirtualThread extends Thread
        permits VirtualThread, ThreadBuilders.BoundVirtualThread {

=> VirtualThread == Thread

public ExecutorService executorService() {
	return Executors.newVirtualThreadPerTaskExecutor();
}

Virtual Thread 동작 원리

가상 스레드
JVM에 의해 스케줄링
캐리어 스레드와 1:N 매핑
작업 단위 Continuation(실행 가능한 작업 흐름으로, 중단 시점부터 다시 시작 가능)
- 사용 이유
  - Thead는 작업 중단을 위해 커널 스레드를 중단
  - virtual thread는 작업 중단을 위해 continuation yield
  ⇒ 작업이 block 되어도 실제 스레드는 중단되지 않고 다른 작업 처리
  ⇒ 커널 스레드 중단이 없으므로 시스템 콜 x → 컨텍스트 스위칭 비용이 낮음
동작 과정
- 유저 영역에 Virtual Thread 생성
- ForkJoinPool을 스케줄러로 사용
- 프로세서 수의 Carrier Thread를 worker thread로 사용
- ForkJoinPool은 Work Stealing 방식으로 작업을 수행
  - WorkQueue에 task를 담아서 순차적으로 수행
  - 본인의 WorkQueue가 비워있으면 남의 WorkQueue에서 훔쳐옴
JVM 스케줄링 이유
- Thread는 생성 및 스케줄링 시 커널 영역 접근
- Virtual Thread는 커널 영역 접근 없이 단순 java 객체 생성
⇒ Virtual thread는 생성 시 시스템 콜 호출을 하지 않음

⇒ ReentrantLock으로 바꾸면 가능

Virtual Thread는 배압 조절 기능이 없음
- 유한 리소스의 경우 배압을 조절하도록 설정이 필요 (DB 커넥션, 파일)
- 충분한 성능 테스트가 필요
Virtual Thread는 가볍고, 빠르고, nonblocking인 경량 스레드
Virtual Thread는 JVM 스케줄링 + Continuation
Thread per request 사용 중이고, IO blocking time이 주된 병목인 경우 고려
Reactive와 Kotline coroutine의 러닝 커브로 부담되는 경우, 쉽게 적용 가능