캐시의 등장 배경과 동작 원리

캐시의 등장 배경

폰노이만 구조

Bus

• Data bus : 시스템 구성요소들 간의 실제 데이터를 전달하기 위한 선들의 집합이다. 요소끼리 서로 데이터를 주고 받아야하므로 양방향 통신이다.

• Address bus: 데이터 버스상에서 전달되는 데이터의 송신자 혹은 수신자를 나타내기 위해 사용된다. CPU에서만 다른 유닛들의 주소를 지정하므로 이는 단방향 통신이다.

• Control bus : 모든 장치들에 의해 공유될 수 있는 데이터의 주소선에 제어 신호 (read or write). 양방향 통신이다.

왜 Control Bus는 양방향일까? 메모리에서 다른 유닛들에게 제어 신호를 보낸다거나 하는 일은 없을텐데 말이다. 이는 I/O장치에서 발생하여 CPU에 작업을 요청하는 인터럽트 때문이다. 이 Bus를 통해 CPU의 인터럽트 라인으로 신호가 가게되는 것이다.

 

하버드 구조

메모리 계층 구조

캐시의 종류

• L1 Cache - 내부적으로 데이터 캐시와 명령어 캐시로 나뉜다. (위에서 설명한 하버드 아키텍처를 따른다.) 보통 명령어는 보통 공간 지역성이 높고 데이터는 보통 시간 지역성이 높기 때문에 이 둘을 나누어 더 빠른 접근 시간을 갖게 한다.

• L2 Cache - L1 캐시가 miss일 경우 다음에 참조하는 찾게되는 캐시이다. L2는 L1보다 용량이 더 큰 대신 더 느린 속도를 갖는다.

• L3 Cache - 멀티 코어 시스템에서 여러 코어가 공유하는 캐시

캐시의 지역성

for(let i=0; i<arr.length; i++){
	console.log(arr[i]);
}

캐시의 동작 원리

• block offset - 결국 필요한 데이터에 접근하기 위해선 block이 아닌 Byte단위로 접근해야 한다. 이때 필요한 정보가 block offset으로 한 블록 내에서 원하는 Byte에 접근하기 위한 정보이다. (그림들에서는 32Byte를 가정하므로 5비트로 32개의 바이트 위치를 표현이 가능하다.)

• Index bit - 어느 블록인지 나타내기 위한 필드다. 5~14까지의 비트는 총 10비트이므로 2^10=1024개의 블록을 구분 가능하다.

• Tag bit - 인덱스의 충돌(0~14bits가 같은데 15~31bits가 다른 0x12345678 과 0x52345678 같은 경우)을 줄이기 위해 주소값의 나머지 비트를 태그로 사용한다. 이 때, valid bit 1비트를 추가한다. 이 비트는 해당 캐시 블록에 올바른 데이터가 저장되어 있다는 것을 의미한다.

1. Memory address 의 index bit를 보고 Cache의 어떤 block인지 찾아간다.

2. Cache의 Tag를 가져와서 Valid bit가 1인지 확인한다.

3. Valid bit 가 0이면, Tag matching을 하지 않고, Memory에서 data를 가져온다.

4. Valid bit 가 1이면, Tag matching을 진행한다. 만약 address의 tag bit 와 Cache에 있는 tag bit가 같다면 hit 이다.

캐시 쓰기 정책

• 하나는 Write-through 방식이다. 캐시에 데이터가 작성될 때마다 메모리의 데이터를 업데이트하는 것이다. 이렇게 하면 많은 트래픽이 발생하지만, 메모리와 캐시의 데이터를 항상 동일하게 유지할 수 있다. 하지만 오히려 hit 일 때, cache와 main memory 모두 update해야해서 시간이 더 걸리게 된다

• 또 다른 방식은 Write-back 방식이다. 이 방식은 블록이 교체될 때만 메모리의 데이터를 업데이트한다. 데이터가 변경됐는지 확인하기 위해 캐시 블록마다 dirty 비트를 추가해야 하며, 데이터가 변경되었다면 1로 바꿔준다. 이후 해당 블록이 교체될 때 dirty 비트가 1이라면 메모리의 데이터를 변경하는 것이다. cache의 크기는 늘어나지만, memory access가 줄어드는 방식이다.

참고