캐시 메모리 (캐시 일관성, 캐시의 쓰기 정책)

캐시 메모리 (Cache Memory)

 

탄생 배경

현대 컴퓨터의 주기억장치 메모리는 대부분 100% SDRAM으로 구성되며 SDRAM은 보조 기억장치에 비해 빠르긴 하지만 한 번 메모리에 접근할 때마다 지연시간(Latency)가 존재한다.

 

매번 데이터가 필요할 때마다 여러 번 메모리에 반복적으로 접근하게 되면 지연시간으로 인해 전체 시스템의 성능 저하를 초래할 수 있다.

 

따라서, 이러한 문제를 해결하기 위해서 등장한 메모리가 바로 “캐시 메모리”이다.

 

👉  캐시 메모리는 주로 SRAM으로 구성되기 때문에 “상대적으로” SDRAM보다 지연시간이 거의 존재하지 않는다!

 

 

✅  메모리 계층 구조

 

---

 

동작 원리

 

CPU는 메인 메모리에서 데이터를 읽어올 때, 해당 데이터를 포함하여 참조 지역성의 원리에 따라 선택된 많은 데이터를 읽어와 캐시 메모리에 미리 Load 한다.

 

캐시 메모리에 데이터를 Load 해두면 그 다음부터는 메인 메모리에 접근하기 이전에 캐시 메모리에 찾고자 하는 데이터가 있는 경우, 캐시 메모리에서 데이터를 불러오기 때문에 메모리 접근에 필요한 지연시간을 크게 줄일 수 있다.

 

다만, 캐시 메모리에 원하는 데이터가 없을 때에는 메인 메모리에서 데이터를 새로 읽어와야 한다.

 

캐시 메모리에 원하는 데이터가 있는 경우, 이를 “Cache hit” 라고 부르고 원하는 데이터가 없는 경우, 이를 “Cache miss”라고 부른다.

 

추가적으로 캐시가 hit 되는 비율을 캐시 적중률 (Cache hit ratio)라고 부른다.

 

마지막으로 캐시 메모리가 가득 차게 되면, 새로운 데이터를 쓰기 위해서 일부 데이터를 지우게 되는데 이 때 지울 데이터의 내용이 CPU에 의해 바뀌어 있다면 같은 SDRAM 메모리 주소를 참조하는 다른 CPU와의 캐시 데이터 일관성 (Data Coherence)을 위하여 데이터를 업데이트한다.

 

 

 

✅ 참조 지역성의 원리 (locality of reference, principle of locality)

 

캐시 메모리의 이점을 제대로 활용하기 위해서는 CPU가 사용할 법한 데이터를 제대로 예측해서 캐시 적중률을 높여야 한다.

 

따라서, CPU가 사용할 법한 데이터를 예측해서 추려내야 하는데 캐시 메모리는 한 가지 원칙에 따라 메모리로부터 가져올 데이터를 결정한다.

 

해당 원칙은 “참조 지역성의 원리”로 CPU가 메모리에 접근할 때의 주된 경향을 바탕으로 만들어진 원리이다.

 

👉  CPU는 최근에 접근했던 메모리 공간에 다시 접근하려는 경향이 있다. → 시간 지역성 (temporal locality)

👉  CPU는 접근한 메모리 공간 근처를 접근하려는 경향이 있다. → 공간 지역성 (spatial locality)

 

 

---

캐시 일관성 (Cache Coherence)

싱글 코어 시스템과는 달리 두 개 이상의 코어를 가진 멀티 코어 시스템에서는 다른 코어에 의해 메모리 데이터가 변경될 수 있으므로, 현재 캐시에 저장되어 있는 데이터가 메모리의 최신 상태와 같다고 보장할 수 없다.

 

불완전한 데이터로 인한 원치않는 결과를 회피하기 위해, 각 코어에 있는 캐시 메모리의 데이터를 동일하게 유지해야만 하며 이는 데이터 일관성 (Data Coherence)을 유지하는 것이다!

 

따라서, 메모리 내용을 갱신하게 되는 경우 이 사실을 다른 코어들에게 전달하고 각 코어의 기존 데이터를 무효화 해야 하며 이 과정을 구현한 것이 캐시 일관성 (Cache Coherence) 이다.

 

주로 캐시 일관성이 깨지는 경우는 주로 DMA와 CPU 간에 동일한 메모리 주소를 참조하는 데이터를 동시에 바라보고 있을 시에 발생하는데 이를 방지하기 위한 방법으로는 Cache Flush나 Cache clean을 이용하거나 MMU의 Page Table을 Cacheable과 Non-Cacheable 영역으로 구분하는 방법이 있다.

 

캐시 일관성이 깨지는 것은 DMA에 이용하는 메모리 속성이 Cacheable 이어서 발생하는 현상으로 해당 메모리 속성을 Non-Cacheable 로 변경해주면 해결된다.

 

 

---

캐시 속성 (Cacheable / Non-Cacheable)

캐시 속성 중 Cacheable은 캐시를 사용하는 영역을 말하며, Non-Cacheable 영역은 캐시를 사용하지 않는 영역을 말한다.

 

즉, CPU가 메모리의 Non-Cacheable 영역에 접근할 때는 캐시를 사용하지 않고 시간이 더 걸리더라도 직접 SDRAM에다 데이터를 읽고 쓰는 작업을 수행한다.

 

이 두 가지 영역을 굳이 구분하여 사용하는 이유는 무엇이고 언제 구분해서 사용해야 하는 지를 알아 보자.

 

사실 메모리에 접근하는 것이 오로지 CPU 하나 뿐이라면 Non-Cacheable 영역은 필요가 없지만 CPU 외에도 대표적으로 메모리에 접근하는 하드웨어 중 DMA 컨트롤러가 있는데 DMA와 CPU가 같은 메모리 데이터에 접근할 때 CPU는 캐시 메모리에 있는 데이터에 접근하고 DMA는 SDRAM에 직접 접근함으로써 데이터 일관성 (Data Coherence)이 깨질 수 있다.

 

이 때, 캐시 메모리는 CPU의 전유물이기 때문에 다른 CPU (멀티 프로세서 환경)나 DMA와 같은 외부 장치등이 접근할 수가 없다.

 

이처럼 데이터 일관성이 깨지는 것을 방지하기 위해 해당 메모리 데이터 영역의 속성을 Non-Cacheable 으로 변경해주어야 하고 해당 Non-Cacheable 영역의 용도는 CPU를 비롯한 여러 하드웨어 장치들이 해당 메모리 영역을 서로 공유하여 데이터를 사용하고자 할 때에 사용한다.

 

즉, 정리하자면 Cacheable, Non-Cacheable 영역을 구분하여 사용하는 것은 데이터 일관성을 지키기 위함이고 DMA와 같은 외부 하드웨어 장치와 연관된 소프트웨어를 작성할 때에는 사용하는 메모리 데이터가 Cacheable 영역에 들어가도 괜찮은지 그 여부를 따져서 영역을 구분지어야 한다.

 

 

---

캐시 메모리의 쓰기 정책 (Write Principle)

CPU가 캐시 메모리에 데이터를 Write 하게 되면 캐시 일관성을 유지하기 위해 메인 메모리 또는 보조 기억장치 등의 진짜 메모리 저장소에도 데이터를 Write 해주어야 한다.

 

캐시 메모리의 데이터를 메인 메모리로 Write 하는 정책은 크게 Write-Through, Write-Back 등이 있다.

 

 

Write-Through

Write-Through는 캐시 메모리에 데이터가 Write 되는 그 시점에 데이터를 주기억장치에도 저장하는 정책으로 간단하게 말해서 캐시 메모리와 실제 메모리 저장소 모두에 데이터를 업데이트하는 정책이다.

 

• 장점

캐시와 메모리에 업데이트를 같이 하여, 캐시 일관성을 유지할 수 있어 안정적이다.

 

• 단점

주기억장치 또는 보조기억장치는 캐시 메모리보다 데이터 처리속도가 느리기 때문에 CPU가 대기하는 시간이 필요하여 성능이 떨어진다.

다만, 이를 방지하기 위해 캐시 메모리에 아래와 같이 Write Buffer를 추가하여 사용하고 Write Buffer는 CPU가 직접 Write 명령을 수행하지 않아 대기하는 시간을 줄여준다.

또한, Write Buffer는 물리적인 메모리 구조로써 Write-Back 정책에서도 사용할 수 있다.

 

👉  Write-Through 정책은 데이터 로스가 발생하면 안되는 상황에서 사용하는 것이 적절하다.

 

 

---

 

Write-Back

Write-Back은 우선 캐시 메모리에만 데이터를 Write 하여 사용하다가 캐시 메모리가 새로운 데이터 블록으로 교체되는 때에 (다른 Tag를 가진 데이터가 캐시 블록에 할당될 때) 데이터를 주기억장치에도 저장하는 정책이다.

 

간단하게 말해서 캐시 메모리에 있는 데이터를 여러 번 Overwrite하여 사용한 다음, 캐시 메모리가 해제되는 때에 메인 메모리에 데이터를 업데이트하는 정책이다.

 

• 장점

Write-Through 보다 훨씬 처리 속도가 빠르다

 

• 단점

속도는 빠르지만 구현하기 어렵고 캐시 메모리에만 업데이트하고 메모리에는 바로 업데이트하지 않기 때문에 캐시 일관성이 유지되기가 힘들어 종종 캐시와 메모리가 서로 값이 다른 경우가 발생할 때가 있다.

캐시 메모리에 데이터가 Overwrite 될 때마다 새로운 Status Bit or Dirty Bit를 설정하며 실제 메모리 저장소에 데이터가 Write 되는 동작이 늦어지다 보니 Write-Back을 Lazy Write 라고 부르기도 한다.

 

👉   빠른 서비스를 요하는 상황에서는 Write Back을 사용하는 것이 좋다.

 

🔍  Write-Through, Write-Back 동작 방식

 

 

 

Reference

https://blog.naver.com/techref/222253156868

https://blog.naver.com/PostView.nhn?blogId=techref&logNo=222282586535

https://cyber0946.tistory.com/81

캐시 일관성(Cache Coherence)과 캐시 속성(Cacheable / Non Cacheable)

Write Through, Write Back

캐시 메모리의 쓰기 정책 : Write-Through, Write-Back