深入浅出话CACHE

圆圆
1997-01-01

#1　　什么是ＣＡＣＨＥ
　　所谓Ｃａｃｈｅ，即高速缓冲存储器，是位于ＣＰＵ和主存储器ＤＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）之间的规模较小的但速度很高的存储器，通常由ＳＲＡＭ组成。ＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）是静态存储器的英文缩写。由于ＳＲＡＭ采用了与制作ＣＰＵ相同的半导体工艺，因此与动态存储器ＤＲＡＭ比较，ＳＲＡＭ的存取速度快，但体积较大，价格很高。由于动态ＲＡＭ组成的主存储器的读写速度低于ＣＰＵ的速度，而ＣＰＵ每执行一条指令都要访问一次或多次主存，所以ＣＰＵ总是要处于等待状态，严重地降低了系统的效率。
　　采用Ｃａｃｈｅ之后，在Ｃａｃｈｅ中保存着主存储器内容的部分副本，ＣＰＵ在读写数据时，首先访问Ｃａｃｈｅ。由于Ｃａｃｈｅ的速度与ＣＰＵ相当，因此ＣＰＵ就能在零等待状态下迅速地完成数据的读写。只有在Ｃａｃｈｅ中不含有ＣＰＵ所需的数据时，ＣＰＵ才去访问主存。ＣＰＵ在访问Ｃａｃｈｅ时找到所需的数据称为命中，否则称为未命中。因此，访问Ｃａｃｈｅ的命中率则成了提高效率的关键。而提高命中率则取决于Ｃａｃｈｅ存储器的映象方式和Ｃａｃｈｅ内容替换的算法等一系列因素。
　　在３８６以前的微机中，尽管内存的读写速度较慢，但由于ＣＰＵ的工作频率也不高，因此对系统效率的影响并不太大。所以都没有采用Ｃａｃｈｅ技术。对于３２位微机而言，其ＣＰＵ的速度比存取速度相对较低的ＤＲＡＭ存储器要快得多，为了实现速度上的匹配，只能插入等待状态延长存储器读写总线周期。这样做的结果是大大增加了系统的时间开销，降低了系统的速度。如果采用高速的静态ＲＡＭ（ＳＲＡＭ）当然可以解决这个矛盾，但是ＳＲＡＭ体积大，价格高。因此，只能在对系统性能的要求超过对价格的考虑时才采用ＳＲＡＭ作主存储器。目前，在３８６以上的微机中解决速度匹配的最佳方案也只能是采用高速缓冲存储器Ｃａｃｈｅ。
#1　　ＣＡＣＨＥ的基本原理
　　通过上面的介绍，我们知道Ｃａｃｈｅ也是一种存储器，其工作速度很高，是为了解决ＣＰＵ和ＤＲＡＭ主存之间的速度匹配而设置的。Ｃａｃｈｅ可以看作是高速ＣＰＵ和低速ＤＲＡＭ之间的接口，或者说，把Ｃａｃｈｅ看成一个适配器来解决ＣＰＵ和ＤＲＡＭ之间的速度匹配问题。ＣＰＵ、Ｃａｃｈｅ和ＤＲＡＭ三者之间的关系可用图１表示：
　　当ＣＰＵ要从存储器中读取一个数据字时，它首先在Ｃａｃｈｅ中查找。如果找到了，则立即从Ｃａｃｈｅ中读取并送到ＣＰＵ中；如果在Ｃａｃｈｅ中找不到，则用一个存储器读周期的时间从主存中读出这个字送到ＣＰＵ，并且把包含这个数据字的整个数据块都从主存送到Ｃａｃｈｅ中。之所以这样作，是因为存储器的访问具有局部性，也就是说连续读取的数据字一般在内存中都是连续存放的。调入一个数据块后，将使得以后若干次的访存都可以通过访问Ｃａｃｈｅ来完成。如果调度算法得当，Ｃａｃｈｅ的命中率可以很高。这样，从用户的角度看来，整个存储器（Ｃａｃｈｅ＋ＤＲＡＭ）就变成了既有Ｃａｃｈｅ这样高的速度，又有ＤＲＡＭ这样大容量的存储系统了。这对于解决存储器这个瓶颈问题是十分有效的。
　　综上所述，Ｃａｃｈｅ有以下一些特点：
　　●Ｃａｃｈｅ虽然也是一类存储器，但是不能由用户直接访问。
　　●Ｃａｃｈｅ的容量不大，目前的微机中一般为２５６ＫＢ。其中存放的只是主存储器中某一部分内容的拷贝，称为存储器映象。
　　●为了保证ＣＰＵ访问时有较高的命中率，Ｃａｃｈｅ中的内容应该按一定的算法更换。
　　●Ｃａｃｈｅ中的内容应该与主存中对应的部分保持一致。也就是说，如果主存中的内容在调入Ｃａｃｈｅ之后发生了改变，那么它在Ｃａｃｈｅ中的拷贝也应该随之改变。反过来，如果ＣＰＵ修改了Ｃａｃｈｅ中的内容，也应该修改主存中的相应内容。
#1　　存储器映象
　　所谓存储器映象问题是指如何确定Ｃａｃｈｅ的内容是主存中的哪一部分内容的拷贝。存储器映象的方法，通常采用直接映象法和Ｎ路相联映象法。
　　直接映象法是把主存地址空间分为大小相等的若干页面，每页的尺寸大小与Ｃａｃｈｅ的大小相等，当ＣＰＵ要访问的页面与Ｃａｃｈｅ中驻留的页面相同时，即为命中。由于页内地址与Ｃａｃｈｅ内的地址是一一对应的，因此在命中的情况下，直接读写Ｃａｃｈｅ即可。若未命中，则需要进一步访问主存。这种主存地址映象方法称为直接映象法。
　　Ｎ路相联映象常用的有二路相联、四路相联等映象法。它是把Ｃａｃｈｅ存储器分为若干组，每组含若干行。主存的页与Ｃａｃｈｅ的组大小尺寸相当。而Ｃａｃｈｅ内容的交换以行为单位进行。因此在Ｃａｃｈｅ中可同时存放多个页面，从而减少了页冲突。
#1　　ＣＡＣＨＥ内容的更换
　　为了提高命中率，我们总是希望在Ｃａｃｈｅ中保存的是ＣＰＵ经常要用或即将使用的那些数据。为了做到这一点，则必须按一定的算法，根据需要更换Ｃａｃｈｅ的内容。
　　Ｃａｃｈｅ存储器分为两个基本部分，即数据存储器和标记（ＴＡＧ）存储器。在数据存储器中存放的是主存中某部分单元的内容，标记存储器中存放的是对应主存单元的地址。处理器访问主存时，Ｃａｃｈｅ控制器即比较地址与标记存储器的内容，若相同即为命中。
　　直接映象方式下，若处理器读操作命中时，Ｃａｃｈｅ对应单元的内容及其标记均保持不变，不作置换；而读操作未命中时，Ｃａｃｈｅ控制器通知ＣＰＵ直接访问主存储器，读出的数据在传送至ＣＰＵ时也写入Ｃａｃｈｅ，并修改标记。这就完成了对Ｃａｃｈｅ内容的更换。在写命中时，同时修改Ｃａｃｈｅ和主存对应单元的内容，标记字不改变；写未命中时，则除了要修改Ｃａｃｈｅ和主存对应单元的内容外，还需要修改相应的标记。
在Ｎ路相联映象方式中，通常采用“最近最少使用置换法”（ＬＲＵ算法）。这种算法的特点是，当未命中时，淘汰Ｃａｃｈｅ中那些最近以来最少使用的单元的内容，进行替换。
#1　　保持数据一致性
　　由于Ｃａｃｈｅ中的内容只是主存中相应单元的“拷贝”。因此必须保持这两处的数据绝对一致，否则就会产生错误。造成Ｃａｃｈｅ和相应主存单元数据不一致的因素来自两个方面。一是ＣＰＵ读入Ｃａｃｈｅ数据作了修改后再写入Ｃａｃｈｅ，而主存中相应单元的内容并未随之变化；二是在有多个设备对主存访问的情况下造成的。如多处理器或有ＤＭＡ的系统，它们直接访问主存储器，修改了其中的内容，而Ｃａｃｈｅ中的相应数据却未随之修改。
　　对于第一种情况，即ＣＰＵ修改了Ｃａｃｈｅ的数据，如何使主存中相应单元的数据也随之修改的问题，通常有三种不同的方式。
　　第一种方式称为“直写式”（Ｗｒｉｔｅ－ｔｈｒｏｕｇｈ），其原理是在ＣＰＵ向Ｃａｃｈｅ写入数据的同时，也把数据写入主存储器，以保证Ｃａｃｈｅ和主存中相应单元数据的一致性。直写式系统简单可靠，但由于ＣＰＵ每次更新Ｃａｃｈｅ时都要对主存储器写入，因此速度受到了影响。
　　第二种方式称为“缓冲直写式”（Ｐｏｓｔｅｄ　Ｗｒｉｔｅ），其原理是ＣＰＵ在更新Ｃａｃｈｅ时不直接更新主存中的数据，而是把更新的数据送入一个缓冲器中暂存，这样ＣＰＵ就不必等待主存写入造成的延时而直接进入下一周期的操作，在适当的时候再把缓冲器中的内容写入主存中（例如在ＣＰＵ读Ｃａｃｈｅ的同时，把缓冲器的内容写入主存）。这种方式在一定程度上提高了速度，但由于缓冲器的容量有限，只能锁存一次写入的数据，如果发生连续的写操作，则ＣＰＵ仍需要等待。
　　上述的直写式或缓冲直写式不仅速度低，而且在很多时候向主存写入数据是不必要的。例如ＣＰＵ可能多次对同一个Ｃａｃｈｅ单元更新内容，实际上只需把最后更新结果写入主存即可，而不必更新一次Ｃａｃｈｅ，就向主存写入一次。根据这种思想提出了第三种方式，称为“回写式”（Ｗｒｉｔｅ－ｂａｃｋ），有的资料中也称为“写回”。这种方式的原理是ＣＰＵ修改了Ｃａｃｈｅ的内容后并不立即修改主存中相应的单元，而在被修改的Ｃａｃｈｅ单元的内容将从Ｃａｃｈｅ中淘汰时（如更换页面）才把它写入主存储器的相应单元中。回写式系统速度快，避免了不必要的冗余写操作，但结构上较复杂。当前的微机普遍采用回写式系统。早期某些版本的ＢＩＯＳ设置程序中要求用户根据机器的结构指定写入方法，如果设置错误，则微机不能正常工作。目前这一设置项已取消了。
　　对于第二种情况，即多处理器或ＤＭＡ直接访问主存储器造成主存和Ｃａｃｈｅ中的数据不一致发生在以下情形：当主存中某单元内容调入Ｃａｃｈｅ后，又由其它处理器或ＤＭＡ更新了主存储器该单元的内容。为了避免这种情况下的数据不一致，通常采用以下三种处理办法解决：
　　一种办法称为“总线监视”，即由Ｃａｃｈｅ控制器随时监视系统的地址总线，若有其它部件向主存中写入了内容，则把Ｃａｃｈｅ中相应单元的内容置为无效，ＣＰＵ必须重新从主存中读入该单元的内容。
　　第二种方式称为“主存监视”，由Ｃａｃｈｅ控制器监视所有主存储器的读写操作，所有对主存的访问都必须通过Ｃａｃｈｅ来完成。这样，凡对主存的写入也就对Ｃａｃｈｅ中的相应单元进行拷贝。从而保证了两者数据的一致性。
　　第三各方式是设置“不可Ｃａｃｈｅ区”（Ｎｏｎ－Ｃａｃｈｅａｂｌｅ　Ｂｌｏｃｋ）。这种方式的基本思想是在主存中开辟一块区域，该区域中数据不受Ｃａｃｈｅ控制器的管理，不能调入Ｃａｃｈｅ，ＣＰＵ只能直接读写该区域的内容。其它总线设备也只能把数据直接写入该区域中。由于该区域不与Ｃａｃｈｅ发生关系，也就不存在数据不一致的问题。不可Ｃａｃｈｅ区方式是微机中最主要的方式，不少ＢＩＯＳ设置程序允许用户设置不可Ｃａｃｈｅ区的首地址和尺寸，以及可Ｃａｃｈｅ区的地址范围。
#1　　内部ＣＡＣＨＥ和外部ＣＡＣＨＥ
　　８０４８６以及更高档微处理器的一个显著特点是在处理器芯片内集成了ＳＲＡＭ作为Ｃａｃｈｅ，由于这些Ｃａｃｈｅ装在芯片内，因此称为内部Ｃａｃｈｅ（Ｉｎｔｅｒｎａｌ　Ｃａｃｈｅ）或称为片内Ｃａｃｈｅ。４８６芯片片内Ｃａｃｈｅ的容量通常为８Ｋ。高档芯片如Ｐｅｎｔｉｕｍ、Ｐｏｗｅｒ　ＰＣ等可达３２ＫＢ，甚至更高。相对而言，片内Ｃａｃｈｅ的容量不大，但是非常灵活、方便，极大地提高了微处理器的性能。片内Ｃａｃｈｅ也称为一级Ｃａｃｈｅ。
　　由于８０４８６等高档处理器的时钟频率很高，一旦出现一级Ｃａｃｈｅ未命中的情况，性能将明显恶化。在这种情况下采用的办法是在处理器芯片之外再加Ｃａｃｈｅ，称为二级Ｃａｃｈｅ。二级Ｃａｃｈｅ就是通常所说的外部Ｃａｃｈｅ（Ｅｘｔｅｒｎａｌ　Ｃａｃｈｅ），它实际上是ＣＰＵ和主存之间的真正缓冲。由于系统板上的响应时间远低于ＣＰＵ的速度，如果没有外部Ｃａｃｈｅ就不可能达到４８６等高档处理器的理想速度。外部Ｃａｃｈｅ的容量通常应比内部Ｃａｃｈｅ大一个数量级以上。在系统设置中，常要求用户确定是否允许使用内部和外部Ｃａｃｈｅ，在禁止使用内部或外部Ｃａｃｈｅ时，系统速度将有显著的降低。外部Ｃａｃｈｅ的大小一般为６４ＫＢ、１２８ＫＢ或２５６ＫＢ。在４８６以上档次的微机中，普遍采用２５６ＫＢ同步Ｃａｃｈｅ。所谓同步是指Ｃａｃｈｅ和ＣＰＵ采用了相同的时钟周期以相同的速度同步工作，相对于异步Ｃａｃｈｅ，性能可提高３０％以上。
#1　　ＣＡＣＨＥ读写周期和等待状态
　　Ｃａｃｈｅ是由ＳＲＡＭ组成的，与ＤＲＡＭ一样，需要根据其存取速度来确定读写周期的长短。如ＳＲＡＭ速度较低（如３５ｎｓ以上）而系统时钟较高时，也需要有等待状态。ＢＩＯＳ设置程序中，一般也要求用户具体设置。对于有自动设置的ＢＩＯＳ设置程序，选定该项为Ｅｎａｂｌｅｄ即可。