关于cpu:嵌入式系统文件系统开发缓存的应用

一、前言

最近开发一基于嵌入式零碎下的“文件系统”，前期测试呈现一些离奇的BUG，经审查和排故发现是开启了缓存加上DMA搬运数据导致的CACHE不统一问题。当初就来分享一下。

二、缓存

改文件系统的利用场景是基于嵌入式操作系统，实现数据的无效记录。硬件设计基于Z7，BSP默认关上了CPU和主存之间的cache, 且写数据形式为写贯通。利用运行中，CPU通过cache拜访操作主存，而读写电子盘的驱动默认采纳DMA搬运数据到主存，这是cache不统一的根本原因。
本文先介绍一下几个概念：

1. cache line
   CPU cache的构造是由很多Cache Line组成的。每条cache line都有两个标记位。
2. 无效位(valid bit)
   示意cache line的数据是否无效。零碎刚启动时，数据都置有效。
3. 脏位(dirty bit)
   示意cache line的数据是否和下一级缓存统一。0统一，1不统一
4. 命中(Hit)
   CPU要拜访的数据在Cache中有缓存。成为命中(Hit)，反之为缺失(Miss)
5. DMA(Direct Memory Acess)
   间接存储器拜访，是一种不通过CPU而间接从内存存取数据的数据交换形式。否则，CPU须要从起源把每一片段的材料复制到暂存器，而后把它们再次写回新的中央。

三、缓存的读写形式

1. 写中转(write through)
   任一从CPU收回的写信号送到cache的同时，也写入主存，以保障主存的数据可能同步更新。

2. 写回(write back)

   如果当产生写操作时，数据曾经在 CPU Cache 里的话，则把数据更新到 CPU Cache 里，同时标记 CPU Cache 里的这个 Cache Block 为脏(Cache Block 的数据和内存是不统一)；
   如果当产生写操作时，数据所对应的 Cache Block 里寄存的是「别的内存地址的数据」的话，就要检 查这个 Cache Block 里的数据有没有被标记为脏的，如果是脏的话，咱们就要把这个 Cache Block 里的数据写回到内存，而后再把以后要写入的数据，写入到这个 Cache Block 里，同时也把它标记为 脏的;如果 Cache Block 外面的数据没有被标记为脏，则就间接将数据写入到这个 Cache Block 里，而后再把这个 Cache Block 标记为脏。

3. 读贯通(read through)
   CPU的所有对主存的数据申请都先送到cache，如果命中，则不申请拜访主存，并将数据送出；如果不命中，则向主存申请数据。
4. 读旁路(read aside)
   CPU收回数据申请时，并不是单通道地穿过Cache。而是向Cache和主存同时发出请求。因为Cache速度更快，如果命中，则Cache在将数据回送给CPU的同时，还来得及中断CPU对主存的申请；不命中。则Cache不做任何动作。由CPU间接拜访主存。

四、利用场景

文件系统是基于vxWorks开发的。针对CACHE不统一问题，剖析vxWorks零碎提供的cacheLib，提出两种解决办法：

1. 所有通过DMA操作的数据都用cacheDmaMalloc申请内存空间
   默认用malloc申请的内存不是缓存平安的。用cacheDmaMalloc能够为DMA设施和驱动调配缓存平安的内存缓冲。
2. 调用cacheFlush和cacheInvalidate解决问题
   cacheFlush强制将缓冲的数据更新到内存。对于写贯通类型，cacheFlush什么都不须要做因为内存和缓存条目是匹配的。cacheInvalidate将所有的缓冲条目都设置为有效，齐全切断内存和缓冲之间的分割。

本我的项目采纳的是第二种形式，间接在调用磁盘的读写驱动处减少cacheFlush和cacheInvalidate。在调用写驱动之前，调用cacheFlush强制将缓冲的数据更新到内存，保障写入磁盘的数据是从cache中拿到的最新的数据。在调用读驱动后，调用cacheInvalidate切断以后内存区域和cache的分割，保障后续CPU拜访该区域的时候，可能间接拜访内存而不是缓存中可能存在的旧数据。

int rawFsBlkWrt(unsigned int startsector,int nsectors,char *pdata, const char *devname)
{
    STATUS stats = ERROR;
    BLK_DEV * pdev = NULL;
    int ldrs_num = -1;
    int i = 0;
    
    for(i=0;i<LDRS_NUM;i++)
    {
        if(ldrs_handle[i].ldrs_valid_flag == LDRS_HANDLE_VALID_FLAG)
        {
            if(0==strcmp(devname,ldrs_handle[i].ldrs_name))
            {
                ldrs_num = i;
                break;
            }
        }
    }
    if(ldrs_num<0)
    {
        ldrs_errno = ERR_BLKDEV_INVALID; 
        printf("ERR_BLKDEV_INVALID %s",(char *)devname);
        return -1;
    }

    if(pdata == NULL)
    {
        ldrs_errno = ERR_ADDR_IS_NULL;
        return ldrs_errno;
    }

    if(ERROR == semTake(ldrs_handle[ldrs_num].sem_blkdev,sysClkRateGet()*30))
    {
        ldrs_errno = ERR_SEMPHONE_TAKE;
        return ldrs_errno;
    }

    cacheFlush(DATA_CACHE, (void*)pdata, nsectors);

    stats = fsBlkWrt(pdev,startsector,nsectors,pdata);
    semGive(ldrs_handle[ldrs_num].sem_blkdev);
    if(stats == ERROR)
    {
        ldrs_errno = ERR_BLK_WRITE; 
        return ldrs_errno;
    }

    return DISC_OK;    
}

int rawFsBlkRd(unsigned int startsector,int nsectors,char *pdata, const char *devname)
{
    STATUS stats = ERROR;
    BLK_DEV * pdev = NULL;
    int ldrs_num = -1;
    int i = 0;
    for(i=0;i<LDRS_NUM;i++)
    {
        if(0==strcmp(devname,ldrs_handle[i].ldrs_name))
        {
        ldrs_num = i;
        break;
        }
    }
    if(ldrs_num<0)
    {
        ldrs_errno = ERR_BLKDEV_INVALID; 
        printf("ERR_BLKDEV_INVALID %s",(char *)devname);
        return -1;
    }

    if(pdata == NULL)
    {
        ldrs_errno = ERR_ADDR_IS_NULL;
        return ldrs_errno;
    }

    if(ERROR == semTake(ldrs_handle[ldrs_num].sem_blkdev,sysClkRateGet()*30))
    {
        ldrs_errno = ERR_SEMPHONE_TAKE;
        return ldrs_errno;
    }
    stats = fsBlkRd(pdev,startsector,nsectors,pdata);
    cacheInvalidate(DATA_CACHE, pdata, nsectors);
    semGive(ldrs_handle[ldrs_num].sem_blkdev);
    if(stats == ERROR)
    {
        ldrs_errno = ERR_BLK_READ; 
        return ldrs_errno;
    }

    return DISC_OK;    
}