FUSE(Filesystem in Userspace)用户空间文件系统是一个面向类Unix/Linux操作系统的软件接口，它可以将用户空间程序创建的文件系统挂接到操作系统的内核中，从而使得其它程序可以无需重写IO代码，以近乎透明方式使用用户自定义的文件系统。基于这种易用性，FUSE系统在业界有已经大量的系统实现，这些系统多用于跨网络、分布式、异构的环境。

现在各个云计算厂商的提供的都是对象存储(Object storage)系统，为了方便用户直接使用这些对象存储系统，业界产生了许多基于FUSE的系统，比如GCP的Cloud Storage FUSE。

目前在云计算的各种操作系统的使用中，Windows系统的操作系统的占比约在25%-30%左右。但是大多数基于对象存储的FUSE系统都不能很好的支持Windows系统。比如Cloud Storage FUSE系统只支持Linux和MacOS。本文主要讨论在Windows环境下如何构建自己的文件系统。

1.为什么要用FUSE系统？

为此，我们需要先了解一下FUSE系统的优点和缺点。
FUSE系统的缺点：
● 性能开销比较大，由于程序运行在用户空间，并且受限于底层真正存储系统的性能，从而导致FUSE系统整体的性能开销比较大。尤其针对大量小文件的IO密集操作的场景，体现的尤为明显。
● 有一定的功能限制，和正常的POSIX/NTFS系统相比较，有些功能是难于实现的，比如文件内容的修改好追加操作，文件权限的控制等。需要特别指出的，基本对象存储的FUSE系统，文件一般都是只读模式。
FUSE系统的优点：
● 用户几乎无需修改IO代码，可以直接操作对象存储。
● 可以实现分布式文件系统的功能，在不同操作系统的环境中共享文件。
● 成本较低，直接挂载对象存储的成本远低于使用CIFS/NFS的方式，因为CIFS/NFS的方式下，用户需要支付额外的费用。
我们在充分了解FUSE优缺点的基础上，就可以确定如何才能更好的使用FUSE系统。

2.FUSE on Windows

我比较了Cygwin, Dokan, WinFsp这三种FUSE的实现，最后选择了WinFsp做为开发的基础。主要原因是：WinFsp项目经过几年的发展已经比较成熟，性能相对不错，项目也很活跃，而且我对WinFsp也已有发布的项目。WinFsp是NTFS兼容的系统，可以将用户自定义的文件系统以NTFS的接口挂接到系统的内核中。

3. FUSE on GCS

在Windows系统中，FUSE的兼容接口是NTFS。NTFS文件系统是比较复杂的系统，由于缺乏明晰的文档，WinFsp各个API之间调用关系和传递的参数都需要在实际的开发过程不断调整。所幸的是GCS的一些技术特性简化了相关的开发工作。

项目使用C#进行开发，目前，已经开发完成，项目地址：GcsFuse-Win，这个系统可以使得Windows的主机以本地文件系统的方式挂载GCS的资源。可以同时挂载整个GCS的多个Bucket,也可以挂载单个Bucket，也可以只挂载某个Bucket下特定Prefix的资源。

下面我们将探讨一下其中具体的关键技术细节:

3.1 文件的创建

系统创建文件时的API大致的调用顺序是Create->Open->Read/Write … 。对应的在GCS上需要创首先建一个长度为零的Object，随后系统的Open函数就会调用这个刚创建的Object进行后续的操作。在这个环节，由于GCS具有强一致性的特性，尤其是Read-after-write的一致性，可以确保Open API能够获取到之前的Object。但是在在其它厂商的对象存储系统中，由于采用的是最终一致性，就无法保证Open API能够获取之前创建的Object。

下面是创建一空Object的参考代码(C#)：

public Google.Apis.Storage.v1.Data.Object CreateEmptyBlob(string bucketName, string blobName) 
        {
            var content = Encoding.UTF8.GetBytes("");
            string contentType = MimeMapping.GetMimeMapping(Path.GetFileName(blobName));
            Google.Apis.Storage.v1.Data.Object blob = this.storage.UploadObject(bucketName, blobName, contentType, new MemoryStream(content));
            return blob;
        }

3.2 子文件夹

GCS和其他对象存储系统一样，都是基于Key-Value的扁平的命名方式。为了模拟文件系统中的层级关系，GCS采用了非常巧妙的设计方式。在GcsFuse-Win中，通过创建一个名称为：“abc/”,大小为零的Object，这样“abc/”就可以在系统中以文件夹“abc”的形式出现，注意这时“abc”文件夹下为空，没有任何文件。当在“abc”文件夹中添加一文件时，GCS会将”abc/”这个Object自动删除。

下面是创建子文件夹的参考代码(C#)：

 public Google.Apis.Storage.v1.Data.Object CreateSubDir(string bucketName, string blobName)
        {
            string subDir = blobName.EndsWith("/") ? blobName : blobName + "/";
            Google.Apis.Storage.v1.Data.Object blob = CreateEmptyBlob(bucketName, subDir);
            return blob;
        }

3.3 子文件夹和文件的遍历

GCS对如下一下操作也支持强一致性，比如：Read-after-delete，Bucket listing，Object listing。这样可以确保系统能够遍历到最新的文件。
另外对于子文件夹，如果子文件夹是空的，没有任何文件，那么遍历其父文件夹时是是可遍历到这个名如”abc/”的Object的。但是一旦该文件加下有了文件，那么在遍历其父文件夹时这个名如”abc/“将不再是Object Instance的类型，而是prefix类型。

3.4 Read操作

WinFsp会在多个场景下调用Read API的操作，对于一个文件的Read操作通常不是一次性完成的，而是需要调用多次，每次调用要通过计算offset和length来定位内容。但是由于Windows的内核设定, read-ahead的长度一般是8K，如果每次Read都调用一次GCS的分段下载的API的话，网络消耗会比较大。所以GcsFuse-Win在Read这个环节增加一个了Buffer，GcsFuse-Win会以根据用户设定的Buffer大小和文件的大小计算出一个最小的Buffer Size,然后根据这个Buffer Size来预先缓存数据。比如设定Buffer Size 是4MB, 文件的大小是1.2MB，则GcsFuse-Win在在系统调用Read操作是，将该文件全部下载并缓存，这样后续的Read将会直接读取缓存中的内容。通过Buffer机制可以极大的降低网络的请求数量。

GCS支持分段下载Object的数据，在请求的参数中加入”alt=media“表示下载Object的数据。

下面是分段下载GCS Object的参考代码(C#)：

public byte[] DownloadByteRange(string bucketName, string blobName,
            long firstByte, long lastByte)
        {
            byte[] content;
            // Create an HTTP request for the media, for a limited byte range.
            StorageService storage = this.storage.Service;
            var uri = new Uri(
                $"{storage.BaseUri}b/{bucketName}/o/{HttpUtility.UrlEncode(blobName, System.Text.Encoding.UTF8)}?alt=media");
            var request = new HttpRequestMessage() { RequestUri = uri };
            request.Headers.Range =
                new System.Net.Http.Headers.RangeHeaderValue(firstByte,
                lastByte);
            var response = storage.HttpClient.SendAsync(request).Result;
            if ((int)response.StatusCode == 200 | (int)response.StatusCode == 206)
            {
                content = response.Content.ReadAsByteArrayAsync().Result;
                return content;
            }
            else
            {
                string errMsg = string.Format("Failed to download the blob:{0}" , bucketName + "/" + blobName);
                throw new DownloadException(errMsg);
            }
           
        }

3.5 Write操作

WinFsp对文件内容的写入通常也是通过多次调用Write操作，和Read操作一样，在Windows内核中每次Write的长度一般是128K，同样的如果每次Write操作都调用GCS的Resumable upload的API的话，网络消耗会比较大。在这个环节，GcsFuse-Win同样实现了一个Buffer的功能，会等到Buffer充满之后，再以Block的方式统一上传至GCS。这样可以提高性能，但同时也引入了一定的风险。

对应Write操作在GCS上的实现，可以有两种方式，一种是采用复合对象(composite-objects)的方式，可通过分别上传多个部分，最后通过GCS的compose函数整合成一个完整的对象，这个方式适用于multipart upload的场景。另一种是断点续传(resumable upload)的方式。GcsFuse-Win采用的是断点续传的方式。

GCS的断点续传操作需要分两步来进行：
第一步：开启断点续传的会话，在这个过程中，系统将会创建并返回一个URI，后续的真实的数据上传将会根据这个URI进行。
参考代码如下(C#)：

public Uri InitializeResumableUploader(string bucketName, string blobName)
        {
            StorageService storageService = this.storage.Service;
            var uri = new Uri(
                $"https://storage.googleapis.com/upload/storage/v1/b/{bucketName}/o?uploadType=resumable");
            var initRequest = new HttpRequestMessage() { RequestUri = uri };
            string body = "{\"name\":\"" + blobName + "\"}";
            initRequest.Content = new StringContent(body, Encoding.UTF8, "application/json");
            string contentType = MimeMapping.GetMimeMapping(Path.GetFileName(blobName));
            initRequest.Headers.Add("X-Upload-Content-Type", contentType);
            initRequest.Method = new HttpMethod("POST");
            var initResponse = storageService.HttpClient.SendAsync(initRequest).Result;
            Uri uploadUri = null;
            if ((int)initResponse.StatusCode == 200)
            {
                uploadUri = initResponse.Headers.Location;
            }
            else
            {
                string errMsg = string.Format("Failed to initialize the upload session :{}" + bucketName + "/" + blobName);
                throw new UploadException(errMsg);
            }
            return uploadUri;
        }

第二步：上传数据，需要注意的是，除去最后一个数据块之外上传数据块的大小必须是256KB的整数倍。每次上传成功后，系统会返回308的代码，当最后一个数据块上传成功后，系统会更加数据应有的大小和最后实际收到的数量进行对比，如果数量一致则会返回200。

参考代码如下(C#)：

public long UploadBlobChunk(Uri uploadUri, byte[] rawData, long byteSent, long length) 
        {
            bool isEof = false;
            StorageService storageService = this.storage.Service;
            var uploadRequest = new HttpRequestMessage() { RequestUri = uploadUri };
            uploadRequest.Method = new HttpMethod("PUT");
            uploadRequest.Content = new ByteArrayContent(rawData);
            if (length % (256 * 1024) != 0)
            {
                long totalLength = byteSent + length;
                uploadRequest.Content.Headers.ContentRange = new System.Net.Http.Headers.ContentRangeHeaderValue(byteSent, byteSent + length - 1, totalLength);
                isEof = true;
            }
            else {
                uploadRequest.Content.Headers.ContentRange = new System.Net.Http.Headers.ContentRangeHeaderValue(byteSent, byteSent + length - 1);
            }
            var uploadResponse = storageService.HttpClient.SendAsync(uploadRequest).Result;
            if (isEof)
            {
                if ((int)uploadResponse.StatusCode != 200)
                {
                    string errMsg = string.Format("Failed to the upload :{0}", uploadUri.ToString());
                    throw new UploadException(errMsg);
                }
            }
            else {
                if ((int)uploadResponse.StatusCode != 308)
                {
                    string errMsg = string.Format("Failed to the upload :{0}", uploadUri.ToString());
                    throw new UploadException(errMsg);
                }
            }
            return length;
        }

最后

目前，业界在Windows系统使用FUSE功能还处于前期探索阶段，各种实现方法都有不同的优缺点。 GcsFuse-Win的项目地址：https://github.com/weswu8/gcsfuse-win

目前代码存在许多不足和Bug，要不断的优化和改进。用户需要根据自己是场景来确实最适合自己的方法。

参考资料：
https://zh.wikipedia.org/wiki/FUSE
https://github.com/libfuse/libfuse
https://cloud.google.com/storage/docs/gcs-fuse
https://github.com/billziss-gh/winfsp
http://www.secfs.net/winfsp/doc/Known-File-Systems/
https://cloud.google.com/storage/docs/composite-objects
https://cloud.google.com/storage/docs/resumable-uploads

创作场景

GCS FUSE 在 Windows 环境下的解决方案