- 增加cache机制。基于LRU算法做更新,把最近读过的文件缓存在内存中,提高读取的效率,降低磁盘io;
- 增加支持大文件存储功能。BRFS在二期中,要支持存储单个文件size大于文件块size的文件。
- 增加公共的api数据查询接口。并且支持按时间批量导出数据功能;支持按Fid查询指定数据功能;将合并文件拆分为真实的;
- 提供GUI管理页面。管理程序发布,监控运行环境状态,文件分布状态,任务状态等信息;
- Regionnode访问方式改为tcp连接,提升写入性能。BRFS一期中regionnode采用http连接进行写操作,改为tcp连接将很大程度上提高brfs写数据性能;
优化数据目录结构。目前BRFS的数据存储结构为/storageregion/startTime_endTime,该结构在BRFS系统长期运行下会导致storageregion目录下有大量的目录,不易数据的管理。将会对数据目录按时间分层,减少一个目录下有大量子目录的情况。- 资源管理插件化。资源管理模块资源采集增加接口,支持第三方资源采集的扩展。支持用户实现服务选择逻辑。
- 文件格式插件化。BRFS数据增加接口,支持用户自定义数据合并的格式。
- 增加副本平衡storageregion 分片机制。该机制是在副本自动平衡时,支持按时间节点,分批恢复副本,减少不必要的副本迁移,降低性能消耗。
- 优化任务信息目录。优化BRFS任务信息在zk存储的结构,将按日期删除任务信息改为按将完成的任务移动到历史队列中,减少不必要的性能损耗。
旧数据迁移工具。因优化目录需要迁移数据工具。- 新增自定义文件名功能。需要BRFS独立维护自定义文件名与fid对应的索引表