Skip to content

Latest commit

 

History

History
17 lines (13 loc) · 1.84 KB

todo.md

File metadata and controls

17 lines (13 loc) · 1.84 KB

BRFS后续优化待办清单

  1. 增加cache机制。基于LRU算法做更新,把最近读过的文件缓存在内存中,提高读取的效率,降低磁盘io;
  2. 增加支持大文件存储功能。BRFS在二期中,要支持存储单个文件size大于文件块size的文件。
  3. 增加公共的api数据查询接口。并且支持按时间批量导出数据功能;支持按Fid查询指定数据功能;将合并文件拆分为真实的;
  4. 提供GUI管理页面。管理程序发布,监控运行环境状态,文件分布状态,任务状态等信息;
  5. Regionnode访问方式改为tcp连接,提升写入性能。BRFS一期中regionnode采用http连接进行写操作,改为tcp连接将很大程度上提高brfs写数据性能;
  6. 优化数据目录结构。目前BRFS的数据存储结构为/storageregion/startTime_endTime,该结构在BRFS系统长期运行下会导致storageregion目录下有大量的目录,不易数据的管理。将会对数据目录按时间分层,减少一个目录下有大量子目录的情况。
  7. 资源管理插件化。资源管理模块资源采集增加接口,支持第三方资源采集的扩展。支持用户实现服务选择逻辑。
  8. 文件格式插件化。BRFS数据增加接口,支持用户自定义数据合并的格式。
  9. 增加副本平衡storageregion 分片机制。该机制是在副本自动平衡时,支持按时间节点,分批恢复副本,减少不必要的副本迁移,降低性能消耗。
  10. 优化任务信息目录。优化BRFS任务信息在zk存储的结构,将按日期删除任务信息改为按将完成的任务移动到历史队列中,减少不必要的性能损耗。
  11. 旧数据迁移工具。因优化目录需要迁移数据工具。
  12. 新增自定义文件名功能。需要BRFS独立维护自定义文件名与fid对应的索引表