文章详情
| 稿件标题： | Ｊａｃｋｒａｂｂｉｔ封装Ｈａｄｏｏｐ的设计与实现 |
| 稿件作者： | 张烨，沈奇威 |
| 栏目名称： | 自动化技术 |
| 关键词： | 内容仓库；分布式文件系统；海量数据存储 |
| 文章摘要： | 以目前计算机科学与技术领域广泛讨论和应用的分布式存储和内容仓库标准接口为基础，结合内容管理系统项目，研究了如何用Ｊａｖａ内容仓库封装分布式文件系统，实现海量数据的存储。以Ｊａｃｋｒａｂｂｉｔ作为Ｊａｖａ内容仓库的实现，对外暴露统一标准接口，屏蔽底层存储；存储层用ＨａｄｏｏｐＤｉｓｔｒｉｂｕｔｅｄＦｉｌｅＳｙｓｔｅｍ（ＨＤＦＳ）来存取数据，为了解决ＨＤＦＳ处理小文件能力不佳的问题，引入ＨＢａｓｅ来存取小文件，并通过测试来确定大小文件的分界点，以使系统的存储性能趋近于最佳。封装后的系统经过性能测试，改进了原存储系统存储小文件性能较低的情况。 |
| 刊期名称： | 2010年11期 |
| 出版时间： | 2010年11月 |
| 上线时间： | 2010年11月28日 |
| 浏览次数： | 3922 |
| 下载次数： | 2308 |
| 免费阅读PDF | |