tachyon简介.docx
立即下载
WL
2026-05-10
数据
Tachy
文件
Tachyon
系统
存储
添加
软件
MapReduce
329.4 KB
1. Tachyon是什么
Tachyon（/'tæki:ˌɒn/ 意为超光速粒子）是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。Tachyon诞生于UC Berkeley的AMPLab，由该实验室的李浩源童鞋初创。2012年12月，Tachyon发布了第一个版本0.1.0。到2014年12月，Tachyon的最新发布版版本为0.5.0，并且正在开发0.6.0版本。目前(2014年12月)，已有50多家公司开始使用Tachyon，超过20家公司（如 Intel， Yahoo， Pivotal， Redhat，Baidu等）为Tachyon的开发进行了贡献，在GitHub上Tachyon的贡献者也已上升到55人。南京大学PASALab从早期就开始和Tachyon Community一起从事着该项目的建设和开发工作。
从软件栈的层次来看，Tachyon是位于现有大数据计算框架和大数据存储系统之间的独立的一层。它利用底层文件系统作为备份，对于上层应用来说，Tachyon就是一个分布式文件系统。
其最初出现是为了解决如下问题：
大数据分析流水线中数据共享通过基于磁盘文件系统（HDFS等）性能比较缓慢；
大数据计算引擎的处理进程（Spark的Executor，MapReduce的Child JVM等）崩溃出错后，缓存的数据也会全部丢失；
基于内存的系统存储数据冗余，对象太多会导致Java GC时间过长；
另外，如下图所示，Tachyon属于伯克利大数据分析软件栈（Berkeley Data Analytics Stack）中的存储层软件。
2. 如何使用Tachyon
受益于Tachyon良好的设计和兼用性，用户可以很方便地将现有的利用HDFS进行存储的程序移植至Tachyon，只需要简单的两步：添加配置项，修改文件路径。
2.1 对于MapReduce程序
添加配置项<”fs.tachyon.impl”, ” tachyon.hadoop.TFS”>，可以在core-site.xml文件中添加，也可以在程序中使用Configuration.set()方法添加。将原有的”hdfs://ip:port/pa
/数据/Tachy/文件/Tachyon/系统/存储/添加/软件/MapReduce/
/数据/Tachy/文件/Tachyon/系统/存储/添加/软件/MapReduce/
-->