首页>大数据> 正文

高能物理大数据挑战与海量事例特征索引技术研究

来源:商群邮件营销时间:2017-02-25 11:19:46点击:2363

高能物理大数据挑战与海量事例特征索引技术研究

程耀东,张潇,王培建,查礼,侯迪,齐勇,马灿

新一代高能物理实验装置的建成与运行,产生了PB乃至EB量级的数据,这对数据采集、存储、传输与共享、分析与处理等数据管理技术提出了巨大挑战.事例是高能物理实验的基本数据单元,一次大型实验即可产生万亿级的事例.传统高能物理数据处理以ROOT文件为基本存储和处理单位,每个ROOT文件可以包含数千至数亿个事例.这种基于文件的处理方式虽然降低了高能物理数据管理系统的开发难度,但物理分析仅对极少量的稀有事例感兴趣,这导致了数据传输量大、I/O瓶颈以及数据处理效率低等问题.提出一种面向事例的高能物理数据管理方法,重点研究海量事例特征高效索引技术.在这种方法中,将物理学家感兴趣的事例的特征量抽取出来建立专门的索引,存储在NoSQL数据库中.为便于物理分析处理,事例的原始数据仍然存放在ROOT文件中.最后,通过系统验证和分析表明,基于事例特征索引进行事例筛选是可行的,优化后的HBase系统可以满足事例索引的需求.

temp_17022510112583.pdf

欢迎大家继续关注商群邮件营销平台,也可以在我们的商群官网了解更多邮件营销技巧,大数据知识,也可以通过电话:400-666-5494联系到我们,更多精彩知识、活动等着你。

相关阅读

Copyright 2015-2016 商群EDM邮件营销 版权所有 闽ICP备16004793号-1
在线咨询×
2421927587
联系电话

18906040695