便携式应急电源
镀铜焊丝的缺陷检测方法、装置、设...
电码的自动识别方法及存储介质
基于强化学习的楼栋摆放方法、装置...
用于观测水下生物的系统及其方法
一种电子设备的空中固件差分升级方...
一种印刷模切张力自动控制系统及其...
低功耗状态监控设备
一种利用RTP扩展头部解决视频帧...
一种高衍射效率相位型空间光调制器...
一种家装板材运输用包装机器人
航空发动机精密管路及其航空发动机...
宽光谱吸收的薄膜太阳能电池及光伏...
一种基于磁通压缩的脉冲磁体装置及...
一种总线访问仲裁装置及方法
一种处理网络抖动的方法及装置
基于光芯片的数据处理方法、装置、...
一种基于小基线条件下的大畸变广角...
一种自动识别设备间网络拓扑结构的...
基于光芯片的数据处理方法、装置、...
企业介绍页面,左右侧内容分别复制到相应容器即可,起始结束位置代码已作标注
专利名称分布式数据处理平台
申请日2015-02-05
申请号/专利号CN201510062380.6
专利权人北京航空航天大学
申请人北京航空航天大学
发明人/设计人沃天宇;孙承根;吴博;于伟仁;李建欣
公告日2017-11-14
公告号CN104598631B
法律状态有效
专利类型发明
行业分类

摘要

本发明涉及一种分布式数据处理平台,包括:存储层、计算层、查询接口与算法库,以及应用层;存储层包括:分布式文件系统HDFS、HBase数据库系统和分布式索引系统ES;HBase搭建在HDFS之上,用于存储微博的标识与微博数据之间的对应关系;ES中建立有微博关键字段与微博标识之间的对应关系;应用层接收用户终端发送的处理指令,根据处理指令向查询接口与算法库发送对应的查询请求;查询接口与算法库根据查询请求从存储层中查询微博数据;计算层根据处理指令对查询到的微博数据进行处理,将处理结果反馈给应用层,从而通过HBase和ES的配合使用,提高了分布式数据处理平台的查询速度和分析效率,满足微博大数据的要求。
  关于我们  | 帮助中心  |  服务清单  |  发展历程 |  网站地图  |  手机访问

Copyrights 2016-2020  

南京锐阳信息科技有限公司 版权所有

苏ICP备17027521号-1

地址: 南京市秦淮区永智路5号五号楼3层