架构图
数据存储层采用tsdb存储实时数据、nosql缓存数据、habse存储归档数据策略。HBase是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大规模数据集时，可以使用HBase。
架构介绍：XX-DPF运行状态监控平台通过网关集群实现海量数据的接入，引入分布式消息中间件实现亿万级消息的流转，storm集群实现DPF采集数据的实时预警分析，HBase实现超大数据的持久化和离线分析。通过自研的分布式多媒体文件系统LHMDFS实现图片等小文件存储，实现PB级的数据存储、快速检索。平台的特性：高性能、高并发、高可用性。
XX-DPF运行状态监控平台网关服务器，负责连接下级平台和服务器，在两者之间完成数据的交互，完成同步协议到内部协议的一个转换工作。使用负载均衡算法保证每个网关服务器的工作量均衡，以及数据加解密。
XX-DPF运行状态监控平台网关运行环境为linux，基于epoll ET模式开发，采用reacter的半同步半异步模式开发，主线程服务监听及接收新的客户端连接，通过维护一个任务队列，工作线程从任务队列中获取任务并完成处理，同时将新的任务添加到任务队列。
通过集群方式扩展，前端通过软负载解决超大量设备接入，支持大数据并发。
数据持久层：数据持久层采用的是oracle11gR2数据库，通过分库、分区、分表实现大数据的存储、查询、高性能；通过rac实现数据库的高可用性、高性能。
通过分库按照区域把DPF采集的数据路由到对应的库上，然后在对应的库上实现业务层的数据操作，提高了系统的IO性能；分区实现大数据表的分块存储，有效的利用高效多磁盘IO，数据并行写入；根据数据业务不同，从横向和纵向纬度进行分表，把大表拆小表，提升性能。
- 本文固定链接: https://www.lehoon.com/2021/04/07/xx-dpf/
- 转载请注明: lehoon 于 乐生活 发表
这个作者貌似有点懒，什么都没有留下。