随着技术的发展与市场需求的深入,IoT物联网已进入快速发展期,给ICT行业带来了广阔的市场空间。在刚刚过去的2018华为中国生态伙伴大会期间,通过展区展示不难发现,在汽车、水、电、气、工业设备等等领域,越来越多的终端联接网络,源源不断的产生海量时序和时空数据,这些数据往往具有很强的时效性,随着时间的推移,其价值也就急速衰减,因此如何应对海量时序/时空数据的高速存储和查询、如何对数据进行实时的检测和监控、如何实时的挖掘出数据背后的价值都是很大的挑战。那么,华为云EI企业智能又是如何帮助用户与伙伴应对这些挑战呢?
图示为实时流计算服务的IoT算子轻松实现电子围栏检测
3. CEP on SQL
IoT大量业务场景需要实时检测无尽数据流中的复杂模式,例如车辆异常行为检测、工业设备异常运行状态检测。CloudStream扩展了Flink SQL,提供了非常高效的CEP on SQL的能力,提供了基于Match Recognize的模式匹配检测,可以帮助业务人员使用SQL实现基于复杂事件规则的异常检测业务,无需开发Flink PATTERN API自定义业务,只需要一行SQL查询语句搞定,大大降低此类业务开发难度。
CloudTable时序/时空数据库,为IoT数据而生CloudTable是华为云上毫秒级的NoSQL数据库,提供了HBase、OpenTSDB、GeoMesa接口,其中OpenTSDB和GeoMesa作为时序和时空数据库为IoT行业而生,为时序和时空数据的高吞吐量的写入和查询提供了解决方案。
高性能时序数据库
基于对分布式架构系统的良好支持和完善的生态,CloudTable选择了OpenTSDB作为时序数据库内核,并做了软硬件的垂直性能优化,可以支持千万级别的写入吞吐量和百万数据点3秒之内的读取性能,很好的解决物联网领域海量数据写入和读取性能的问题。
同时,时序数据库还提供了三种常用计算:插值、降精度和聚合。
对于每秒都上报的数据,其中某一秒的数据因为某些原因丢失了,则可以通过插值进行补齐。如下图红色框内的点(图a),对绿色线条和红色线条的值进行求和聚合计算,如果没有插值,则会出现结果突变的情况,如果进行了插值则是比较好的效果(图b)
时序数据库中的聚合和传统数据库的聚合还有一些差异。时序数据库中聚合是将多个独立的时间线聚合成一个数据时间序列,类似于SQL里面的group by,但是此处的aggregation是按照每个时间戳和分组进行聚合。降精度计算中也可以使用不同的聚合函数进行降精度,而每个聚合函数中不仅会包含聚合的函数,也会包含插值的函数,对于缺失的数据,可以采用插值后的数据进行聚合。
时空数据库
华为云CloudTable引入了地理大数据处理套件GeoMesa,可以帮助物联网存储和分析海量时空(spatio-temporal)数据,提供轨迹查询、区域分布统计、区域查询、密度分析、聚合、OD分析等功能。
GeoMesa基于Geohash编码以及空间填充曲线的理论基础,做到了将二维经纬度转换成一维字符串,将三维时空(经纬度和时间)转换成一维字符串,为高性能查询打下了基础。
通过CloudTable中GeoMesa,对于物联网中时空维度的查询简单有效,举个例子,比如
1) 早上7点-9点,有哪些人/车出现在深圳市龙岗区坂田?
2) 早上7点-9点,从深圳市南山区到深圳市龙岗区坂田的人/车的轨迹是怎么样的?
3) 晚上5:30-7:30,深圳市龙岗区坂田的人/车的轨迹是怎么样的?
图示为基于时空数据库服务用CQL实现区域分析
通过以上的一些查询,可以分析出行人/车的出行规律,进而进行附近的健身房、餐馆、娱乐设施的推荐;分析出住宅区、工作区的聚集地;分析出同行的人的数量,抽象出公共巴士的路线,优化公共交通路线等等。通过时空数据的查询和分析可以进一步挖掘出时空数据背后的价值。
Cloud2.0时代,越来越多的企业关注如何提升应用上云效率的同时,也在聚焦新技术给现行业务带来的创新与改变。华为云实时流计算和时空数据库帮助行业伙伴与客户轻松实现IoT场景下时空时序数据的实时计算、存储和查询,为IoT海量数据和业务应用之间架起一道桥梁。除此之外,IoT场景还有很多即有趣又丰富的业务,华为云EI企业智能提供了丰富的大数据和AI服务,比如机器学习服务、图引擎服务、深度学习服务等,将携手与行业伙伴共同扩展更多能力,丰富更多算法和模型,从而打开IoT无限可能。
花粉社群VIP加油站
猜你喜欢