Apache Nifi使用笔记
基本概念
虽然Nifi支持二进制数据(如视频流),但是我们一般还是拿来做可读数据(类似表)的处理。Nifi将这种数据称为面向记录的数据(record-oriented data),Nifi使用了一种类似XPath/JsonPath的抽象来定位数据,即RecordPath。
虽然Nifi支持二进制数据(如视频流),但是我们一般还是拿来做可读数据(类似表)的处理。Nifi将这种数据称为面向记录的数据(record-oriented data),Nifi使用了一种类似XPath/JsonPath的抽象来定位数据,即RecordPath。
Java的MQTT主要客户端库是Eclipse Paho Java Client,该库存在以下问题:
所以这次重写iot平台,选用了hive-mqtt-client,这个库目前还比较年轻,但属于hivemq的官方作品,所以质量还可以,缺点是文档不太健全,性能调优方法不是很明确。经过摸索,得到以下结论(截止1.2.2版本):
opc协议是一种中间层物联协议抽象模型,目前在用的主要是opc ua. 相关基础只是请自行百度,这里仅记录编码通信所需要的知识。
OPC UA的抽象模型就是OOP,将物理设备的物模型映射成地址空间里的 节点(Node) 。
spark的核心抽象概念是RDD,但是到了spark2就不再推荐直接使用rdd来编程,而是使用sparkSQL和StructStreaming(代替旧的spark streaming)。
使用邻近性度量来量化该值。对于上文所说的集中数值类型,都有对应的公式。
众所周知,hadoop可以大略分为hdfs文件系统+MR引擎两部分构成,然后再加上yarn这个调度引擎(有的公司改用k8s调度了)。
Hive是用来将SQL语句转成MR的,最初是Facebook贡献,后转为Apache开源项目。