Flink学习纪要
flink有两套API,一套是datastream,类似spark的RDD;另外一套则是TableSQL,这是一种更新的流批一体技术,两者可以相互转换。至于传统的批处理DataSet技术,将会在未来被废弃,不必再学习。
flink有两套API,一套是datastream,类似spark的RDD;另外一套则是TableSQL,这是一种更新的流批一体技术,两者可以相互转换。至于传统的批处理DataSet技术,将会在未来被废弃,不必再学习。
虽然Nifi支持二进制数据(如视频流),但是我们一般还是拿来做可读数据(类似表)的处理。Nifi将这种数据称为面向记录的数据(record-oriented data),Nifi使用了一种类似XPath/JsonPath的抽象来定位数据,即RecordPath。
Java的MQTT主要客户端库是Eclipse Paho Java Client,该库存在以下问题:
所以这次重写iot平台,选用了hive-mqtt-client,这个库目前还比较年轻,但属于hivemq的官方作品,所以质量还可以,缺点是文档不太健全,性能调优方法不是很明确。经过摸索,得到以下结论(截止1.2.2版本):
opc协议是一种中间层物联协议抽象模型,目前在用的主要是opc ua. 相关基础只是请自行百度,这里仅记录编码通信所需要的知识。
OPC UA的抽象模型就是OOP,将物理设备的物模型映射成地址空间里的 节点(Node) 。
spark的核心抽象概念是RDD,但是到了spark2就不再推荐直接使用rdd来编程,而是使用sparkSQL和StructStreaming(代替旧的spark streaming)。
使用邻近性度量来量化该值。对于上文所说的集中数值类型,都有对应的公式。