blog.icocoro
azkaban
wechat-markdown
antv
programcreek
my.vultr.com

找到约105条结果

Flink使用异步IO访问外部数据 | 知了小巷

2019-06-10

Flink使用异步IO访问外部数据 | 知了小巷 知了小巷 首页 时光轴 标签 热点 读书 视觉 关于 公益 搜索 Flink使用异步IO访问外部数据 发表于 2019-06-10 | 分类于 大数据 | | 本文总阅读量 次 DEMO asyncio demo 1 2 3 4 5 6 7 8 9 CREATE TABLE test.xxx ( id TEXT, type TEXT, price DOUBLE, create_time TIMESTAMP, update_time TIMESTAMP, uid TIMEUUID, PRIMARY KEY(id, uid) ) WITH

FLINK v2-异步IO的设计与实现 | 知了小巷

2019-05-26

FLINK v2-异步IO的设计与实现 | 知了小巷 知了小巷 首页 时光轴 标签 热点 读书 视觉 关于 公益 搜索 FLINK v2-异步IO的设计与实现 发表于 2019-05-26 | 分类于 大数据 | | 本文总阅读量 次 动机 什么原因激发了实现异步IO这个想法  多数情况下,IO访问是一个很耗时的过程,对于单个算子来说,IO使得吞吐量TPS比在内存计算中要小很多,特别是在流作业中用户最关心的低延迟问题的时候。虽然可以使用多线程来处理这类问题,但是缺点也是显而易见的:由于用户必须实现算子上的线程模型,从而将编程模型变得更加复杂。此外,还要注意与检查点机制的协调。 场景 什么样的

Apache FlinkCEP API | 知了小巷

2019-05-17

Apache FlinkCEP API | 知了小巷 知了小巷 首页 时光轴 标签 热点 读书 视觉 关于 公益 搜索 Apache FlinkCEP API 发表于 2019-05-17 | 分类于 大数据 | | 本文总阅读量 次 FlinkCEP API 需要注意的是: 进行模式匹配的DataStream中的事件对象,必须实现正确的equals()和hashCode()方法,因为FlinkCEP使用它们来比较和匹配事件。 模式API允许我们定义要从输入流中提取的复杂模式序列。 每个复杂模式序列是由多个简单模式组成,例如模式:寻找具有相同属性的单个事件。 我们将简单模式称为模式,将最终在

Flink学习-Streaming介绍 | 知了小巷

2019-04-07

Flink学习-Streaming介绍 | 知了小巷 知了小巷 首页 时光轴 标签 热点 读书 视觉 关于 公益 搜索 Flink学习-Streaming介绍 发表于 2019-04-07 | 分类于 大数据 | | 本文总阅读量 次 使用Apache Flink进行流式处理  四个关键概念:流数据的持续处理、事件时间、有状态的流计算、状态快照。 流处理  有界数据流:bounded streams 有始有终。  无界数据流:unbounded streams 有始无终。  批处理:Batch processing 对有界数据流的处理。  流处理:Stream processing 对无界

Blink分支编译和wordcount | 知了小巷

2019-04-06

Blink分支编译和wordcount | 知了小巷 知了小巷 首页 时光轴 标签 热点 读书 视觉 关于 公益 搜索 Blink分支编译和wordcount 发表于 2019-04-06 | 分类于 大数据 | | 本文总阅读量 次 Blink分支编译 1 2 3 $ git clone https://github.com/apache/flink.git $ git checkout blink $ mvn clean package -DskipTests 编译报错-web 1 [ERROR] WARN tarball tarball data for monaco-editor@0

批处理:一种特殊的流处理 | 知了小巷

2019-03-25

批处理:一种特殊的流处理 | 知了小巷 知了小巷 首页 时光轴 标签 热点 读书 视觉 关于 公益 搜索 批处理:一种特殊的流处理 发表于 2019-03-25 | 分类于 大数据 | | 本文总阅读量 次 无限流处理:输入数据没有尽头;数据处理从当前或者过去的某一个时间点开始,持续不停地进行。 有限流处理:即从某一个时间点开始处理数据,然后在另一个时间点结束。 显然,有限流处理是无限流处理的一种特殊情况,它只不过在某个时间点停止而已。 如果计算结果不在执行过程中连续生成,而仅在末尾处生成一次,那就是批处理(分批处理数据)。 《Flink基础教程》。 1 2 3 4 val counts

有状态的计算 | 知了小巷

2019-03-24

有状态的计算 | 知了小巷 知了小巷 首页 时光轴 标签 热点 读书 视觉 关于 公益 搜索 有状态的计算 发表于 2019-03-24 | 分类于 大数据 | | 本文总阅读量 次 流式计算分为无状态和有状态两种情况。 无状态的计算观察每个独立事件,并根据最后一个事件输出结果。 有状态的计算则会基于多个事件输出结果。 《Flink基础教程》。 一致性  当在分布式系统中引入状态时,自然也引入了一致性问题。  一致性实际上是”正确性级别”的另一种说法,即在成功处理故障并恢复之后得到的结果,与没有发生任何故障时得到的结果相比,前者有多正确?  在流处理中,一致性分为3个级别: at-most

对时间的处理 | 知了小巷

2019-02-24

对时间的处理 | 知了小巷 知了小巷 首页 时光轴 标签 热点 读书 视觉 关于 公益 搜索 对时间的处理 发表于 2019-02-24 | 分类于 大数据 | | 本文总阅读量 次 用流处理器编程和用批处理器编程最关键的区别在于对时间的处理。 《Flink基础教程》。 采用批处理架构和Lambda架构计数  用定期运行的批处理作业来实现应用程序的持续性。  数据被持续地分割为文件(如以一小时为单位);  然后,批处理作业将文件作为输入,以此达到持续处理数据的效果。  Lambda架构用定期运行的批处理作业来实现应用程序的持续性,并通过流处理器获得预警。  流处理器实时提供近似结果;  批

使用Flink | 知了小巷

2019-02-23

使用Flink | 知了小巷 知了小巷 首页 时光轴 标签 热点 读书 视觉 关于 公益 搜索 使用Flink 发表于 2019-02-23 | 分类于 大数据 | | 本文总阅读量 次 Flink【宣称】使应用程序的构建过程符合自然规律。 核心特点:特别是它如何保障数据的正确性【正确性并不完全等同于准确性!!!】。 我需要什么? 我期望什么? 我在什么时候需要得到结果? 《Flink基础教程》。 不同类型的正确性 符合产生数据的自然规律  流处理器(尤其是Flink)的正确性体现在计算窗口的定义符合数据产生的自然规律。  Flink的流处理能力能够使计算窗口与会话窗口吻合。  Flink

流处理架构 | 知了小巷

2019-01-21

流处理架构 | 知了小巷 知了小巷 首页 时光轴 标签 热点 读书 视觉 关于 公益 搜索 流处理架构 发表于 2019-01-21 | 分类于 大数据 | | 本文总阅读量 次 作为新型系统,Flink扩展了【流处理】这个概念的范围。 有了它,流处理不仅指实时、低延迟的数据分析,还指各类数据应用程序。 其中,有些应用程序基于流处理器实现,有些基于批处理器实现,有些甚至基于事务型数据库实现。 《Flink基础教程》。 传统架构与流处理架构  对于后端数据而言,典型的传统架构是采用一个中心化的数据库系统,该系统用于存储事务性数据。  比如数据库(SQL或者NoSQL)拥有”最新的”(或者说

京东金融

udemy

飞科 FH6807 陶瓷板直发 烫发器 美发 夹发板

狼人杀 Q版 铁盒装 错综迷离的事件让游戏变幻莫测

2017 秋冬新款中年男装 七折抗起球 半高领时尚百搭内搭长袖针织衫


SpringBoot1.4.2+thymeleaf1.5.6+lucene5.5.2+mmseg4j2.3.0+BootStrapv4.0.0-alpha.6 申请友链-给我发邮件

© 粤ICP备15079982号-2