安装步骤: 首先,需要确保Java已经安装好,并且配置好了JAVA_HOME 环境变量。 我的环境: Linux:CentOS 7.6 Elasticsearch....
一.前期准备(为了后期搭建Hadoop做准备) Hadoop需要三台虚拟机,所以要创建三台虚拟机,我将三台虚拟机分别命名为node1,nod....
近年来,受益于数字化转型浪潮,国内行业垂直型SaaS企业增长迅速,相关上市公司披露的年报收入纷纷实现两位数增长。 2月25日....
背景 比如有一张通话记录表,里面有用户UID,电话号number,用户所属国家country,通话时长talktime几个主要字段。现在的需....
背景: 目前ES集群的版本还是6.4,最新的ES版本已经到了7.8了,是时候更新迭代了,先把测试环境下的更新了。 通过官方文档了....
分布式事务一致性框架:核心解决我们在实际系统中产生夸事务导致分布式事务问题。 核心靠的就是最终一致性:rocketmq事务消....
近日,经过“开源GitOps产业联盟”(Open GitOps Industry Alliance,简称:OGA联盟)理事会审核认证,星汉未来正式加入了联....
受疫情冲击,越来越多国货美妆品牌意识到数字化的重要性,逐渐由“流量思维”转向“用户思维”,纷纷开始试水私域运营,利用....
过去一年,开源生态进一步发展成熟,并呈现全新态势。从全球看,各国纷纷制定政策法规推动开源发展,依托开源建立广泛协作,....
业务场景: Flink消费Kafka数据写入Hbase 组件版本: CDH:6.3.0 Flink:1.12.1 Hbase:2.1.0-cdh6.3.0 问题1: java.lang.No....
目录 MapReduce定义优点缺点 核心思想(概述,以WordCount为例)进程阅读官方WordCount源码下载并反编译序列化类型 MapRed....
前一篇博客中,我们学习了spark代码的执行过程,其中涉及到了逻辑执行计划和物理执行计划,今天我们主要来学习spark的资源....
漏损分析的主要目的是真实评价漏损水平,分析漏损的组成和占比,找到漏损产生的主要原因,从而采取相应措施。漏损分析方法主....
Hive数据模型总览 用户通过数据库访问Hive后,首先选择哪个数据库,然后在库的下面选择的是一张张表,表是管理数....
什么是NFT 全称为Non-Fungible Token,指非同质化代币,是用于表示数字资产(包括jpg和视频剪辑形式)的唯一加密货币令牌,....
对数据科学家的需求反映了整体IT技能人才的缺口, 为满足日益增长的需求,CompTIA计划大幅扩展CompTIA数据分析认证资源,Com....
坦坦荡荡过生活,简简单单走人生 谈笑在指尖 漫漫人生路上,人有千千万,在千千万的人里面,每一个人都有自己的活法。有的人....
据恒州诚思调研统计,2021年全球碳纤维山地自行车市场规模约 亿元,2017-2021年年复合增长率CAGR约为%,预计未来将持续保持....
最近因为我在搞Flume-kafka-hbase 集成,昨天不知道咋了的突然我的hbase就崩溃了,说是说hbase崩溃了,其实我更崩溃,因为这....
spark性能优化 求解 问题描述 最近公司的一个新需求,两路数据源。一个大小140G左右,一个30G左右,进行感知关联。 spark处....