一、总览 大数据技术栈非常多估计大大小小多达上百种。但发展史、技术体系仍有迹可循。我们从数据采集、清洗、应用3大步骤来看,在每个步骤内部按照时序标识主流技术栈时间点。以此期望能给大家一个初步的映像 …
1.背景 随着数据量的暴增和数据实时性要求越来越高,以及大数据技术的发展驱动企业不断升级迭代,传统数仓经历了以下发展过程:传统数仓架构 -> 离线大数据架构 -> Lambda架构 – …
一、背景 1.岗位现状 大数据在一线互联网已经爆发了好多年,2015年-2020年(国内互联网爆发期)那时候的大数据开发,刚毕业能写Hive SQL配置个离线任务、整个帆软报表都20K+起步。如果 …
首先用一个通俗易懂的比喻来形容它们的区别:关系型数据库就类似于Excel,非关系型数据库类似于word,用哪一个,取决你想要编辑和处理什么数据。 常见的关系型数据库: 关系型数据库:将数据存储在表 …
一、Java开发 1.J2EE架构及主流框架:spring4、spring boot、spring MVC、spring Security、spring cloud、struct2、hiberna …
相信很多在做政务类项目的程序猿们,最常听到的就是国产化、安可、信创这类词汇,对于刚开始接触的菜鸟们来说,大概会一头雾水,不明白这些词汇所代表的意义。下面,我先给大家介绍下这些最基本的词汇及相关的意 …
① 高并发的业务场景,及需求起因 在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节。所以,就需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问MySQL等 …
一、redis和mysql介绍 Redis基于内存,读写速度快,也可做持久化,但是内存空间有限,当数据量超过内存空间时,需扩充内存,但内存价格贵。 MySQL基于磁盘,读写速度没有Redis快,但 …
主要做php接口请求的限制 ip请求只能在国内 特殊接口请求限制 请求频繁限制 php网络接口请求 function ihttp_request($curl, $https = true, $me …
因为投屏项目不像PC端的WEB, 它不允许用户用鼠标键盘等交互. 有些图表只能看到各部分的占比情况, 不能显示具体的数值. 比如: 得让页面的数据(即tootips)自动轮播数据,效果是这样的。 …