一、总览 大数据技术栈非常多估计大大小小多达上百种。但发展史、技术体系仍有迹可循。我们从数据采集、清洗、应用3大步骤来看，在每个步骤内部按照时序标识主流技术栈时间点。以此期望能给大家一个初步的映像 …

1.背景 随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，传统数仓经历了以下发展过程：传统数仓架构 -> 离线大数据架构 -> Lambda架构 – …

一、背景 1.岗位现状 大数据在一线互联网已经爆发了好多年，2015年-2020年（国内互联网爆发期）那时候的大数据开发，刚毕业能写Hive SQL配置个离线任务、整个帆软报表都20K+起步。如果 …

首先用一个通俗易懂的比喻来形容它们的区别：关系型数据库就类似于Excel，非关系型数据库类似于word，用哪一个，取决你想要编辑和处理什么数据。 常见的关系型数据库： 关系型数据库：将数据存储在表 …

一、Java开发 1.J2EE架构及主流框架：spring4、spring boot、spring MVC、spring Security、spring cloud、struct2、hiberna …

相信很多在做政务类项目的程序猿们，最常听到的就是国产化、安可、信创这类词汇，对于刚开始接触的菜鸟们来说，大概会一头雾水，不明白这些词汇所代表的意义。下面，我先给大家介绍下这些最基本的词汇及相关的意 …

① 高并发的业务场景，及需求起因 在高并发的业务场景下，数据库大多数情况都是用户并发访问最薄弱的环节。所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等 …

一、redis和mysql介绍 Redis基于内存，读写速度快，也可做持久化，但是内存空间有限，当数据量超过内存空间时，需扩充内存，但内存价格贵。 MySQL基于磁盘，读写速度没有Redis快，但 …

主要做php接口请求的限制 ip请求只能在国内 特殊接口请求限制 请求频繁限制 php网络接口请求 function ihttp_request($curl, $https = true, $me …