Superuri·赛博造物

Hadoop 重要知识点核心关键词

Wed, 20 Apr 2022 17:06:05 +0800

Hadoop介绍

大数据的主要特点，从公开资料可以了解到，大家总结了5点，可以称为5V

volume、velocity、value、variety、veracity
数据量大、增长速度快、价值密度低、总类多、需要关注可靠度
解决volume和velocity的问题，Hadoop是一个非常重要的角色，Hadoop可以理解为解决大数据存储&计算问题的软件生态圈。Hadoop又分为三层，存储层HDFS，调度层YARN，计算框架层（计算框架层有多个严禁版本，譬如默认的Mapreduce（高IO密度计算框架），Spack（内存计算框架），Flink（实时计算框架）
Hadoop 用Java编写，启发自Google的Google File System -> HDFS , Google MapReduce -> Hadoop MapReduce, Google Bigtable -> HBASE，由Doug Cutting负责，并于2008年开源给Apache基金会
Hadoop的核心思想：分而治之。通过HDFS分布式存储解决了海量数据的存储，Mapreduce计算方式（先分后合）解决了海量数据计算。

Hadoop生态圈

Hadoop生态圈一览：

自下而上：

存储：HDFS
资源调度分配(=操作系统)：YARN
应用工具：

计算框架/引擎：Mapreduce（高IO），Spark（内存计算），Flink（实时计算）
数据仓库工具：HIVE（为贴近SQL设计，降低使用门槛，会将HSQL转化为Mapreduce进行运行，不用自己写Mapreduce程序
非关系型数据库：HBASE
搜索引擎：Solr（elasticsearch）
数据管道：日志采集工具Flume，ETL工具Sqoop
脚本语言：Scripting（基本淘汰）
调度工具：Airflow
协调分布式集群一致性的工具：zookeeper（搭建高可用Hadoop用到）

版本介绍

实际业务中基本不会使用apache hadoop版本，因为apache 的Hadoop版本太多，各个组件容易由兼容性问题。市面上有开源的商业版本，譬如Cloudera 的 CDH ,目前常用的是CDH5 和CDH6 版本。所以在Hadoop的研究中，可以查看apache的开源版本，但是实际业务还是要回到类似CDH的版本。

Hadoop 0.x , 2.x, 3.x

0.x 是第一版本，拥有HDFS，Mapreduce两个模块
2.x 版本，将0.x版本中Maprduce的资源调度部分拆分成YARN，也因此Hadoop生态开始繁荣，不过NameNode仅支持1主1备。因为Yarn和mapreduce的拆分，开发者可以使用除mapreduce外的计算框架，譬如spark，flink

3.x 版本，保持与2.x版本的HDFS，YARN，Mapreduce3块架构，在原来基础上做了优化，譬如支持GPU，支持多Namenode多Namespace，支持一主多备

Hadoop各重要组件的keywords

HDFS

Namennode（NN）：管理元数据维护namespace
Secondarynamenode（SNN）：协助namenode，对Fsimage合并editlog
Datanode（DN）：数据真正存在的节点
Namespace：可理解为目录树（文件和目录的列表）。Fsimage和editlog合并后，结合datanode主动反馈的blockreport信息（datanode拥有的block信息），建立blockmap，从而获得完整的namespace信息和文件快映射关系

Metadata：元数据，格式固定，约150字节大小，包含描述文件特征信息和位置的信息。存储于Namenode中
Block：存储块，分布在datanode中，真正的数据
Fsimage：元数据镜像，记录namenode当前完整元数据
Editlog：HDFS中写操作的记录，从client发出写操作，先记录进editlog,再执行
重要默认端口：8020，8088，9870，19888
重要时间：3s - 心跳机制，10min - 宕机检测机制，1h - fsimage和editlog合并，6h - blockreport反馈

YARN

ResourceManager（RM）：资源调度中心节点，汇总nodemanger资源使用情况，发布操作指令，审查执行权限
NodeManager（NM）：节点管理，AppMaster 从RM获得资源列表后，跟NodeManager索要container资源
Container：资源分配的单元
ApplicationMaster：监控任务完成进度，申请container资源
Client：任务由client发起，向RM进行申请

Mapreduce

Map：局部并行计算
Reduce：全局汇总计算

Zookeeper

Leader ：事务请求的唯一处理者，所有follower接收到的事务操作都会转发给leader处理，事务操作=写操作
Follower：参与选举，leader宕机，会选举成为leader，处理非事务操作
Observer：无权选举，只负责非事务操作
重要应用：互斥锁，共享锁，集群选举，数据发布与订阅（watch）

ETL软件：Kettle 安装踩坑

Fri, 11 Feb 2022 11:20:57 +0800

安装Kettle 出错：

Error: Could not create the Java Virtual Machine.

Error: A fatal exception has occurred. Program will exit.

可能潜在原因：

内存不够
Java版本不对

对于第一种，修改xmx2048 为 xmx1024

Windows参考这个：https://www.jianshu.com/p/c74249dac221

对于java版本不对，kettle要求JDK 8 ，测试JDK 11 & 17 都不能成功启动

a. 检查Java版本

b. 安装JDK 8 ，官方下载地址：https://www.oracle.com/java/technologies/downloads/#java8-mac

重新启动Kettle 即可

- kettle 安装参考：

https://medium.com/@originaleye/how-to-install-pentaho-8-2-on-a-mac-4e4f8d526df2

重庆-分不清自己在第几层的独特山城

Thu, 30 Sep 2021 19:15:53 +0800

最近辞职，准备来一场长的旅游，预计走过西部重庆，成都，然后入藏到拉萨，在之后环绕青海湖到西宁，在之后回深圳。

这两年因为工作，疫情等，过得比较压抑。这次要玩到尽兴。再然后要工作学习到尽兴。

关于玩到尽兴，突然想起了几年前认识的玉器老板阿彪，开摩托全中国，之后就回家了再也没出来。据说要专心打理事业。

这一趟出来，之后我应该也是专注自己的事业了。这次辞职也算是结束第二次创业，有所得有所失。

老板讲，用老板的心态当员工，不如自己当老板，所以在考虑真正属于自己的第三次创业。感觉自己暂时没有做到那种视死而归的状态，或者决心不足。

这次旅途也是为了调整心态。

9月25日出发，第一站桂林，第二站重庆，第三站都江堰

今天9月30日，旅途的第6天，来到了318国道第一个落脚点，磨西古镇。

现在开始回忆走过的旅途。过去一周印象最深的还是重庆。

管理的煎熬

Wed, 28 Jul 2021 19:45:03 +0800

从管理新手做起。从管理项目到管理团队，从管理几个人到管理几十个人，从大公司总监到创业公司合伙人。一路走来，踩了无数坑，但是自己也越来越成熟，越来越像一名管理者。

虽然项目管理也有“管理”两个字，但是和“团队管理”比起来，项目管理就是大巫见小巫了。

如何做好人生第一份管理工作

管理就是要处理好和公司各个角色之间的关系。

当我们还只是产品经理，或者项目经理的时候，我们最核心的能力是专业能力。在关系处理上，只要能搞定客户——特别是难缠的客户——我们就树立起了自己的“江湖地位”。

但是，当你成为管理者，你会发现，你不得不开始弱化你的“专业能力”。如何激励他人完成任务，如何帮助他人成长或者成功，将变成你最核心的任务。

第一关）接受依赖他人完成工作

当我们还是专业人士的时候，大部分工作都是自己完成的，虽然很累，但至少心里踏实。

而一旦做上管理者，你就必须接受一个“恐怖”的现实：你得依靠他人来完成工作！

我们能当上管理者，已经证明了我们是可以信赖的人。但是我敢肯定，在你的团队中，除了少数相对优秀的员工，总有大多数相对平庸的员工，还有少数落后分子！把你第一份管理工作的“命运”系在他们身上，多么让人恐慌。但是，这是你必须接受的现实，至少在短时间内是这样。

第二关）接受挫败感

另外，做管理和做专业人员，工作目标和内容差异都很大。当你还是一个管理新手，你就像一个婴儿，跌跌撞撞，一路犯错，甚至会被领导批评！这在我们还是一个专业人员的时候，几乎是不可想象的。

但是，你必须接受这样一个现实：在管理这条路上，你确实就是一个新手。犯错，是我们必须经历的过程。接受这种挫败感，你才能安然度过这段难熬的时光。

第三关）管理好自己的时间

因为接手了一个团队，会突然变得忙不过来。

我自己心里有数：管理的事情多了，又是直接汇报。经常是还在思考一个事情，就接到他们的电话，新任务又安排下来了。

我明白这么下去不是办法，我在思考工作上花的时间太多了。因为之前一个人或者小团队，产品线不多，很多事情还可以自己思考好再安排下去；但现在团队扩大了一倍还多，管理的产品线也随之增加，很多事情再思考好才安排，效率就太低了。

果断调整了策略：接到新任务，第一件事不是思考做事逻辑，而是思考谁是最合适的负责人。这样，我只需要交代好要求，剩下的就让负责人先去梳理吧。

薅羊毛-oracle linux aarch64 主机，安装docker，解决ERROR: Unsupported distribution ‘ol’

Wed, 14 Jul 2021 19:04:31 +0800

故事背景：薅羊毛，薅了2台甲骨文的服务器 4H 24G

应用：部署docker 安装portainer

意外状况：出现 ERROR: Unsupported distribution ‘ol’ ，原来oracle linux aarch64 会缺文件

解决办法：安装依赖文件解决办法：https://oracle-base.com/articles/linux/docker-install-docker-on-oracle-linux-ol8 （dnf 替换成 sudo yum）

偶然获得消息可以薅羊毛

薅羊毛，薅了两台，可惜是arm架构的不太熟悉。

速度一般，带宽挺足。

既然是arm架构的，常用的php，mysql使用都挺麻烦的。

那就安装一个docker玩玩吧。

docker 安装：最简单的方法

curl -fsSL https://get.docker.com -o get-docker.sh
sh get-docker.sh

安装失败了：

Executing docker install script, commit:442e66405c304fa92af8aadaa1d9b31bf4b0ad94
ERROR: Unsupported distribution 'ol'

经过千辛万苦查找，原来Oracle Linux is unsupported on Docker CE

解决办法：https://oracle-base.com/articles/linux/docker-install-docker-on-oracle-linux-ol8

安装 Docker

安装依赖文件

sudo yum install -y dnf-utils zip unzip
sudo yum config-manager --add-repo=https://download.docker.com/linux/centos/docker-ce.repo

Install Docker.

sudo yum remove -y runc
sudo yum install -y docker-ce --nobest

运行docker服务

# systemctl enable docker.service
# systemctl start docker.service

查看docker状态

# systemctl status docker.service
# docker info
# docker version

安装portainer，设定网络完全组（放行端口）

开始愉快的玩耍

fiddler应用场景

Wed, 14 Jul 2021 19:00:54 +0800

应用场景：

在做手机或移动端APP的接口测试时，需要从开发人员那里获取接口文档，接口文档应该包括完整的功能接口、接口请求方式、接口请求URL、接口请求参数、接口返回参数。如果当前项目没有接口文档，则可以使用fiddler对APP进行抓包确认。
MSP提供商，尤其是CDN客户，协助客户Debug排除被误拦截都可以用到Fiddler工具，获取端口，链接等等信息。

抓封包的目的：

了解接口请求方式、接口请求URL、接口请求参数、接口返回参数

工具：

Fiddler

类似工具还有Wireshark，Charles，HttpCanary，mitmproxy

Free的有，Fiddler，Wireshark，mitmproxy

操作：

在手机上对APP进行操作，然后在Fiddler中可以抓取对应的网络交互信息（一个功能中可能设计多个接口的交互）。在抓取的信息中可以看到接口请求方式、接口请求URL、接口请求参数、接口返回参数。

下面是如何使用fiddler对手机APP进行抓包：

1、fiddler手机抓包原理

在本机开启了一个http的代理服务器，然后它会转发所有的http请求和响应。Fiddler 是以代理web 服务器的形式工作的，它使用代理地址:127.0.0.1，端口:8888。网络请求走fiddler，fiddler从中拦截数据，由于fiddler充当中间人的角色，所以可以解密https。

因此，它比一般的firebug或者是chrome自带的抓包工具要好用的多。不仅如此，它还可以支持请求重放等一些高级功能。它还可以支持对手机应用进行http抓包的。

下面就是手机抓包：

浏览器的代理设置默认是关着的，win7谷歌浏览器“设置--高级--系统--打开代理服务器--局域网设置--代理服务器”勾上。代理开关为开：可以抓到包，代理开关为关：抓不到包。

2、前提条件:

1).电脑需要安装Fiddler

2).测试手机需要支持Wifi

3).测试手机与电脑需要同一网络

4).所测APP需支持代理

3、Fiddler基本用法

界面布局：

打开Fiddler后，在浏览器中做任意请求，即可被Fiddler记录，包括返回码，请求协议，主机名，请求地址等等，

可在请求区域查看详细的请求信息，在响应区域查看详细的返回结果。

如下图

4、Fiddler对手机抓包流程

第一步：对Fiddler设置为允许远程连接。

找到Tools->Fiddler Options->Connections,将Allow remote computer to connect 选中，点击OK，然后重启Fiddler。

如下图：

第二步：修改手机连接网络为代理模式。

打开正在连接的wifi，然后找到：

1、修改网络（一般长按就会出现）

2、点击显示高级选项-->代理-->手动

代理服务器主机名设为电脑本地IP地址，端口设为：8888

如下图

补充：查看本地IP：打开cmd，输入ipconfig回车，然后查找IPv4地址

如下图：

第三步：在Fiddler中验证。

在手机中用浏览器或者其他APP，做网络请求，即可在Fiddler中记录，

例如：在手机打开浏览器，用百度搜索，这时在Fiddler中就会记录下请求。　　

如下图：

还可查看不同格式的

5、Fiddler工具的优缺点

Fiddler之所能

查看Web流量及其顺序
查看每一对Request/Response的Header，Cookies，Cache，正文等信息及请求时间等
保存已经产生的请求序列用于后续查看或回放
解密HTTPS并查看其内容
修改Request/Response以满足特殊的测试或Hack需求

6、通过FiddlerScript和FiddlerExtention可以完成强大的可编程网络功能

Fiddler之所不能

Fiddler只能用于HTTP/HTTPS/FTP请求的debug，而对那些直接使用TCP协议，或者使用SMTP, POP3, Telnet, IRC等协议的数据包就无能为例了
Fiddler只能检测到通过Fiddler代理的流量

3、Fiddler所有的请求都是直接存储在内存中的，因此在处理很大的包时速度会比较慢

Fiddler是一个非常强力的HTTP协议调试工具，无论是用于网页测试还是客户端API测试都是一把利器，掌握好这个工具一定能让你在以后的工作中事半功倍。

此外 mitmproxy也是值得推荐的免费工具

mitmproxy(Man-in-the-middle attack,中间人攻击代理)是一款提供交互能力的抓包工具，可以用来拦截、修改、保存 HTTP/HTTPS 请求，对于爬虫尤其是基于APP的爬虫来说，是必不可少的一款神器。mitmproxy 基于Python开发，可以通过Python代码对请求和响应进行自定义过滤和修改。

Superuri·赛博造物

Hadoop 重要知识点 核心关键词

ETL软件：Kettle 安装踩坑

重庆-分不清自己在第几层的独特山城

管理的煎熬

从管理新手做起。从管理项目到管理团队，从管理几个人到管理几十个人，从大公司总监到创业公司合伙人。一路走来，踩了无数坑，但是自己也越来越成熟，越来越像一名管理者。

如何做好人生第一份管理工作

薅羊毛-oracle linux aarch64 主机，安装docker，解决ERROR: Unsupported distribution ‘ol’

fiddler应用场景

Hadoop 重要知识点核心关键词