技术相关 on 从左到东

ab命令

Thu, 21 Nov 2024 13:30:41 +0800

网站性能压力测试是服务器网站性能调优过程中必不可缺少的一环。只有让服务器处在高压情况下，才能真正体现出软件、硬件等各种设置不当所暴露出的问题。

性能测试工具目前最常见的有以下几种：ab、http_load、webbench、siege。今天我们专门来介绍ab。

ab是apache自带的压力测试工具。ab非常实用，它不仅可以对apache服务器进行网站访问压力测试，也可以对或其它类型的服务器进行压力测试。比如nginx、tomcat、IIS等。官方参数文档

一、ab的原理

ab是apachebench命令的缩写。

ab的原理：ab命令会创建多个并发访问线程，模拟多个访问者同时对某一URL地址进行访问。它的测试目标是基于URL的，因此，它既可以用来测试apache的负载压力，也可以测试nginx、lighthttp、tomcat、IIS等其它Web服务器的压力。

ab命令对发出负载的计算机要求很低，它既不会占用很高CPU，也不会占用很多内存。但却会给目标服务器造成巨大的负载，其原理类似CC攻击。自己测试使用也需要注意，否则一次上太多的负载。可能造成目标服务器资源耗完，严重时甚至导致死机。

二、ab的安装

ab的安装非常简单，如果是源码安装apache的话，那就更简单了。apache安装完毕后ab命令存放在apache安装目录的bin目录下。如下：

/usr/local/apache2/bin

复制

如果apache 是通过yum的RPM包方式安装的话，ab命令默认存放在/usr/bin目录下。如下：

which ab

复制

注意：如果不想安装apache但是又想使用ab命令的话，我们可以直接安装apache的工具包httpd-tools。如下：

yum -y install httpd-tools

复制

查看ab是否安装成功，可以切换到上述目录下，使用ab –V命令进行检测。如下：

ab -V

复制

如果ab安装成功，通过ab –V命令则会显示ab的相迎版本，如上图示。

注意以上是在linux平台下进行安装的，如果是windows平台下，我们也可以下载对应的apache版本进行安装。

目前apache最新版2.4.10，apache官网已经没有windows下载的版本。

三、ab参数说明

有关ab命令的使用，我们可以通过帮助命令进行查看。如下：

ab –help

复制

下面我们对这些参数，进行相关说明。如下：

-n  在测试会话中所执行的请求个数。默认时，仅执行一个请求。

-c  一次产生的请求个数。默认是一次一个。

-t  测试所进行的最大秒数。其内部隐含值是-n 50000，它可以使对服务器的测试限制在一个固定的总时间以内。默认时，没有时间限制。

-p  包含了需要POST的数据的文件。

-P  对一个中转代理提供BASIC认证信任。用户名和密码由一个:隔开，并以base64编码形式发送。无论服务器是否需要(即, 是否发送了401认证需求代码)，此字符串都会被发送。

-T  POST数据所使用的Content-type头信息。

-v  设置显示信息的详细程度-4或更大值会显示头信息，3或更大值可以显示响应代码(404,200等),2或更大值可以显示警告和其他信息。

-V  显示版本号并退出。

-w  以HTML表的格式输出结果。默认时，它是白色背景的两列宽度的一张表。

-i  执行HEAD请求，而不是GET。

-x  设置<table>属性的字符串。

-X  对请求使用代理服务器。

-y  设置<tr>属性的字符串。

-z  设置<td>属性的字符串。

-C  对请求附加一个Cookie:行。其典型形式是name=value的一个参数对，此参数可以重复。

-H  对请求附加额外的头信息。此参数的典型形式是一个有效的头信息行，其中包含了以冒号分隔的字段和值的对(如,"Accept-Encoding:zip/zop;8bit")。

-A  对服务器提供BASIC认证信任。用户名和密码由一个:隔开，并以base64编码形式发送。无论服务器是否需要(即,是否发送了401认证需求代码)，此字符串都会被发送。

-h  显示使用方法。

-d  不显示"percentage served within XX [ms] table"的消息(为以前的版本提供支持)。

-e  产生一个以逗号分隔的(CSV)文件，其中包含了处理每个相应百分比的请求所需要(从1%到100%)的相应百分比的(以微妙为单位)时间。由于这种格式已经“二进制化”，所以比'gnuplot'格式更有用。

-g  把所有测试结果写入一个'gnuplot'或者TSV(以Tab分隔的)文件。此文件可以方便地导入到Gnuplot,IDL,Mathematica,Igor甚至Excel中。其中的第一行为标题。

-i  执行HEAD请求，而不是GET。

-k  启用HTTP KeepAlive功能，即在一个HTTP会话中执行多个请求。默认时，不启用KeepAlive功能。

-q  如果处理的请求数大于150，ab每处理大约10%或者100个请求时，会在stderr输出一个进度计数。此-q标记可以抑制这些信息。

复制

ansible

Thu, 21 Nov 2024 13:30:41 +0800

安装

yum -y install ansible

ansible –version

添加控制机器

ssh-copy-id -i .ssh/id_rsa.pub root@192.168.100.20

添加到hosts文件中

vim /etc/ansible/hosts

Ansible 通过设备列表以分组的方式添加到 /etc/ansible/hosts 文件来实现对设备的管理，所以在正式管理之前，首先要编写好 hosts 文件。hosts 文件中，以[ ]包含的部分代表组名，设备列表支持主机名和IP地址。

默认情况下，通过访问22端口（SSH）来管理设备。若目标主机使用了非默认的SSH端口，还可以在主机名称之后使用冒号加端口标明，以行为单位分隔配置。另外，hosts文件还支持通配符。

[root@centos01 ~]# vim /etc/ansible/hosts

…………

[web]

192.168.100.20

192.168.100.30

[test]

www.benet.com:222

[mail]

yj1.kgc.cn

yj[2:5].kgc.cn

可以将一个主机同时归置在不同的组中。

配置完成之后，可以针对hosts定义的组进行远程操作，也可以针对组中的某一个或多个主机操作。例如：

1）只对web组中192.168.1.2主机操作，通过—limit参数限定主机的变更。

[root@centos01 ~]# ansible web -m command -a “systemctl status httpd” –limit “192.168.100.20”

192.168.100.20 | SUCCESS | rc=0 »

2）只对192.168.100.20主机操作。通过IP限定主机的变更。

[root@centos01 ~]# ansible 192.168.100.20 -m command -a “systemctl status httpd”

192.168.100.20 | SUCCESS | rc=0 »

apollo配置中心

Thu, 21 Nov 2024 13:30:41 +0800

1.下载 git clone git@gitcode.net:mirrors/ctripcorp/apollo.git

数据库配置 a.scripts/sql/apolloconfigdb.sql b.scripts/sql/apolloportaldb.sql 3.修改build.sh

# apollo config db info
apollo_config_db_url='jdbc:mysql://127.0.0.1:3306/ApolloConfigDB?characterEncoding=utf8'
apollo_config_db_username='ace'
apollo_config_db_password='123456'

# apollo portal db info
apollo_portal_db_url='jdbc:mysql://127.0.0.1:3306/ApolloPortalDB?characterEncoding=utf8'
apollo_portal_db_username='ace'
apollo_portal_db_password='123456'

# meta server url, different environments should have different meta server addresses
dev_meta=http://localhost:8080
fat_meta=http://localhost:8080
uat_meta=http://localhost:8080
pro_meta=http://localhost:8080

4.修改项目配置，修改日志路径

apollo-adminservice/src/main/resources/application.yml
apollo-configservice/src/main/resources/application.yml
apollo-portal/src/main/resources/application.yml
logging:
  file:
    name: /Users/zuoerdong/var/logs/apollo-adminservice.log

5.编译scripts/build.sh 6.运行，注意先检查8080，8090，8070端口 java -jar apollo-configservice/target/apollo-configservice-2.2.0-SNAPSHOT.jar java -jar apollo-adminservice/target/apollo-adminservice-2.2.0-SNAPSHOT java -jar apollo-portal/target/apollo-portal-2.2.0-SNAPSHOT.jar 7.后台管理界面：http://localhost:8070/，默认apollo/admin

bashrc

Thu, 21 Nov 2024 13:30:41 +0800

# .bashrc

# Source global definitions

if [ -f /etc/bashrc ]; then

        . /etc/bashrc

fi

# User specific aliases and functions

#alias cdlog='cd /home/work/var/log/`date +%Y%m%d` '

alias ll='ls -lG'

alias ls='ls -G'

export GREP_OPTIONS='--color=auto'

export PATH="$PATH:/Users/zuoerdong/bin"

export PATH="$PATH:/usr/local/go/bin"

function git_branch {

    branch="`git branch 2>/dev/null | grep "^\*" | sed -e "s/^\*\ //"`"

    if [ "${branch}" != "" ];then

        if [ "${branch}" = "(no branch)" ];then

            branch="(`git rev-parse --short HEAD`...)"

        fi

        echo " ($branch)"

    fi

}

export PS1='\u@\h \[\033[01;36m\]\W\[\033[01;32m\]$(git_branch)\[\033[00m\] \$ '

安装samba

Thu, 21 Nov 2024 13:30:41 +0800

1.安装yum install smb

2.添加用户user add smbuser -s /sbin/nologin

3.添加目录/etc/samba/smb.conf

[share]

path = /home/smbuser/share

available = yes

browseable = yes

public = yes

writable = yes

valid users = smbuser

create mask = 0644

directory mask =0744

3.解决selinux

chcon -t samba_share_t /home/smbuser/share/

查看redis客户端ip

Thu, 21 Nov 2024 13:30:41 +0800

redis-cli -c -h 10.15.9.166 -p 6379 -a xxxxxx client list | awk ‘{print$2}’ | awk -F ‘:’ ‘{print$1}’ | sort | uniq

批量修改文件权限

Thu, 21 Nov 2024 13:30:41 +0800

修改目录权限

find ./ -type d -exec chomd 755 {} \;

修改文件权限

find ./ -type f -exec chmod 644 {} \;

一致性hash

Thu, 21 Nov 2024 13:30:41 +0800

上来先说一个误区，Redis 集群没有使用一致性hash, 而是引入了哈希槽slots的概念。

重建索引

Thu, 21 Nov 2024 13:30:41 +0800

1.新建一个新索引portal-im-base-api-2021-09-back
put portal-im-base-api-2021-09-back
{
"settings" : {
    "index" : {
		"opendistro": {
			"index_state_management": {
				"policy_id": "month_cold_workflow_delete_62d"
			}
		},
	 "refresh_interval": "60s",
      "number_of_shards" : 5,
      "number_of_replicas" : 1
    }
  },
	"mappings": {
		"properties": {
			"@timestamp": {
				"type": "date"
			},
			"@version": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			},
			"class_name": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			},
			"exportable": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			},
			"index": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			},
			"line_number": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			},
			"log_level": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			},
			"logdate": {
				"type": "date"
			},
			"logger_name": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			},
			"message": {
				"type": "text"
			},
			"parent": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			},
			"pod": {
				"properties": {
					"name": {
						"type": "text",
						"fields": {
							"keyword": {
								"type": "keyword",
								"ignore_above": 256
							}
						}
					}
				}
			},
			"project": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			},
			"span": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			},
			"stack_trace": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			},
			"thread": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			},
			"trace": {
				"type": "text",
				"fields": {
					"keyword": {
						"type": "keyword",
						"ignore_above": 256
					}
				}
			}
		}
	}
}
2.迁移老索引portal-im-base-api-2021-09的数据到新索引portal-im-base-api-2021-09-back
POST _reindex?wait_for_completion=false
{
	"source": {
		"index": "portal-im-base-api-2021-09",
		"size": 5000, 
	},
	"dest": {
		"index": "portal-im-base-api-2021-09-back"
	}
}

执行会反馈task ID  可以 GET _task/ID

3.删除老索引portal-im-base-api-2021-09
delete portal-im-base-api-2021-09

4-5可选


4.为新索引portal-im-base-api-2021-09-back添加别名为老索引的名字portal-im-base-api-2021-09
POST _aliases
{
	"actions": [{
		"add": {
			"index": "portal-im-base-api-2021-09-back",
			"alias": "portal-im-base-api-2021-09"
		}
	}]
}

5.迁移老索引portal-im-base-api-2021-09的数据到新索引portal-im-base-api-2021-09-back
POST _reindex?wait_for_completion=false
{
	"source": {
		"index": "portal-im-base-api-2021-09",
		"size": 5000, 
		"query": {
		  "match": {
		    "FIELD": "TEXT"
		  }
		}
	},
	"dest": {
		"index": "portal-im-base-api-2021-09-back"
	}
}

mac清理dns缓存

Mon, 01 Jan 0001 00:00:00 +0000

MacOS 版本	使用的命令
macOS 12 (Monterey)	`sudo dscacheutil -flushcache; sudo killall -HUP mDNSResponder`
macOS 11 (Big Sur)	`sudo dscacheutil -flushcache; sudo killall -HUP mDNSResponder`
macOS 10.15 (Catalina)	`sudo dscacheutil -flushcache; sudo killall -HUP mDNSResponder`
macOS 10.14 (Mojave)	`sudo killall -HUP mDNSResponder`
macOS 10.13 (High Sierra)	`sudo killall -HUP mDNSResponder`
macOS 10.12 (Sierra)	`sudo killall -HUP mDNSResponder`
OS X 10.11 (El Capitan)	`sudo killall -HUP mDNSResponder`
OS X 10.10 (Yosemite)	`sudo discoveryutil udnsflushcaches`
OS X 10.9 (Mavericks)	`sudo killall -HUP mDNSResponder`
OS X 10.8 (Mountain Lion)	`sudo killall -HUP mDNSResponder`
Mac OS X 10.7 (Lion)	`sudo killall -HUP mDNSResponder`
Mac OS X 10.6 (Snow Leopard)	`sudo dscacheutil -flushcache`
Mac OS X 10.5 (Leopard)	`sudo lookupd -flushcache`
Mac OS X 10.4 (Tiger)	`lookupd -flushcache`