Artillery: Performance testing tool

Artillery  |  공식 문서

Artillery는 가볍고 편하게 쓸 수 있는 스트레스 테스트 툴이다. Node.js로 작성되었다고 한다.

더 파워풀하고 정교한 테스트를 수행할 수 있는 도구들도 있겠지만, 간단한 테스트 정도는 Artillery로 충분히 커버할 수 있는 것 같다. (적으며 생각해보니 실무에서는 어떤 테스팅 도구를 사용하는지도 궁금해진다.) 사자같이 프로젝트의 목표 중 하나가 서버의 성능과 안정성인만큼, 스트레스 테스트 도구인 Artillery가 서버의 성능 개선 작업에 도움을 줄 수 있을 것으로 보인다.

설치

프로젝트에서 devDependency로 설치하거나 컴퓨터에 전역 설치하여 실행할 수 있다. 현재는 전역 설치를 기준으로 한다.

npm install -g [email protected]

2.x의 최신 버전 대신에 1.7.9 버전을 설치하였다. 2.x 버전을 사용해보니 테스트 Report에서 차트를 출력하지 못하는 버그가 있었다. 참고

사용법

1. 테스트를 작성해보자

테스트에 대한 정보를 json이나 yml 형식으로 작성할 수 있다. 아래 내용을 test.json 파일로 저장한다.

{
	"config": {
		"target": "https://sajagachi.ga",
		"phases": [{ "duration": 10, "arrivalRate": 10, "name": "Warm up" }],
		"defaults": {
			"headers": {
				"User-Agent": "Artillery"
			}
		}
	},
	"scenarios": [
		{
			"name": "Search API",
			"flow": [
				{
					"get": {
						"url": "/?offset=0&limit=15&category=1&lat=37.5642135&long=127.0016985"
					}
				}
			]
		}
	]
}

sajagachi.ga에 10초동안 초당 열 번의 요청을 보내는 테스트이다. (배포 서버 터질까봐 매우 소심하게 작성한 테스트...) 사용한 주요 옵션들은 아래와 같고, 자세한 것은 나중에 공식 문서를 통해 더 조사해봐야할 것 같다. 공식 문서: Test Script Reference

• config
  • target: 테스트를 수행할 타깃의 호스트
  • phases
    • duration: 몇 초 동안 테스트를 수행할 것인지
    • arrivalRate: 1초에 몇 번 요청할 것인지
• scenarios
  • name: 테스트 시나리오의 이름
  • flow: 수행할 요청을 기술

2. 테스트를 실행하자

다음 명령어는 test.json 파일에 작성된 테스트를 실행하고, 그 결과를 report.json 파일로 내보낸다.

artillery run -o report.json test.json

3. 결과 리포트를 확인하자

report.json으로 생성된 테스트 결과를 보기 좋게 report.html 파일로 변환하는 명령어이다.

artillery report -o report.html report.json

생성된 report.html 파일을 브라우저로 열어 아래와 같은 보고서를 확인할 수 있다. 성능 측정의 결과가 다양한 지표와 함께 차트로 표현되어 있는 것을 볼 수 있는데, 이 결과를 어떻게 분석할 수 있을지는 조금 더 조사해봐야할 것 같다.

참고 자료

• Artillery User Guide
• Artillery를 이용한 스트레스 테스트