티스토리 뷰

테스팅 분야에서 기법이 차지하는 비중은 갈수록 높아지고 있다. 이 기법이 무엇이냐? 버그가 없다는 것을 증명하기 위해 검증된 사고나 모델을 말한다고 생각한다.

즉, 어떤 어떤 기법이라는 이름이 붙는다면, 그것은 경험적으로 또는 논리적으로 문제 해결에 정통한 한 가지 방법이라는 것이다. 이 문제 해결에는 버그가 예로부터 많이 발생하던 상황, 논리적 증명에 의해 문제가 없음을 역으로 증명해 내는 모델을 적용한다.

필자는 특히나 블랙박스 기법 중에 "직교 배열법", "All-pairs 테스팅", "OA 테스팅", "pairwise 테스팅"으로 불리는 기법을 좋아하고 자주 사용하는데, 이것이 무엇인지에 대해서는 필자의 이전 글을 참고하기 바란다.

이 글에서는 allpairs라는 툴을 소개하고 있는데, 이것은 매우 간단하고 2-way 방식만 지원하는 입문자용 툴이라고 할 수 있겠다.

이러한 툴이 나온지 수 년이 지난 현재에 이르러서는 많은 사람들이 OA 테스팅의 개념을 이해하고 자연스럽게 사용하고 있다. 그러던 중 마이크로소프트의 테스터들도 이러한 방법을 잘 사용하고 있다는 증거들이 여러 곳곳에서 나타나고 있는데, http://blogs.msdn.com/를 통해서 내부 직원들의 블로그에 접근할 수 있다. (역시 공개되어 있다)

급기야 마이크로소프트의 Test Lead인 Jacek Czerwonka는 기존의 개념을 모두 포함하고 여러 가지 기능을 추가한 가장 진보적인 Pairwise 툴(PICT)을 소개하게 된다. 이 툴의 설명서를 보면 대단히 기능이 많고, 기존에 여러 툴에서 아쉬웠던 부분들을 일시에 해결한 솔루션임을 알게 된다.

필자는 이 툴에 예전부터 흥미가 있었던 차에, 제대로 한 번 써보기 위해서 함께 포함되어 있는 유저 가이드를 번역해 보았다. 아마도, Allpairs 부터 사용해서 개념을 익히지 않았던 분이라면, 유저 가이드 번역본을 보더라도 이해가 되지 않을 것이다. (일에는 순서가 있는 법, 완전히 자기 것으로 만들었다고 확신이 드는 분들만이 이 툴에 도전해 보기 바란다. ^^)

필자 또한 번역하면서 몇몇 기능이나 문구는 잘 이해가 가지 않는 부분이 있는데 직접 PICT를 가지고 실험을 여러 번 해보아서 결론을 얻어야 할 듯 하다. 만족할 만한 결론이 나온다면 그 즉시 블로그를 통해 공개하겠다. ^^

아래는 블로그에 PICT를 소개한 또 다른 직원의 글을 옮겼다.

PS1) PDF 파일의 형태로 첨부하였다. 다만 필자가 만들 수 있는 PDF는 아무리 보안을 적용하더라도 쉽게 보안이 무력화 될 수 있음을 필자도 잘 알고 있다. 실제로 PDF의 보안을 무력화시키려고 시도해서 보안이 힘없이 무너진 실험 또한 성공(?) 했다. (필자가 테스터라는 점을 잊지 말기를...) 그럼에도 불구하고 원 번역자가 필자라는 사실을 알리고, free rider들을 조금이라도 귀찮게 하기 위해 PDF에 인쇄, 텍스트 추출 불가능 등의 제한을 걸었다. ^^ 이러한 노력을 가상히 여기시어 참고가 되었고 도움이 되었다면, 함부로 가져가서 본인들의 저작물인양 하지 않으셨으면 한다. 그리고, 참고가 되었다면 레퍼런스 명기를 해주시길!

PS2) 마이크로소프트가 정말 대단한 기업임을 실감하는 것이 이러한 테스팅 분야에 대해서도 논문 수준의 연구를 하고 또 그것을 내부 툴로 구현하고(상당한 수준으로), 또 공개까지 하는 걸 보면(물론 적극적인 공개는 아니다.) 대단한 사람들이라는 것을 느끼게 된다. 또, 요즘 구글도 테스팅에 대단한 노력을 기울이는 인상이다. 개발력 또한 무시 못할 수준인데, 그것을 검증하고 확인하는 능력 또한 더 나아지면 어쩌란 말인가? ^^

http://blogs.msdn.com/nagasatish/archive/2006/11/30/pairwise-testing-pict-tool.aspx


Pairwise Testing & PICT Tool

When we are testing an application, we have to see the how the application behaves in various combinations of OS's, Platforms, etc.  The following table gives demonstrates that we have to test our app for the following combinations

 

1

OS

Win XP, Win 2003 SVr, Vista, Win NT4

2

Language

English, German, Japanese, Arabic

3

CLR

Installed, not installed

4

Platform

X86, AMD64

5

IE

5.0, 6.0

 

There are 4*4*2*2*2 = 128 possible combinations for selecting 1 value for each of the above 5 parameters in combination with other e.g (Win XP, English, Installed, X86, 5.0) etc.

 

This takes a lot of time to test.  We can use pairwise testing to reduce the number of combinations and also achieve full coverage simultaneously.

 

Some goals of pairwise testing are

  • Each value of each parameter is tested at least once
  • Each variable in each parameter is tested in a pair with every variable in other parameters
  • Pairs of variables that exist in other combinations can be dropped from the matrix of combinations

 

If we follow the above rules, we can reduce the number of combinations to 16.  

 

Luckily, we have tools that find the combinations for us and one such tool is PICT.  You can download PICT from http://download.microsoft.com/download/f/5/5/f55484df-8494-48fa-8dbd-8c6f76cc014b/pict33.msi

 

Also, this tool enables us to

  • specify constains (eg. If CLR is installed, then we have to use IE 6.0)
  • specify equivalent combinations (e.g. Japanese and German languages are likely to produce the same results).
Published Thursday, November 30, 2006 3:33 AM by nagasr

PDF 유저 가이드 번역과 PICT 3.3 설치본



댓글
  • 프로필사진 최승범 안녕하세요 :)
    test case 조합 방법에 대해 좀 찾아보다 우연히! 방문하게 되었습니다.
    실제 케이스 작성 시 에는 특정 기법을 사용하기보다 경험적으로 판단해 케이스를 최적화 하게 되는데요
    혹시 실제로 유용하게 사용할 수 있는 케이스 조합 기법 또는 방법에 대한 조언 구할 수 있을까요?

    http://www.pairwise.org/news.asp 에도 보면 최근엔 관련 내용이 거의 업데이트 되는 건 없는 것 같네요... 그냥 툴 도움 없이 이미 경험적으로 체화된 방법이 베스트 이려나요 @.@
    2016.06.30 10:53 신고
댓글쓰기 폼
공지사항
Total
394,963
Today
7
Yesterday
27
«   2018/11   »
        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30  
글 보관함