테스트 자동화에서 데이터, 분석, 머신러닝을 사용하는 3가지 방법

테스트 자동화에서 데이터, 분석, 머신러닝을 사용하는 3가지 방법

ⓒ Getty Images Bank

불과 10년 전만 해도 대부분의 애플리케이션 개발 테스트 전략은 비즈니스 로직을 검증하기 위한 단위 테스트, 사용자 경험을 확인하기 위한 수동 테스트 케이스, 그리고 성능과 확장성을 검사하기 위한 별도의 부하 테스트 스크립트를 중심으로 이뤄졌다. 클라우드 인프라와 마이크로서비스 아키텍처, 지속적 통합 및 지속적 제공(CI/CD) 자동화, 지속적 테스트 기능을 기반으로 하는 지금의 개발 방식에 비하면 기능 개발과 릴리스 속도는 느릴 수밖에 없었다. 
또한 지금은 많은 애플리케이션이 SaaS로 제공되거나 로우코드 및 노코드 애플리케이션을 구축하는 방법으로 개발된다. 이 경우에도 기반 비즈니스 흐름과 프로세스에 대한 테스트는 필요하다. 
데브옵스 조직의 애자일 개발팀은 기능 개발 주기를 단축하고 제공 빈도를 높이고 고품질 사용자 경험을 보장하는 것을 목표로 한다. 관건은 새로운 테스트 복잡성과 배포 병목, 보안 틈새나 상당한 비용 증가를 수반하지 않으면서 위험성과 시프트 레프트(shift-left) 테스트를 줄이는 방법이다.
코파도(Copado)의 제품군 관리자인 에스코 하눌라는 증가하는 테스트 규모에 대처하기 위한 열쇠는 머신러닝이라면서 “디지털 비즈니스의 품질은 곧 코드와 코드를 실행하는 테스트의 품질이다. 테스트할 코드가 많을수록 머신러닝을 사용한 테스트 자동화의 중요성도 커진다. QA 인력과 기계의 지능이 서로를 지원해 단순한 직감이 아닌 데이터에 근거해 더 현명한 의사 결정을 내릴 수 있다”고 말했다. 
필자는 마이크로서비스를 구축하거나 다수의 서드파티 API와 접속할 때 서비스 가상화를 사용해 더 견고한 웹 서비스 테스트를 개발하는 방법을 소개한 바 있다. 여기서 한 걸음 더 나아가 개발팀과 QA 테스트 자동화 엔지니어가 더 견고한 테스트를 개발하고 지원하기 위해 활용할 수 있는 데이터, 분석, 머신러닝 기반의 테스트 기능을 소개한다.
이와 같은 기능은 새로운 영역이고 테스트 플랫폼에 따라 이미 견실한 기능을 제공하는 경우도 있고 초기 도입 단계에 있는 경우도 있다. 하지만 앞으로 주류 기능이 될 가능성이 높으므로 개발팀에서는 미리 연구하고 계획해야 한다. 
 
자연어 처리를 사용한 테스트 생성 
QA 플랫폼이 웹페이지의 문서 객체 모델(DOM)을 분석하고 컴퓨터 비전을 활용해 사용자 인터페이스 변경을 감지하고 광학 문자 인식을 사용해 텍스트 요소를 추출하는 등 지난 10년 동안 테스트 품질은 크게 개선됐다. 그러나 테스트 개발을 위해서는 QA 플랫폼이 테스트 케이스를 기록하는 동안 테스트 엔지니어가 수동으로 사용자 인터페이스를 일일이 클릭하고 양식에 데이터를 입력하고 워크플로우를 따라 이동해야 하는 경우가 많다. 
자연어 처리(NLP)를 사용해 테스트 케이스를 문서화하는 접근 방법이 새롭게 부상 중이다. 소스 랩스(Sauce Labs)는 최근 사용자가 자연어로 테스트 단계를 기술하면 소프트웨어가 자동으로 테스트 케이스를 생성하는 방식의 툴인 오토놈IQ(AutonomIQ)를 인수했다. 
소스 랩스 CTO 존 켈리는 이 기능이 중요한 이유로 점점 더 많은 조직이 맞춤형 고객 관계 관리, 비즈니스 프로세스 관리 워크플로우, 로우코드 애플리케이션을 개발하고 있다는 점을 들었다. 켈리는 비즈니스 관점에서 이 경험을 설명하면서 “소스 랩스에는 주제 전문가가 자연어로 기술하면 NLP 머신러닝이 이를 원하는 만큼 자주 실행할 수 있는 테스트 케이스로 변환한다. 그러면 외부 감사자들에게 규정 준수를 입증할 수 있다. 즉, 코드 없이 테스트 케이스를 만드는 방법이 비즈니스 프로세스를 문서화하고 검증하는 새로운 방법으로 부상 중”이라고 설명했다.
 
합성 테스트 데이터 생성으로 테스트 확장 
QA 엔지니어가 테스트 케이스를 캡처하면 다음 작업은 기반 비즈니스 규칙과 경계 조건을 검증하기에 충분한 테스트 데이터를 생성하는 것이다. 검색 엔진, 복잡한 다계층 양식, 문서 업로드와 같은 개방형 환경, 그리고 개인 식별 정보를 비롯한 민감한 데이터를 사용한 테스트의 경우 특히 테스트 데이터 생성이 어려울 수 있다. 
큐리오시티 소프트웨어(Curiosity Software), 댓프로프(Datprof), 델픽스(Delphix), 젠로켓(GenRocket), 토라나(Torana, iCEDQ), K2뷰(K2View) 등의 툴은 기능 테스트, API 테스트, 데이터옵스, 데이터 레이크, 비즈니스 인텔리전스를 포함한 다양한 애플리케이션과 데이터 흐름에 대한 테스트 데이터 자동 생성 기능을 제공한다. 
 
지속적 테스트의 최적화 
애자일 개발 팀과 QA 자동화 엔지니어가 테스트 작업을 최적화하도록 돕는 플랫폼도 있다. 
실패 분석은 테스트가 실패할 경우 개발팀이 실패의 근본 원인을 조사하는 데 도움이 된다. 켈리는 이 과제와 관련해 “1,000건의 셀레늄 테스트를 실행해 300건이 실패한다면 팀은 잘못된 API가 원인인지, 다른 문제가 있는지 알 수 없고 테스트 환경이 프로덕션 환경을 완전하게 반영하지 못하므로 문제가 프로덕션에서 발생할 것인지 여부도 알 수 없다. 팀은 테스트 실패의 근본 원인을 알고자 한다. 우리 모델은 실패한 테스트를 그룹화하고 어떤 테스트가 동일한 문제와 관련되는지를 보고한다”고 말했다. 
또 다른 과제는 테스트 모음을 최적화하고 릴리스의 코드 변경을 기반으로 어느 테스트를 실행할지를 결정하는 것이다. 테스트팀은 필수 앱 기능 및 흐름에 대한 회귀 테스트인 “스모크 테스트(Smoke Test)”를 설계할 수 있다. 그러나 지속적 테스트를 구현하는 데브옵스팀이라면 테스트, 코드 변경, 프로덕션 시스템 간에 데이터를 연결하고 머신러닝을 적용해 실행할 테스트를 선택할 수 있다. 빌드 테스트 최적화는 핵심 애플리케이션에 대한 코드를 빈번하게 릴리스하는 개발팀에 반드시 필요한 기능이다. 
이 문제 해결을 위한 솔루션 중 하나는 테스트 케이스를 코드 경로에 매핑하는 종속성 그래프를 생성하는 유어베이스(YourBase)이다. 개발자가 코드를 변경하면 툴이 종속성 그래프를 사용해서 실행해야 하는 테스트 케이스를 최적화한다. 유어베이스의 CEO 이브스 준퀘이라는 “기업에서는 수만, 수십만 개의 테스트를 사용한다. 기업은 코드를 프로덕션에 배포하기까지의 리드 시간을 개선하고 개발자 생산성을 높이기를 원한다. 이런 팀은 변화를 위해 정말 필요한 테스트가 무엇인지를 현명하게 결정하고 테스트 실패의 원인을 더 정확히 파악해야 한다”고 설명했다.  
세 번째 접근 방법은 테스트 환경 외부에서 작동하면서 디바이스 엔지니어와 소프트웨어 개발자가 프로덕션 오류, 예외, 중요한 이벤트를 추적할 수 있게 해준다. 백트레이스(Backtrace)가 이 기능을 제공한다. 개발팀은 백트레이스의 종합적인 오류 보고 및 중복 제거 분석을 사용해서 게임, 모바일 및 기타 임베디드 애플리케이션의 문제를 신속하게 찾아 해결할 수 있다. 
데브옵스 조직에 중요한 것은 주요 애플리케이션의 더 빈번한 릴리스를 추구하기 위해서는 테스트 자동화, 견고성, 인텔리전스를 늘리기 위한 노력도 병행해야 함을 인식하는 것이다. AI옵스 플랫폼은 운영 데이터를 중앙화하고 머신러닝 기능을 활성화해서 IT 서비스 관리 팀이 마이크로서비스와 복잡한 애플리케이션 종속성을 지원하는 데 도움을 준다. QA 플랫폼은 이와 비슷한 방식으로 애자일 개발 팀에 테스트를 개선하기 위한 자동화, 분석, NLP 및 머신러닝 기능을 제공하는 것을 목표로 한다. editor@itworld.co.kr

在测试自动化中使用数据、分析和机器学习三种方法

仅在10年前，大部分应用软件开发测试战略都是以验证商业logic的单位测试、确认使用者经验的手动测试盒、以及为了检查性能和扩张性的额外负荷测试脚本为中心进行的。 与以云基础设施和微型服务架构、持续整合及持续提供(CI/CD)自动化、持续测试功能为基础的现在的开发方式相比，功能开发和Lilice的速度只能慢下来。
另外，现在很多应用软件都是通过SaaS提供或构建低代码及无代码应用的方法开发出来的。 在这种情况下，有必要对基础商业趋势和流程进行测试。
Devops组织的"Azail开发组"的目标是缩短功能开发周期，提高提供频率，保障高品质用户体验。 关键在于，在不伴随新的测试复杂性和分发瓶颈、保安缝隙或相当大的费用增加的情况下，减少危险性和反向左转（shift-left）测试。
Copado的产品群管理者埃斯科•哈努拉表示，"为了应对日益增加的测试规模，关键是机器学习"，"数字商务的质量就是实行代码和代码的测试的质量。 要测试的代码越多，使用机器学习的测试自动化的重要性也越大。 QA人力和机器的智能相互支援，不是单纯的直觉，而是根据数据做出更明智的决策。"
笔者曾介绍过在构建微型服务或与多数第三方API连接时，使用服务虚拟化开发更坚固的网络服务测试的方法。 在此基础上，进一步介绍开发组和QA测试自动化工程师为开发和支援更坚固的测试而可以利用的数据、分析、机器学习基础的测试功能。
这样的功能属于新领域，根据测试平台，有已经提供坚实功能的情况，也有处于初期引进阶段的情况。 但是，今后成为主流功能的可能性很大，因此开发组应该提前研究和计划。

使用自然语言处理的测试生成
QA平台分析网页上的文件客体模型(DOM)，利用电脑前景感知用户界面变更，使用光学文字识别提取文本要素等，在过去10年里测试质量得到了大幅改善。 但是，为了测试开发，在QA平台记录测试盒期间，测试工程师需要手动点击用户界面，在样式上输入数据，并跟随Workflow进行测试。
使用自然语处理(NLP)将测试箱书面化的接近方法正在崛起。 最近，Sauce Labs收购了用户用自然语言描述测试阶段，软件就会自动生成测试箱的工具"AutonomIQ"。
Source Raps CTO John Kelly指出，该功能之所以重要，是因为越来越多的组织正在开发针对性顾客关系管理、商务流程管理工作坊、低代码应用程序。 凯利从商业角度解释了这一经验，并表示，"在源头实验室，如果主题专家用自然语言记述，NLP机器学习就会转换成符合需求的、可以经常实施的测试案例。 这样就可以向外部监察者证明遵守规定。 也就是说，在没有代码的情况下制造测试箱的方法正在成为将商业流程文件化、验证的新方法。"

测试扩展到合成测试数据生成
QA工程师截取测试盒后，下一步的工作就是生成足以验证基础商业规则和警戒条件的测试数据。 如果使用搜索引擎、复杂的多阶层样式、上传文件等开放型环境，以及个人识别信息等敏感数据进行测试，尤其难以生成测试数据。
好奇号软件（Curiosity Software）、Tatprof、Delphix、GenRocket、Torana、iCEDQ、K2View等工具包括功能测试、API测试、数据选项、数据标签、商务智能数据生成等。

持续优化测试
另外，还有帮助Azail开发团队和QA自动化工程师优化测试作业的平台。
失败分析有助于在测试失败时开发组调查失败的根本原因。 凯利就该课题表示，"如果实施1000件硒测试，300件失败，团队就无法知道是错误的API原因，还是其他问题，测试环境无法完全反映生产环境，因此也无法知道问题是否会在生产过程中发生。 团队想了解测试失败的根本原因。 我们的模型将失败的测试集团化，报告哪些测试与同一问题有关。"
另一个课题是优化测试集，以Lilis的代码变更为基础，决定实施哪个测试。 测试组可以设计对必需应用程序功能及流向的回归测试"SMoke Test"。 但如果是体现持续性测试的Dev Optim，就可以选择测试、代码变更、制作系统之间连接数据、使用机器学习来执行的测试。 Build测试优化是频繁对核心应用代码进行复制的开发团队必不可少的功能。
解决该问题的解决方案之一是生成将测试盒映入代码路径的从属性图表的"Your Base"。 如果开发者更改代码，则优化工具必须使用从属性图表运行的测试盒。 优步CEO伊夫斯•准奎拉表示:"企业使用数以万计、数十万个测试。 企业希望改善将代码发放到制片厂的引导时间，提高开发者生产效率。 这样的团队应该明智地决定为了变化真正需要的测试是什么，并更准确地掌握测试失败的原因。"
第三种方法是，在测试环境外部运行，设备工程师和软件开发者可以追踪处理错误、例外、重要事件。 后场(Backtrace)提供该功能。 开发组使用后台综合错误报告及重复排除分析，可以迅速找出游戏、移动及其他嵌入式应用的问题并加以解决。
对于Devops组织来说，重要的是要追求主要应用软件的更频繁更新，同时要努力提高测试自动化、坚固性、智能性。 AIOPS平台将运营数据中央化，激活机器学习功能，有助于IT服务管理团队支持微型服务和复杂应用程序的从属性。 QA平台的目标是，以类似的方式，为爱子一开发团队提供改善测试的自动化、分析、NLP及机器学习功能。 editor@itworld.co.kr