Các loại Test Automation Framework phổ biến hiện nay

Framework là gì?

Framework là một thư viện các lớp đã được xây dựng hoàn chỉnh , bộ khung để phát triển các Phần mềm ứng dụng. có thể ví framework như tập các “Vật liệu” ở từng lĩnh vực cho người lập trình viên, thay vì họ phải mất nhiều thời gian để tự thiết kế trước khi dùng.

Test Automation Framework là gì?

Các automated testing framework cung cấp một kiến trúc riêng cho project kiểm thử của chúng ta, điều mà nền tảng của các công cụ test mà chúng ta sử dụng thì lại thường không cung cấp. Mỗi kiểu framework lại có những quy tắc riêng, các hướng dẫn, giao thức và thủ tục riêng dành cho các công việc như tạo test case, tổ chức và thực thi các test case.

Dưới đây là 8 loại framework dành cho kiểm thử tự động thường gặp nhất.

Types of Automated Testing Frameworks

1. Linear Scripting Framework
2. Module-Based Testing Framework
3. Library Architecture Testing Framework
4. Data-Driven Testing Framework
5. Keyword-Driven Testing Framework
6. Hybrid Testing Framework
7. Test Driven Development framework (TDD)
8. Behavior Driven Development Framework (BDD)
   
   

Thứ tự được sắp xếp tăng dần theo độ phức tạp và các mức độ trong việc định hướng để đạt được các mục tiêu kiểm thử. Và các khía cạnh dùng để đánh giá việc đó bao gồm khả năng mở rộng, tính tái sử dụng, nỗ lực dành cho việc bảo trì và chi phí đầu tư dành cho các kỹ năng liên quan đến kỹ thuật như là chuyển giao kiến thức, đào tạo nhân lực hay các nỗ lực cần có để học hỏi các công nghệ mới.

1. Linear Scripting Framework

Linear Scripting Framework là một khung tự động hóa kiểm tra mức cơ bản ở dạng 'Ghi và Phát lại' theo kiểu tuyến tính.

Khung này còn được gọi là khung 'Ghi và Phát lại'.

Loại khuôn khổ này được sử dụng để kiểm tra các ứng dụng có kích thước nhỏ.

Trong loại này, việc tạo và thực thi các tập lệnh thử nghiệm được thực hiện riêng lẻ cho từng trường hợp thử nghiệm riêng lẻ.

Người kiểm tra nắm bắt từng bước kiểm tra như duyệt, điều hướng, đầu vào của người dùng, thực thi các điểm kiểm tra. Sau đó, người kiểm tra sẽ phát các tập lệnh để thực hiện các bài kiểm tra.

Ưu điểm:

• Có thể tạo các tập lệnh thử nghiệm (Ghi và phát lại) mà không cần lập kế hoạch nhiều hoặc tốn nhiều thời gian
• Kiến thức mã hóa không bắt buộc
• Một cách nhanh chóng để tạo các tập lệnh thử nghiệm

Nhược điểm:

• Thiếu khả năng tái sử dụng do các tập lệnh được tạo tự động
• Mã hóa khó dữ liệu không cho phép chúng ta chạy với nhiều tập dữ liệu
• Bảo trì cao - Nó đòi hỏi rất nhiều nỗ lực để thực hiện ngay cả những thay đổi nhỏ.
  
  

2. Module-Based Testing Framework

Với framework này, thì ta sẽ xây dựng các test script độc lập, tương ứng với từng module, các compoment hoặc các function của phần mềm ứng dụng. Việc tránh sử dụng các script phụ thuộc nhau là một yếu tố quan trọng đối với sự ổn định và khả năng bảo trì của framework này.

Nói một cách dễ hiểu, người kiểm thử chia ứng dụng thành nhiều mô-đun và tạo các tập lệnh kiểm tra riêng lẻ. Các tập lệnh thử nghiệm riêng lẻ này có thể được kết hợp để tạo ra các tập lệnh thử nghiệm lớn hơn bằng cách sử dụng một tập lệnh chính để đạt được các kịch bản yêu cầu. Tập lệnh chính này được sử dụng để gọi các mô-đun riêng lẻ để chạy các kịch bản thử nghiệm từ đầu đến cuối.

Lý do chính để sử dụng khuôn khổ này là xây dựng một lớp trừu tượng để bảo vệ mô-đun chính khỏi bất kỳ thay đổi nào được thực hiện trong các thử nghiệm riêng lẻ.

Ưu điểm:

• Khả năng mở rộng tốt hơn và dễ bảo trì hơn do chia nhỏ ứng dụng hoàn chỉnh thành các mô-đun khác nhau
• Có thể viết kịch bản thử nghiệm một cách độc lập
• Những thay đổi trong một mô-đun không có hoặc ít tác động đến các mô-đun khác
• Bảo trì dễ dàng và tiết kiệm chi phí.
• Nếu các thay đổi được triển khai trong một phần của ứng dụng, chỉ test script của phần đó của ứng dụng cần được fixed để giữ cho tất cả các phần khác không bị ảnh hưởng.

Nhược điểm:

• Mất nhiều thời gian hơn để phân tích các trường hợp thử nghiệm và xác định các luồng có thể tái sử dụng
• Do dữ liệu được mã hóa cứng trong các tập lệnh thử nghiệm, không thể khởi kiện nhiều tập dữ liệu.
• Yêu cầu kỹ năng viết mã để thiết lập khuôn khổ
• Khi có sự thay đổi về test data thì các script cũng phải thay đổi tương ứng, hoặc là bạn phải tạo mới một test script riêng biệt khác để đáp ứng sự thay đổi đó.

3. Library Architecture Testing Framework

Khung kiểm tra kiến ​​trúc thư viện hay còn gọi là “Kịch bản có cấu trúc” hoặc “Phân rã chức năng” nó dựa trên khuôn khổ mô-đun (Module Based Framework) với một số lợi thế bổ sung.

Trong khuôn khổ kiểm thử mô-đun, chúng ta chia ứng dụng đang được kiểm tra thành các mô-đun trong khi ở đây chúng ta xác định các nhiệm vụ chung và nhóm chúng thành các chức năng. Khi các chức năng được nhóm lại thì các nhóm này sẽ được lưu giữ trong thư viện. Các kịch bản thử nghiệm sử dụng lại các thư viện này để tạo các trường hợp thử nghiệm mới.

Ưu điểm:

• Bảo trì dễ dàng và tiết kiệm chi phí.
• Dễ dàng mở rộng
• Thư viện hàm có thể sử dụng lại và nó có thể được tái sử dụng
  (thay vì chia ứng dụng với các module và các test script tương ứng, thì ở đây ta sẽ thực hiện tách các test script của các chức năng dùng chung vào trong một thư viện chung, và có thể gọi đến bất cứ khi nào cần dùng, mà không phải làm đi làm lại cùng một scipt giống hệt nhau. Việc này giúp cho code không bị dài và dư thừa, và giảm nỗ lực thực hiện xây dựng script.)
  
  

Nhược điểm:

• Giống với Module Based Testing Framework khi có sự thay đổi về test data thì các script cũng phải thay đổi tương ứng, hoặc là bạn phải tạo mới một test script riêng biệt khác để đáp ứng sự thay đổi đó.
• Kỹ năng viết mã là bắt buộc
• Cần nhiều thời gian hơn để chuẩn bị các tập lệnh thử nghiệm
• Một tập dữ liệu thử nghiệm cố định được mã hóa cứng trong các tập lệnh

4. Data-Driven Testing Framework

Khung tự động hóa kiểm tra theo hướng dữ liệu tập trung vào việc tách logic các tập lệnh kiểm tra và dữ liệu kiểm tra khỏi nhau.

Nó cho phép chúng ta tạo các kịch bản tự động hóa thử nghiệm bằng cách chuyển các bộ dữ liệu thử nghiệm khác nhau.

Tập dữ liệu thử nghiệm được lưu trong các tệp hoặc tài nguyên bên ngoài như Trang tính MS Excel, Bảng MS Access, Cơ sở dữ liệu SQL, tệp XML, v.v.,

Các kịch bản kiểm tra kết nối với các tài nguyên bên ngoài để lấy dữ liệu kiểm tra.

Bằng cách sử dụng khuôn khổ này, chúng ta có thể dễ dàng làm cho các tập lệnh thử nghiệm hoạt động bình thường cho các bộ dữ liệu thử nghiệm khác nhau.

Khuôn khổ này làm giảm đáng kể số lượng tập lệnh thử nghiệm so với khuôn khổ dựa trên mô-đun.

Khung này cung cấp phạm vi kiểm tra nhiều hơn với các bài kiểm tra có thể sử dụng lại và tính linh hoạt trong việc thực hiện các bài kiểm tra chỉ khi được yêu cầu và chỉ bằng cách thay đổi dữ liệu kiểm tra đầu vào.

Nó đáng tin cậy về mặt không ảnh hưởng đến các bài kiểm tra bằng cách thay đổi dữ liệu kiểm tra nhưng nó có những hạn chế riêng, chẳng hạn như người kiểm tra làm việc trên khuôn khổ này cần phải có kiến ​​thức lập trình thực hành để phát triển các tập lệnh kiểm tra.

Ưu điểm:

• Nó hỗ trợ nhiều tập dữ liệu
• Việc sửa đổi các tập lệnh thử nghiệm sẽ không ảnh hưởng đến dữ liệu thử nghiệm
• Không cần mã hóa dữ liệu kiểm tra
• Tiết kiệm thời gian bằng cách thực hiện nhiều thử nghiệm hơn

Nhược điểm:

• Yêu cầu kỹ năng viết mã
• Thiết lập khuôn khổ và dữ liệu thử nghiệm mất nhiều thời gian hơn
• Cần những người kiểm tra tự động hóa có kinh nghiệm để thiết kế khuôn khổ

5. Keyword-Driven Testing Framework

Nó còn được gọi là thử nghiệm theo hướng bảng hoặc thử nghiệm dựa trên từ hành động.

Trong thử nghiệm theo hướng từ khóa, chúng tôi sử dụng định dạng bảng để xác định từ khóa hoặc từ hành động cho từng chức năng hoặc phương pháp mà chúng tôi sẽ thực thi.

Nó thực hiện các kịch bản kiểm tra tự động hóa dựa trên các từ khóa được chỉ định trong bảng excel.

Khi sử dụng Khung này, người kiểm thử có thể làm việc với các từ khóa để phát triển bất kỳ tập lệnh tự động hóa kiểm tra nào, người kiểm tra có ít kiến ​​thức lập trình hơn cũng có thể làm việc trên các tập lệnh kiểm tra.

Các thành phần của Khung theo hướng từ khóa

1. Trang tính Excel - Nó được sử dụng để lưu trữ dữ liệu cho các trường hợp thử nghiệm, chẳng hạn như từ khóa
2. Kho lưu trữ đối tượng (Object Repository) - Kho lưu trữ này lưu trữ các giá trị định vị cho các phần tử web
3. Thư viện hàm (Function Library) - Nó được sử dụng để tạo các hàm thực hiện các hành động
4. Bảng dữ liệu thử nghiệm (Test Data Sheet) - Đây là một tệp Excel lưu trữ các giá trị dữ liệu trong các đối tượng
5. Tập lệnh thử nghiệm (Test Script) - Đây là các tập lệnh để tương tác với ứng dụng đang thử nghiệm
6. Tập lệnh trình điều khiển (Driver Script) - Đây là công cụ trình điều khiển tương tác với tất cả các tập lệnh thử nghiệm
7. Selenium - Nó được sử dụng để thiết lập môi trường. Các công cụ khác cũng có thể được sử dụng cho mục đích này

Ví dụ Scenario sau:

1. Open a Browser
2. Navigate to URL https://anhtester.com
3. Enter username
4. Enter password
5. Click on the Login button
6. Click on the Logout button
7. Close the browser




Thì chúng sẽ đọc các bước từ Excel file với Keyword tương ứng. Các bước xử lý cho các keyword này đã được thiết đặt sẵn trong Library của ActionKeyword rồi. Chỉ việc switch case hoặc if else để mapping nó với tên tương ứng từ excel để gọi ra thực thi cho đúng.

Logic để đọc các từ khóa và gọi hành động bắt buộc được đề cập trong bảng excel. Thử nghiệm theo hướng từ khóa tương tự như thử nghiệm theo hướng dữ liệu.

Mặc dù để làm việc trên khung công tác này không yêu cầu nhiều kỹ năng lập trình nhưng việc thiết lập ban đầu (thực hiện khung công tác) đòi hỏi nhiều kiến ​​thức chuyên môn hơn.

Sự khác biệt giữa framework theo hướng Data và theo hướng Keyword

Ưu điểm:

• Không cần phải là một chuyên gia để viết các kịch bản thử nghiệm
• Có thể sử dụng lại mã. Chúng tôi có thể trỏ các tập lệnh khác nhau đến cùng một từ khóa
• Mặc dù ứng dụng thay đổi, các tập lệnh kiểm tra không thay đổi.
• Các bài kiểm tra có thể được thiết kế trước khi phát triển ứng dụng
• Tập lệnh thử nghiệm hoạt động độc lập với ứng dụng đang thử nghiệm với các sửa đổi cơ bản
• Không phụ thuộc vào các công cụ kiểm tra

Nhược điểm:

• Mất nhiều thời gian hơn để thiết kế
• Chi phí ban đầu cao
• Nhân viên có kỹ năng tự động hóa kiểm tra tốt cần thiết

6. Hybrid Driven Testing Framework

Hybrid test framework là sự kết hợp giữa hai hoặc nhiều các loại framework trên. Điểm cộng lớn ở đây chính là việc phát huy các ưu điểm của các framework mà nó kết hợp sử dụng.



Ví dụ: một hybrid có sự kết hợp giữa common library cùng với một kho dữ liệu test là các dữ liệu đầu vào/ra và các action keyword, lúc này mỗi bộ trong kho dữ liệu sẽ bao gồm tên của đối tượng, mô tả, action keyword, UI locator và test data tương ứng.

Ưu điểm:

• Nếu như sự cân bằng giữa các framework được kết hợp được đánh giá và thực thi cẩn thận thì nó lại có một sự linh hoạt rất cao đối với việc nâng cấp và bảo trì project.

Nhược điểm:

• Đối với Hybrid thì các công việc ban đầu có thể phức tạp hơn đối với các hướng tiếp cận là các framework phía trên

7. Test Driven Development framework (TDD)

Phát triển theo hướng kiểm tra là một kỹ thuật sử dụng các kiểm thử đơn vị tự động để định hướng thiết kế phần mềm và tách nó khỏi bất kỳ phần phụ thuộc nào. Trước đó, với thử nghiệm truyền thống, một thử nghiệm thành công có thể tìm thấy một hoặc nhiều khiếm khuyết, nhưng bằng cách sử dụng TDD, nó sẽ tăng tốc độ thử nghiệm và cải thiện độ tin cậy rằng hệ thống đáp ứng các yêu cầu và hoạt động bình thường khi so sánh với thử nghiệm truyền thống.

Ưu điểm của TDD

Sau đây là những ưu điểm chính của Phát triển theo hướng kiểm thử trong Kỹ thuật phần mềm:

• Thông báo lỗi sớm.
  • Các nhà phát triển kiểm tra mã của họ nhưng trong thế giới cơ sở dữ liệu, điều này thường bao gồm kiểm tra thủ công hoặc tập lệnh một lần. Sử dụng TDD, theo thời gian, bạn xây dựng một bộ kiểm tra tự động mà bạn và bất kỳ nhà phát triển nào khác có thể chạy lại theo ý muốn.
• Được thiết kế tốt hơn, mã sạch hơn và có thể mở rộng hơn.
  • Nó giúp hiểu cách mã sẽ được sử dụng và cách nó tương tác với các mô-đun khác.
  • Nó dẫn đến quyết định thiết kế tốt hơn và mã dễ bảo trì hơn.
  • TDD cho phép viết mã nhỏ hơn có trách nhiệm duy nhất thay vì các thủ tục nguyên khối với nhiều trách nhiệm. Điều này làm cho mã đơn giản hơn để hiểu.
  • TDD cũng buộc chỉ viết mã sản xuất để vượt qua các bài kiểm tra dựa trên yêu cầu của người dùng.
• Sự tự tin để Refactor
  • Nếu bạn cấu trúc lại mã, có thể có khả năng bị hỏng trong mã. Vì vậy, có một tập hợp các bài kiểm tra tự động, bạn có thể khắc phục những lỗi đó trước khi phát hành. Cảnh báo thích hợp sẽ được đưa ra nếu tìm thấy các lỗi khi sử dụng các bài kiểm tra tự động.
  • Sử dụng TDD, sẽ dẫn đến mã nhanh hơn, có thể mở rộng hơn với ít lỗi hơn có thể được cập nhật với rủi ro tối thiểu.
• Tốt cho làm việc nhóm
  • Trong trường hợp không có bất kỳ thành viên nào trong nhóm, các thành viên khác trong nhóm có thể dễ dàng nhận và làm việc trên mã. Nó cũng hỗ trợ chia sẻ kiến ​​thức, do đó làm cho nhóm hiệu quả hơn về tổng thể.
• Tốt cho các nhà phát triển
  • Mặc dù các nhà phát triển phải dành nhiều thời gian hơn để viết các trường hợp thử nghiệm TDD, nhưng lại mất ít thời gian hơn để gỡ lỗi và phát triển các tính năng mới. Bạn sẽ viết mã sạch hơn, ít phức tạp hơn.
    
    

Các công cụ TDD phổ biến

Sau đây là một số khung / công cụ kiểm thử đơn vị phổ biến và được sử dụng nhiều nhất hỗ trợ phương pháp TDD:

• csUnit: Một công cụ kiểm tra đơn vị mã nguồn mở cung cấp khung kiểm tra đơn vị TDD cho các dự án .Net
• DocTest: Một khung kiểm thử đơn vị rất đơn giản, dễ học cho Python
• JUnit: Một khung kiểm tra đơn vị Java TDD.
• NUnit: Cái này lại được sử dụng cho các dự án .Net
• PHPUnit: Cái này được sử dụng cho các dự án PHP
• PyUnit: Khung kiểm tra đơn vị tiêu chuẩn cho Python
• TestNG: Một khung thử nghiệm cho Java, ghi đè những hạn chế của JUnit.
• RSpec: Một khuôn khổ cho các dự án Ruby.
  

8. Behavior Driven Development Framework (BDD)

Behavior Driven Developmet Framework viết tắt là BDD, framework này không giống như các framework đã kể trên, mục đích của nó là tạo điều kiện cho các bên liên quan trong quy trình phát triển phần mềm như: Business Analysts, Developers, Testes…

Vấn đề trọng tâm đối với framework này đó là việc sử dụng các ngôn ngữ non-technical (không kỹ thuật), semi-formal, hay dễ hiểu hơn là nó sẽ gần giống với ngôn ngữ tự nhiên mà chúng ta vẫn thường sử dụng để mô tả các test case theo hướng hành vi của người dùng.

Cụ thể là ngôn ngữ Gherkin. Các bạn có thể tìm hiểu qua bài viết dưới đây

Xem thêm: Gherkin là gì? Cấu trúc của một Gherkin trong Cucumber

Có một số công cụ hỗ trợ chúng ta trong việc này như Cucumber, Jbehave, Rbehave…

Xem thêm: Cucumber là gì? Các thành phần của Cucumber

Ví dụ thực tế trong code như này:

Trình bày ngôn ngữ Gherkin xong generate thành function script để xử lý bên dưới



Và cái hay là khi dùng BDD thì chúng ta sẽ không cần viết Test case riêng mà viết chúng tích hợp chung trong project auto test luôn với ngôn ngữ tự nhiên tiếng Anh.

Khách hàng cần xem là các gherkin này và họ không quan tâm code script bên dưới. Và framework này là framework được dùng nhiều nhất hiện nay. Phổ biến nhất hiện nay. Đặc biệt khách hàng châu Âu và Mỹ rất thích. Vì chúng trình bày test case theo hướng người dùng dễ hiểu và ngắn gọn.

Cái hay là có thêm được tính năng chạy auto test tương ứng với TC đó luôn.

So sánh BDD với TDD

Ưu điểm:

• Có thể tiếp cận với các yêu cầu kỹ thuật của sản phẩm sớm nhất có thể.
• Trình bày được cả test case trong project auto test.
• Là rõ vấn đề và tạo sự liên kết giữa các bên liên quan trong dự án mà không chỉ Tester.

Nhược điểm:

• Đòi hỏi sự hợp tác cao giữa team Dev và team Test có thể có cả BA hỗ trợ viết Gherkin.
• Mất thời gian cho khâu viết Gherkin phải chuẩn hoá và mapping với khung sườn auto test mà đội kỹ thuật đã thiết kế.

LỰA CHỌN LOẠI FRAMEWORK NÀO LÀ PHÙ HỢP

Theo quan điểm cá nhân An thì khi nào mình cần code nhanh chỉ phần script thôi để phục vụ cho phần Test case đã viết sẵn riêng hoặc requirements thì chúng ta chọn Data Driven Famework và Keyword Driven Framework kết hợp 2 thằng này chung lại để build FW chỉ viết script mà không có Gherkin.

Framework mẫu do An build với Selenium Java và dùng Framework TestNG để xây dựng. Các bạn có thể tham khảo:
https://github.com/anhtester/AutomationFrameworkSelenium

Và khi mà khách hàng yêu cầu test case dạng Cucumber thì chúng ta dùng BDD Framework là phù hợp nhất. Nhưng nó mất thời gian xây dựng TC dạng Gherkin. Nhưng nó là tốt nhất và hay nhất hiện nay 👍

Framework mẫu do An build với Selenium Java và dùng Framework Cucumber + TestNG để xây dựng. Các bạn có thể tham khảo:
https://github.com/anhtester/AutomationFrameworkCucumberTestNG

LOẠI FRAMEWORK NÀO PHỔ BIẾN NHẤT HIỆN NAY

Loại Test Automation Framework phổ biến nhất hiện nay là BDD Framework. Hay cụ thể là sử dụng Cucumber với ngôn ngữ Gherkin trong project auto test.

Trên đây là chia sẻ của mình về các loại Test Automation Framework phổ biến nhất hiện nay và ưu nhược điểm của từng loại. Cám ơn các bạn đã đọc, hy vọng bài viết của mình có thể giúp đỡ phần nào những vướng mắc của các bạn trước khi chọn lựa một framework để học và thiết kế automation testing.