Khác biệt giữa các bản “Thử nghiệm A/B”

n
Đã lùi lại sửa đổi của TuanminhBot (Thảo luận) quay về phiên bản cuối của Băng Tỏa
n (tạo trang thảo luận, replaced: 21th → 21st (2), [[ → [[ (13), removed: Thể loại:Pages with unreviewed translations using AWB)
n (Đã lùi lại sửa đổi của TuanminhBot (Thảo luận) quay về phiên bản cuối của Băng Tỏa)
Thẻ: Lùi tất cả
 
[[Tập tin:A-B_testing_example.png|nhỏ| Ví dụ về thử nghiệm A/B trên một trang web. Bằng cách phục vụ ngẫu nhiên khách truy cập hai phiên bản của trang web chỉ khác nhau về thiết kế của một phần tử nút duy nhất, có thể đo lường hiệu quả tương đối của hai thiết kế. ]]
'''Thử nghiệm A/B''' là một phương pháp nghiên cứu trải nghiệm người dùng.<ref name=":0302">{{Chú thích tạp chí|last=Young|first=Scott W. H.|date=2014|title=Improving Library User Experience with A/B Testing: Principles and Process|journal=Weave: Journal of Library User Experience|volume=1|issue=1|doi=10.3998/weave.12535642.0001.101|issn=2333-3316|doi-access=free}}</ref> Thử nghiệm A/B bao gồm một [[ Thử nghiệm ngẫu nhiên |thử nghiệm ngẫu nhiên]] với hai biến thể, A và B.<ref>{{Chú thích sách|title=Encyclopedia of Machine Learning and Data Mining|last=Kohavi|first=Ron|last2=Longbotham, Roger|publisher=Springer|year=2017|editor-last=Sammut|editor-first=Claude|chapter=Online Controlled Experiments and A/B Tests|editor-last2=Webb|editor-first2=Geoff|chapter-url=http://www.exp-platform.com/Documents/2015%20Online%20Controlled%20Experiments_EncyclopediaOfMLDM.pdf}}</ref><ref name=":1">{{Chú thích tạp chí|last=Kohavi|first=Ron|last2=Thomke|first2=Stefan|date=September 2017|title=The Surprising Power of Online Experiments|url=https://hbr.org/2017/09/the-surprising-power-of-online-experiments|journal=Harvard Business Review|pages=74–82}}</ref> Nó bao gồm việc áp dụng [[Kiểm định giả thuyết thống kê|thử nghiệm giả thuyết thống kê]] hoặc "[[thử nghiệm giả thuyết hai mẫu]]" như được sử dụng trong lĩnh vực [[thống kê]]. Thử nghiệm A/B là một cách để so sánh hai phiên bản của một biến, thường bằng cách kiểm tra phản ứng của đối tượng đối với biến thể A so với biến thể B, và xác định xem biến thể nào có hiệu quả hơn.<ref name=":0">{{Chú thích web|url=http://www.pardot.com/blog/abcs-ab-testing/|tựa đề=The ABCs of A/B Testing - Pardot|website=Pardot|ngôn ngữ=en-US|ngày truy cập=2016-02-21}}</ref>
 
== Tổng quan ==
Thử nghiệm A/B là cách viết tắt của một thử nghiệm có kiểm soát đơn giản.<ref name=":03">{{Chú thích tạp chí|last=Young|first=Scott W. H.|date=2014|title=Improving Library User Experience with A/B Testing: Principles and Process|journal=Weave: Journal of Library User Experience|volume=1|issue=1|doi=10.3998/weave.12535642.0001.101|issn=2333-3316|doi-access=free}}</ref> Như tên của nó, hai phiên bản (A và B) của một biến được so sánh, chúng giống hệt nhau ngoại trừ một biến thể có thể ảnh hưởng đến hành vi của người dùng. Thử nghiệm A/B được xem là hình thức đơn giản nhất của thử nghiệm có kiểm soát. Tuy nhiên, bằng cách thêm nhiều biến thể hơn vào thử nghiệm, nó sẽ trở nên phức tạp hơn.<ref name=":12">{{Chú thích tạp chí|last=Kohavi|first=Ron|date=2010|title=Online Controlled Experiments and A/B Testing|url=https://www.researchgate.net/publication/316116834|journal=|volume=|pages=|via=}}</ref>
 
Thử nghiệm A/B hữu ích để hiểu mức độ tương tác của người dùng và mức độ hài lòng của các tính năng trực tuyến, chẳng hạn như một tính năng hoặc sản phẩm mới.<ref name=":2">{{Chú thích tạp chí|title=From Infrastructure to Culture {{!}} Proceedings of the 21st21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining|language=EN|doi=10.1145/2783258.2788602}}</ref> Các trang web truyền thông xã hội lớn như LinkedIn, Facebook và Instagram sử dụng thử nghiệm A/B để khiến trải nghiệm người dùng thành công hơn và cũng như là một cách để cải thiện dịch vụ của họ.
 
Ngày nay, các thử nghiệm A/B đang được sử dụng để chạy các thử nghiệm phức tạp hơn, chẳng hạn như hiệu ứng mạng khi người dùng ngoại tuyến, cách dịch vụ trực tuyến ảnh hưởng đến hành động của người dùng và cách người dùng ảnh hưởng đến nhau.<ref name=":2">{{Chú thích tạp chí|title=From Infrastructure to Culture {{!}} Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining|language=EN|doi=10.1145/2783258.2788602}}</ref> Nhiều công việc sử dụng dữ liệu từ thử nghiệm A/B. Trong đó bao gồm kỹ sư dữ liệu, nhà tiếp thị, nhà thiết kế, kỹ sư phần mềm và doanh nhân.<ref name=":42">{{Chú thích sách|url=https://books.google.com/books?id=VfVvAAAAQBAJ&lpg=PT6&dq=A/B%20Testing&pg=PT13#v=onepage|title=A / B Testing: The Most Powerful Way to Turn Clicks Into Customers|last=Siroker|first=Dan|last2=Koomen|first2=Pete|date=2013-08-07|publisher=John Wiley & Sons|isbn=978-1-118-65920-5|language=en}}</ref> Nhiều vị trí dựa vào dữ liệu từ các thử nghiệm A/B, vì chúng cho phép các công ty hiểu được sự tăng trưởng, tăng doanh thu và tối ưu hóa sự hài lòng của khách hàng.
 
Phiên bản A có thể là phiên bản (điều chỉnh) đang được sử dụng, trong khi phiên bản B được sửa đổi tại một vài phương diện (trị liệu). Ví dụ: trên một trang web thương mại điện tử, [[phễu mua hàng]] thường là một ứng cử viên tốt cho thử nghiệm A/B, vì ngay cả khi tỷ lệ rớt hàng giảm nhẹ cũng có thể thể hiện doanh thu tăng đáng kể. Những cải tiến đáng kể đôi khi có thể được nhìn thấy thông qua các yếu tố thử nghiệm như sao chép văn bản, bố cục, hình ảnh và màu sắc,<ref>{{Chú thích web|url=http://www.webics.com.au/blog/google-adwords/split-testing-guide-for-online-retailers/|tựa đề=Split Testing Guide for Online Stores|ngày=August 27, 2012|nhà xuất bản=webics.com.au|ngày truy cập=2012-08-28}}</ref> nhưng không phải lúc nào cũng vậy. Trong các thử nghiệm này, người dùng chỉ thấy một trong hai phiên bản, vì mục đích là để phát hiện phiên bản nào thích hợp hơn.<ref name=":3">{{Chú thích tạp chí|last=Kaufman|first=Emilie|date=2014|title=On the Complexity of A/B Testing|url=http://proceedings.mlr.press/v35/kaufmann14.pdf|journal=|volume=35|pages=|arxiv=1405.3224|bibcode=2014arXiv1405.3224K|via=JMLR: Workshop and Conference Proceedings}}</ref>
 
[[ Thống kê đa biến |Thử nghiệm đa biến]] hoặc [[thử nghiệm đa thức]] tương tự như thử nghiệm A/B, nhưng có thể thử nghiệm nhiều hơn hai phiên bản cùng một lúc hoặc sử dụng nhiều điều chỉnh hơn. Các thử nghiệm A/B đơn giản không hợp lệ cho các tình huống [[quan sát]], [[ Bán thử nghiệm |bán thực nghiệm]] hoặc [[phi thực nghiệm]] khác, như thường thấy với dữ liệu khảo sát, dữ liệu ngoại tuyến và các hiện tượng phức tạp hơn khác.
 
Thử nghiệm A/B đã được một số người tiếp thị như là một sự thay đổi trong triết lý và chiến lược kinh doanh trong một số lĩnh vực nhất định, mặc dù cách tiếp cận giống hệt với [[Thiết kế giữa nhóm|thiết kế giữa các đối tượng]], thường được sử dụng trong nhiều truyền thống nghiên cứu.<ref name="wired">{{Chú thích web|url=https://www.wired.com/business/2012/04/ff_abtesting/|tựa đề=The A/B Test: Inside the Technology That's Changing the Rules of Business &#124; Wired Business|tác giả=Christian|tên=Brian|ngày=2000-02-27|website=Wired.com|ngày truy cập=2014-03-18}}</ref><ref>{{Chú thích web|url=https://www.wired.com/wiredenterprise/2012/05/test-everything/|tựa đề=Test Everything: Notes on the A/B Revolution &#124; Wired Enterprise|tác giả=Christian|tên=Brian|website=Wired.com|ngày truy cập=2014-03-18}}</ref><ref>{{Chú thích web|url=http://boingboing.net/2012/04/26/ab-testing-the-secret-engine.html|tựa đề=A/B testing: the secret engine of creation and refinement for the 21st century|tác giả=Cory Doctorow|ngày=2012-04-26|nhà xuất bản=Boing Boing|ngày truy cập=2014-03-18}}</ref> Thử nghiệm A/B như một triết lý phát triển web đưa lĩnh vực này cùng hàng với một sự chuyển đổi rộng hơn theo hướng [[ Thực hành dựa trên bằng chứng |thực hành dựa trên bằng chứng]]. Lợi ích của thử nghiệm A/B được xem là nó có thể được thực hiện liên tục trên hầu hết mọi thứ, đặc biệt là vì hầu hết các phần mềm tự động hóa tiếp thị hiện nay thường đi kèm với khả năng chạy thử nghiệm A/B liên tục.
 
=== Thống kê phép thử phổ biến ===
"Phép thử giả thuyết hai mẫu" thích hợp để so sánh hai mẫu, trong đó các mẫu được chia cho hai trường hợp điều chỉnh trong thử nghiệm. [[Phép thử Z]] thích hợp để so sánh các phương tiện trong các điều kiện nghiêm ngặt về tính chuẩn và độ lệch chuẩn đã biết. [[Phép thử t của Student]] thích hợp để so sánh các phương tiện trong điều kiện thoải mái khi giả định ít hơn. [[Phép thử t của Welch]] giả định ít nhất và do đó là phép thử được sử dụng phổ biến nhất trong [[Kiểm định giả thuyết thống kê|kiểm định giả thuyết]] hai mẫu, trong đó giá trị trung bình của một số liệu được tối ưu hóa. Trong khi giá [[Số bình quân|trị trung bình]] của biến được tối ưu hóa là lựa chọn phổ biến nhất của [[ước lượng]], thì những cái khác thường được sử dụng.
 
Để so sánh hai [[phân phối nhị thức]] chẳng hạn như [[CTR|tỷ lệ nhấp,]] người ta sẽ sử dụng [[phép thử chính xác của Fisher]].
| [[Doanh thu trung bình trên một khách hàng|Doanh thu trung bình trên mỗi người dùng]]
| Phép thử t của Welch (Phép thử t độc lập)
| [[ Bài kiểm tra t của sinh viên |Phép thử t của Student]]
|-
| [[Phân phối nhị thức|Nhị thức]]
| Phép thử C
|-
| [[ Phân phối đa thức |Đa thức]]
| Số lượng mỗi sản phẩm đã mua
| [[Kiểm định chi bình phương]]
|
| [[Phép thử Mann – Whitney U]]
| [[ Lấy mẫu Gibbs |Lấy mẫu Gibbs]]
|}
 
== Lịch sử ==
Giống như hầu hết các lĩnh vực khác, việc xác định ngày ra đời của một phương pháp mới là rất khó. Thử nghiệm với các chiến dịch quảng cáo, hay được so sánh với thử nghiệm A/B hiện đại, đã bắt đầu vào đầu thế kỷ XX.<ref>[https://www.convertize.com/what-is-ab-testing/ "What is A/B Testing."] Convertize. Retrieved 2020-01-28.</ref> Nhà tiên phong quảng cáo [[ Claude C. Hopkins |Claude Hopkins]] đã sử dụng phiếu giảm giá khuyến mại để thử nghiệm tính hiệu quả của các chiến dịch của mình. Tuy nhiên, quá trình này, mà Hopkins đã mô tả trong [[ Quảng cáo Khoa học |Scientific Advertising]] của mình, thì không kết hợp các khái niệm như [[ý nghĩa thống kê]] và [[giả thuyết không]], cái hay được sử dụng trong [[kiểm định giả thuyết thống kê]].<ref>[https://www.investors.com/news/management/leaders-and-success/claude-hopkins-scientific-advertising-bio/ "Claude Hopkins Turned Advertising Into A Science."] Retrieved 2019-11-01.</ref> Các phương pháp thống kê hiện đại để đánh giá mức độ quan trọng của dữ liệu mẫu đã được phát triển riêng rẽ trong cùng thời kỳ. Công việc này được thực hiện năm 1908 bởi [[ William Sealy Gosset |William Sealy Gosset]] khi ông thay đổi [[phép thử Z]] để tạo ra [[phép thử của Student]].<ref>{{Chú thích web|url=http://blog.gembaacademy.com/2007/06/20/how-beer-influenced-statistics/|tựa đề=Brief history and background for the one sample t-test}}</ref><ref>{{Chú thích tạp chí|last=Box|first=Joan Fisher|date=1987|title=Guinness, Gosset, Fisher, and Small Samples|journal=Statistical Science|volume=2|issue=1|pages=45–52|doi=10.1214/ss/1177013437|doi-access=free}}</ref>
 
Với sự phát triển của Internet, đã có những cách mới để lấy mẫu quần thể. Các kỹ sư của Google đã chạy thử nghiệm A/B đầu tiên của họ vào năm 2000 với nỗ lực xác định số lượng kết quả tối ưu để hiển thị trên trang kết quả của công cụ tìm kiếm.<ref name=":0">{{Chú thích web|url=http://www.pardot.com/blog/abcs-ab-testing/|tựa đề=The ABCs of A/B Testing - Pardot|website=Pardot|ngôn ngữ=en-US|ngày truy cập=2016-02-21}}</ref> Thử nghiệm đầu tiên không thành công do trục trặc dẫn đến thời gian tải chậm. Nghiên cứu thử nghiệm A/B sau này sẽ nâng cao hơn, nhưng nền tảng và các nguyên tắc cơ bản nói chung vẫn giữ nguyên, và vào năm 2011, 11 năm sau thử nghiệm đầu tiên của Google, Google đã chạy hơn 7.000 thử nghiệm A/B khác nhau.
 
Năm 2012, một nhân viên của Microsoft làm việc trên công cụ tìm kiếm Bing đã tạo ra một thử nghiệm để kiểm tra các cách hiển thị tiêu đề quảng cáo khác nhau. Trong vòng vài giờ, định dạng thay thế đã tạo ra doanh thu tăng 12% mà không ảnh hưởng đến chỉ số trải nghiệm người dùng.<ref name=":1">{{Chú thích tạp chí|last=Kohavi|first=Ron|last2=Thomke|first2=Stefan|date=September 2017|title=The Surprising Power of Online Experiments|url=https://hbr.org/2017/09/the-surprising-power-of-online-experiments|journal=Harvard Business Review|pages=74–82}}</ref> Ngày nay, các công ty như Microsoft và Google đều tiến hành hơn 10.000 thử nghiệm A/B mỗi năm.
 
Nhiều công ty hiện sử dụng phương pháp tiếp cận "thử nghiệm được thiết kế" để đưa ra quyết định tiếp thị, với kỳ vọng rằng kết quả mẫu có liên quan có thể cải thiện kết quả chuyển đổi tích cực.<ref>{{Chú thích web|url=https://www.omniconvert.com/conversion-rate-optimization-cro-guide|tựa đề=The Complete Guide To Conversion Rate Optimization|nhà xuất bản=Omniconvert|ngày truy cập=2017-01-05}}</ref> Đó là một thực tế ngày càng phổ biến khi các công cụ và chuyên môn phát triển trong lĩnh vực này.  
 
== Ví dụ ==
Một công ty có [[cơ sở dữ liệu]] khách hàng gồm 2.000 người quyết định tạo chiến dịch email có mã giảm giá để tạo doanh số bán hàng thông qua trang web của mình. Họ tạo ra hai phiên bản email với lời kêu gọi hành động khác nhau (phần sẽ khuyến khích khách hàng làm điều gì đó - trong trường hợp chiến dịch bán hàng thì là mua hàng) và xác định mã khuyến mại.
 
* Đối với 1.000 người, họ gửi email với lời kêu gọi hành động rằng "Ưu đãi sẽ kết thúc vào thứ Bảy tuần này! Sử dụng mã A1",
* và cho 1.000 người khác, họ gửi email với lời kêu gọi hành động rằng "Ưu đãi sắp kết thúc! Sử dụng mã B1”.
 
Tất cả các yếu tố khác và bố cục của email đều giống hệt nhau. Sau đó, công ty sẽ theo dõi chiến dịch nào có tỷ lệ thành công cao hơn bằng cách phân tích việc sử dụng các mã khuyến mại. Email sử dụng mã A1 có [[ Tỷ lệ phản hồi (khảo sát) |tỷ lệ phản hồi]] 5% (50 trong số 1.000 người được gửi email đã sử dụng mã để mua sản phẩm), và email sử dụng mã B1 có tỷ lệ phản hồi 3% (30 người nhận đã sử dụng mã để mua một sản phẩm). Do đó công ty xác định rằng trong trường hợp này, lời kêu gọi hành động đầu tiên hiệu quả hơn và sẽ sử dụng nó trong các đợt bán hàng trong tương lai. Một cách tiếp cận sắc thái hơn sẽ liên quan đến việc áp dụng kiểm định thống kê để xác định xem sự khác biệt về tỷ lệ phản hồi giữa A1 và B1 có [[Ý nghĩa thống kê|ý nghĩa thống kê hay không]] (nghĩa là, rất có thể sự khác biệt là thật, có thể lặp lại, và không phải do cơ hội ngẫu nhiên).<ref>{{Chú thích web|url=https://developer.amazon.com/public/apis/manage/ab-testing/doc/math-behind-ab-testing|tựa đề=The Math Behind A/B Testing|tác giả=Amazon.com|url lưu trữ=https://web.archive.org/web/20150921174256/https://developer.amazon.com/public/apis/manage/ab-testing/doc/math-behind-ab-testing|ngày lưu trữ=2015-09-21|ngày truy cập=2015-04-12}}</ref>
 
Trong ví dụ trên, mục đích của thử nghiệm là xác định đâu là cách hiệu quả hơn để khuyến khích khách hàng mua hàng. Tuy nhiên, nếu mục đích của thử nghiệm là xem email nào sẽ tạo ra [[CTR|tỷ lệ nhấp]] cao hơn, tức là số người thực sự nhấp vào trang web sau khi nhận được email, thì kết quả có thể sẽ khác.
 
Ví dụ: mặc dù nhiều khách hàng nhận được mã B1 đã truy cập vào trang web, vì lời kêu gọi hành động không nêu rõ ngày kết thúc của chương trình khuyến mại, nhiều người trong số họ có thể không cần phải mua hàng ngay lập tức. Do đó, nếu mục đích của thử nghiệm chỉ đơn giản là xem email nào sẽ mang lại nhiều lưu lượng truy cập hơn cho trang web, thì email chứa mã B1 có thể đã thành công hơn. Thử nghiệm A/B nên có kết quả xác định có thể đo lường được chẳng hạn như số lần bán hàng đã được thực hiện, chuyển đổi tỷ lệ nhấp hoặc số người đăng ký.<ref>{{Chú thích tạp chí|last=Kohavi|first=Ron|last2=Longbotham, Roger|last3=Sommerfield, Dan|last4=Henne, Randal M.|year=2009|title=Controlled experiments on the web: survey and practical guide|url=https://ai.stanford.edu/~ronnyk/2009controlledExperimentsOnTheWebSurvey.pdf|journal=Data Mining and Knowledge Discovery|location=Berlin|publisher=Springer|volume=18|issue=1|pages=140–181|doi=10.1007/s10618-008-0114-1|issn=1384-5810}}</ref>
 
=== Thử nghiệm A/B chính trị ===
Thử nghiệm A/B được nhiều tập đoàn sử dụng cho hơn, nhưng cũng đang thúc đẩy các chiến dịch chính trị. Năm 2007, chiến dịch tranh cử tổng thống của [[Barack Obama]] đã sử dụng thử nghiệm A/B như một cách để thu hút sự chú ý trực tuyến và hiểu những gì cử tri muốn thấy từ ứng cử viên tổng thống.<ref name=":424">{{Chú thích sách|url=https://books.google.com/books?id=VfVvAAAAQBAJ&lpg=PT6&dq=A/B%20Testing&pg=PT13#v=onepage|title=A / B Testing: The Most Powerful Way to Turn Clicks Into Customers|last=Siroker|first=Dan|last2=Koomen|first2=Pete|date=2013-08-07|publisher=John Wiley & Sons|isbn=978-1-118-65920-5|language=en}}</ref> Ví dụ: nhóm của Obama đã thử nghiệm bốn nút riêng biệt trên trang web của họ để khiến người dùng đăng ký nhận bản tin. Ngoài ra, nhóm đã sử dụng sáu hình ảnh đi kèm khác nhau để thu hút người dùng. Thông qua thử nghiệm A/B, nhân viên có thể xác định cách thu hút cử tri một cách hiệu quả và thu hút thêm sự quan tâm.
 
== Phân khúc và nhắm mục tiêu ==
Thử nghiệm A/B thường áp dụng cùng một biến thể (ví dụ: phần tử giao diện người dùng) với xác suất như nhau cho tất cả người dùng. Tuy nhiên, trong một số trường hợp, phản hồi đối với các biến thể có thể không đồng nhất. Có nghĩa là, trong khi biến thể A có thể có tỷ lệ phản hồi tổng thể cao hơn, thì biến thể B có thể có tỷ lệ phản hồi thậm chí cao hơn trong một phân khúc cơ sở khách hàng cụ thể.<ref>{{Chú thích web|url=http://online-behavior.com/testing/advanced-ab-testing-tactics-1356|tựa đề=Advanced A/B Testing Tactics That You Should Know &#124; Testing & Usability|nhà xuất bản=Online-behavior.com|ngày truy cập=2014-03-18}}</ref>
 
Chẳng hạn, trong ví dụ trên, phân tích tỷ lệ phản hồi theo giới tính có thể là:
| {{Sfrac|5|500}} (1%)
|}
Trong trường hợp này, chúng ta có thể thấy rằng trong khi biến thể A có tỷ lệ phản hồi tổng thể cao hơn, thì biến thể B thực sự có tỷ lệ phản hồi cao hơn với nam giới.
 
Do đó, công ty có thể chọn một chiến lược phân khúc là kết quả của thử nghiệm A/B, gửi biến thể B cho nam giới và biến thể A cho nữ giới trong tương lai. Trong ví dụ này, chiến lược được phân khúc sẽ làm tăng tỷ lệ phản hồi dự kiến từ <math display="inline">5\% = \frac{40 + 10}{500 + 500}</math> đến <math display="inline">6.5\% = \frac{40 + 25}{500+500}</math> - tăng 30%.
 
Điều quan trọng cần lưu ý là nếu mong đợi kết quả được phân khúc từ thử nghiệm A/B thì ngay từ đầu, thử nghiệm phải được thiết kế phù hợp để phân bổ đồng đều trên các thuộc tính khách hàng chính, chẳng hạn như giới tính. Tức là, thử nghiệm phải có cả (a) chứa một [[mẫu đại diện]] là nam và nữ và (b) chỉ định nam và nữ một cách ngẫu nhiên cho mỗi “biến thể” (biến thể A so với biến thể B). Nếu không làm như vậy có thể dẫn đến [[Thiên kiến|sai lệch]] thử nghiệm và kết luận không chính xác được rút ra từ thử nghiệm.<ref>{{Chú thích web|url=http://drjasondavis.com/2013/09/12/eight-ways-youve-misconfigured-your-ab-test/|tựa đề=Eight Ways You've Misconfigured Your A/B Test|ngày=2013-09-12|nhà xuất bản=Dr. Jason Davis|ngày truy cập=2014-03-18}}</ref>
 
Cách tiếp cận phân khúc và nhắm mục tiêu này có thể được tổng quát hóa hơn nữa để bao gồm nhiều thuộc tính khách hàng thay vì một thuộc tính khách hàng duy nhất, ví dụ: tuổi ''và'' giới tính của khách hàng, để xác định các mẫu sắc thái hơn có thể tồn tại trong kết quả thử nghiệm.
 
== Xem thêm ==
 
* [[Điều khiển thích nghi]]
* [[ Mô hình lựa chọn |Mô hình lựa chọn]]
* [[Tên cướp nhiều tay]]
* [[Thử nghiệm đa biến]]
* [[Thử nghiệm ngẫu nhiên có kiểm soát]]
* [[ Kiểm soát khoa học |Kiểm soát khoa học]]
* [[Thống kê thử nghiệm]]
 
== Tham khảo ==
{{Tham khảo|2}}
[[Thể loại:Pages with unreviewed translations]]
 
[[Thể loại:Thí nghiệm]]
[[Thể loại:Nghiên cứu thị trường]]