A/B Testing là gì và cách vận dụng phương pháp hiệu quả này vào chiến dịch digital marketing của bạn

Dữ liệu là quan trọng nhất trong thời gian gần đây và các leader không muốn đưa ra quyết định trừ khi họ có dẫn chứng và insight cụ thể. Đó hiển nhiên là một điều tốt, và may mắn thay, có rất nhiều cách để lấy thông tin mà không cần phải dựa vào bản năng. Một trong những phương pháp phổ biến nhất, đặc biệt là trong môi trường trực tuyến, là A/B testing.

Để hiểu rõ hơn A/B testing là gì, nó bắt nguồn từ đâu, và cách sử dụng nó, ta hãy nghe từ Kaiser Fung, người sáng lập chương trình phân tích ứng dụng tại Đại học Columbia và là tác giả của Junk Charts, một blog dành cho việc phân tích sâu các dữ liệu và đồ họa trên các phương tiện thông tin đại chúng. Cuốn sách mới nhất của anh ấy là Number Sense: How to Use Big Data to Your Advantage.

A/B testing là gì?

A/B testing hiểu đơn giản là một cách so sánh hai phiên bản của một thứ gì đó để tìm ra phiên bản nào hoạt động tốt hơn. Mặc dù phương pháp này thường gắn liền với các trang web và ứng dụng, Fung nói rằng phương pháp này gần 100 tuổi.

A/B testing là gì

Vào những năm 1920, nhà thống kê và nhà sinh vật học Ronald Fisher đã khám phá ra các nguyên lý quan trọng nhất đằng sau thử nghiệm A/B và các thử nghiệm ngẫu nhiên có kiểm soát nói chung. “Ông ấy không phải là người đầu tiên thực hiện một thí nghiệm như thế này, nhưng ông ấy là người đầu tiên hiểu được các nguyên tắc cơ bản và toán học và tích hợp chúng thành một môn nghiên cứu” Fung nói.

Fisher tiến hành các thí nghiệm nông nghiệp, đặt ra những câu hỏi như: Điều gì xảy ra nếu tôi bón nhiều phân bón hơn trên mảnh đất này? Các nguyên tắc vẫn tồn tại và vào đầu những năm 1950, các nhà khoa học bắt đầu tiến hành các thử nghiệm lâm sàng trong y học.

Trong những năm 1960 và 1970, khái niệm này đã được các nhà tiếp thị điều chỉnh để đánh giá các chiến dịch phản hồi trực tiếp (ví dụ: gửi bưu thiếp hay thư cho khách hàng mục tiêu để mang lại nhiều doanh số hơn?).

A/B testing, ở dạng hiện tại, đã ra đời vào những năm 1990. Fung nói rằng trong suốt thế kỷ qua, các công thức đằng sau các bài kiểm tra vẫn giữ nguyên. “Đó là những khái niệm cốt lõi giống nhau, nhưng giờ đây bạn đang thực hiện nó trực tuyến, trong môi trường thời gian thực và ở quy mô khác về số lượng người tham gia và số lượng thử nghiệm.”

A/B testing hoạt động như thế nào?

Bạn bắt đầu thử nghiệm A/B bằng cách quyết định xem bạn muốn thử nghiệm cái gì. Fung đưa ra một ví dụ đơn giản: kích thước của nút đăng ký trên trang web của bạn. Sau đó, bạn cần biết bạn muốn đánh giá hiệu suất của nó như thế nào? Trong trường hợp này, giả sử số liệu của bạn là số lượng khách truy cập nhấp vào nút.

Để chạy thử nghiệm, bạn hiển thị cho hai nhóm người dùng (được chỉ định ngẫu nhiên khi họ truy cập trang web) hai phiên bản khác nhau (trong đó điểm khác biệt duy nhất là kích thước của nút) và xác định phiên bản nào ảnh hưởng nhiều nhất đến khả năng thành công của bạn. Trong trường hợp này, kích thước nút nào khiến nhiều khách truy cập nhấp vào hơn?

A/B testing hoạt động như thế nào

Thực tế, có rất nhiều thứ ảnh hưởng đến việc ai đó có nhấp chuột hay không. Ví dụ: có thể những người dùng thiết bị di động thường nhấp vào một nút có kích thước nhất định, trong khi những người trên máy tính sẽ thích một kích thước khác.

Đây là lúc sự ngẫu nhiên hóa phát huy vai trò của mình. Bằng cách sắp xếp ngẫu nhiên người dùng vào các nhóm, bạn giảm ảnh hưởng từ các yếu tố khác, như thiết bị di động so với máy tính để bàn, đến kết quả trung bình của bạn.

Fung cho biết: A/B testing có thể được coi là loại thử nghiệm ngẫu nhiên có kiểm soát cơ bản nhất. Ở dạng đơn giản nhất, có hai phương pháp giải quyết và một phương pháp có hiệu quả hơn cái còn lại.

Tương tự với tất cả các thử nghiệm ngẫu nhiên có kiểm soát khác, bạn phải ước tính kích thước mẫu mà bạn cần để đạt được ý nghĩa thống kê, điều này sẽ giúp bạn đảm bảo rằng kết quả mà bạn đang thấy không bị ảnh hưởng bởi các yếu tố bên ngoài.

Đôi khi, bạn biết rằng một số biến nhất định, thường là những biến không dễ kiểm soát có ảnh hưởng mạnh mẽ đến chỉ số thành công. Ví dụ: có thể người dùng thiết bị di động của trang web của bạn có xu hướng ít nhấp vào một yếu tố bất kỳ trên trang so với người dùng máy tính để bàn.

Việc ngẫu nhiên hóa có thể dẫn đến nhóm A chứa nhiều người dùng di động hơn một chút so với nhóm B, điều này có thể khiến nhóm A có tỷ lệ nhấp thấp hơn bất kể kích thước nút mà họ nhìn thấy. Để tạo sân chơi bình đẳng, trước tiên, nhà phân tích thử nghiệm nên phân chia người dùng theo thiết bị di động và máy tính để bàn, sau đó chỉ định ngẫu nhiên họ cho từng phiên bản.

Kích thước của nút đăng ký là một ví dụ rất cơ bản. Thực tế, bạn có thể không chỉ kiểm tra kích thước mà còn cả màu sắc, văn bản, kiểu chữ và kích thước phông chữ. Rất nhiều nhà quản lý chạy thử nghiệm tuần tự.

Ví dụ: thử nghiệm kích thước trước (lớn so với nhỏ), sau đó thử nghiệm màu sắc (xanh lam so với đỏ), sau đó thử nghiệm kiểu chữ (Times so với Arial), bởi vì họ tin rằng họ không nên thay đổi hai hoặc nhiều yếu tố cùng một lúc cùng một lúc.

Nhưng theo Fung, quan điểm đó đã bị các nhà thống kê bác bỏ. Các thử nghiệm tuần tự không tối ưu vì bạn không đo lường được điều gì sẽ xảy ra khi các yếu tố tương tác với nhau. Ví dụ: có thể người dùng nhìn chung thích màu xanh lam nhưng lại thích màu đỏ hơn khi màu này được kết hợp với Arial.

Thay vào đó, Fung nói, bạn nên chạy các thử nghiệm phức tạp hơn. Điều này có thể khó đối với một số nhà quản lý, vì điểm hấp dẫn của các thử nghiệm A/B là sự đơn giản và dễ hiểu (và nhiều người thiết kế các thử nghiệm này, Fung chỉ ra, không có nền tảng về thống kê).

Ông nói: “Với thử nghiệm A/B, ta có xu hướng muốn chạy một số lượng lớn các thử nghiệm đồng thời, độc lập,” phần lớn là do bạn có thể bị rối vì số lượng lớn các thử nghiệm kết hợp khả thi. Nhưng bằng cách sử dụng toán học, bạn có thể “chọn và chạy một cách thông minh một số tập hợp con nhất định của các phương án; sau đó bạn có thể suy ra phần còn lại từ dữ liệu.”

Đây được gọi là thử nghiệm “đa biến” trong thế giới thử nghiệm A/B và thường có nghĩa là cuối cùng bạn sẽ thực hiện thử nghiệm A/B/C hoặc thậm chí là thử nghiệm A/B/C/D.

Trong ví dụ trên về màu sắc và kích thước, điều đó có nghĩa là thử nghiệm các nhóm khác nhau: nút lớn màu đỏ, nút nhỏ màu đỏ, nút lớn màu xanh lam và nút nhỏ màu xanh lam. Nếu bạn cũng muốn thử nghiệm phông chữ, số lượng nhóm thử nghiệm sẽ còn tăng lên nhiều hơn nữa.

Làm thế nào để bạn đánh giá kết quả của một A/B testing?

Làm thế nào để đánh giá a/b testing

Rất có thể công ty của bạn sẽ sử dụng phần mềm xử lý việc tính toán và thậm chí có thể thuê một chuyên viên phân tích mới có thể giải thích những kết quả đó cho bạn. Nhưng những hiểu biết cơ bản sẽ rất hữu ích trong việc hiểu ý nghĩa của dữ liệu đầu ra và quyết định có tiếp tục với biến thể thử nghiệm hay không (nút mới trong ví dụ trên).

Fung nói rằng hầu hết các chương trình phần mềm báo cáo hai tỷ lệ chuyển đổi cho A/B testing: một cho người dùng đã xem phiên bản kiểm soát và tỷ lệ còn lại cho người dùng đã xem phiên bản thử nghiệm. Ông nói: “Tỷ lệ chuyển đổi có thể đo lường số lượt nhấp hoặc các hành động khác do người dùng thực hiện.” Báo cáo có thể trông như thế này: “Kiểm soát: 15% (+/- 2,1%) Biến thể 18% (+/- 2,3%).”

Điều này có nghĩa là 18% người dùng của bạn đã nhấp vào biến thể mới (có thể là nút màu xanh lớn hơn của bạn) với sai số là 2,3%. Bạn có thể nghĩ là tỷ lệ chuyển đổi thực tế rơi vào khoảng từ 15,7% đến 20,3%, nhưng điều đó không hoàn toàn đúng về mặt kỹ thuật.

Fung giải thích thực tế là nếu bạn chạy thử nghiệm A/B nhiều lần, thì 95% phạm vi sẽ nắm bắt được tỷ lệ chuyển đổi thực. Hay nói cách khác, sẽ có 5% số tỷ lệ chuyển đổi sẽ rơi ra ngoài phạm vi sai số, tùy vào ý nghĩa thống kê mà bạn đã thiết lập

Nếu bạn thấy khó hiểu, nhiều người cũng vậy. Điều quan trọng cần biết là tỷ lệ chuyển đổi 18% không phải con số đúng hoàn toàn nhưng vẫn có thể giúp bạn đưa ra quyết định. Tỷ lệ chuyển đổi 18% chắc chắn tốt hơn 15%, thậm chí khi tính luôn sai số (12,9%–17,1% so với 15,7%–20,3%).

Bạn có thể nghe nhiều người nói về điều này dưới dạng “chênh lệch 3%” (chênh lệch chỉ đơn giản là khoảng cách về tỷ lệ chuyển đổi giữa phiên bản kiểm soát của bạn và phiên bản thử nghiệm thành công). Trong trường hợp này, rất có thể bạn nên quyết định chuyển sang phiên bản mới, nhưng điều đó sẽ phụ thuộc vào chi phí triển khai.

Nếu chúng thấp, bạn có thể thử chuyển đổi và xem điều gì xảy ra trong thực tế (thay vì thử nghiệm). Một trong những lợi thế lớn khi thử nghiệm trong thế giới trực tuyến là bạn thường có thể quay về bản gốc khá dễ dàng.

Các công ty sử dụng A/B testing như thế nào?

Fung nói rằng mức độ phổ biến của phương pháp này đã tăng lên khi các công ty nhận ra rằng môi trường trực tuyến rất phù hợp để giúp các nhà quản lý, đặc biệt là các nhà tiếp thị, trả lời các câu hỏi như: “Điều gì có khả năng khiến người ta nhấp chuột? Hoặc mua sản phẩm? Hay đăng ký với trang web của chúng tôi?”

Thử nghiệm A/B hiện được sử dụng để đánh giá mọi thứ, từ thiết kế trang web đến ưu đãi trực tuyến, tiêu đề đến mô tả sản phẩm.

Hầu hết các thí nghiệm này diễn ra mà đối tượng không hề hay biết. Fung nói: “Là một người dùng, chúng ta luôn bất giác là một phần của những thử nghiệm”

Và nó không chỉ dành riêng cho các trang web. Bạn cũng có thể kiểm tra email hoặc quảng cáo tiếp thị. Ví dụ: bạn có thể gửi hai phiên bản email đến danh sách khách hàng của mình (tất nhiên là chọn ngẫu nhiên danh sách trước) và tìm ra phiên bản nào tạo ra nhiều doanh thu hơn. Sau đó, bạn có thể gửi phiên bản tốt hơn vào lần tới.

Hoặc bạn có thể thử nghiệm hai phiên bản nội dung quảng cáo và xem phiên bản nào chuyển đổi khách truy cập thường xuyên hơn. Sau đó, bạn có thể dành ngân sách cho phiên bản thành công nhất.

Các công ty sử dụng a/b testing như thế nào

Những lỗi thường gặp khi thực hiện A/B testing ?

Fung cũng đã nói về những sai lầm mà anh ấy thấy các công ty mắc phải khi thực hiện thử nghiệm A/B và anh ấy đã chỉ ra 3 lỗi phổ biến:

Đầu tiên, có quá nhiều nhà quản lý không để các bài thử nghiệm diễn ra theo đúng lộ trình. Do hầu hết các phần mềm chạy các bài kiểm tra này cho phép bạn xem kết quả trong thời gian thực, các nhà quản lý muốn đưa ra quyết định quá nhanh.

Sai lầm này phát sinh từ sự thiếu kiên nhẫn và nhiều nhà cung cấp phần mềm đã lợi dụng sự háo hức quá mức này bằng cách cung cấp một loại thử nghiệm A/B có tên là “tối ưu hóa thời gian thực.” Trong đó bạn có thể sử dụng các thuật toán để vừa điều chỉnh vừa kết quả. Vấn đề là, do sự ngẫu nhiên, nếu bạn để thử nghiệm chạy tự nhiên đến khi kết thúc hẳn, bạn có thể nhận được một kết quả khác.

Sai lầm thứ hai là quá tập trung vào số liệu. Anh ấy nói: “Tôi cảm thấy rùng mình mỗi khi nhìn thấy phần mềm cố gắng làm hài lòng tất cả mọi người bằng cách cung cấp cho bạn một bảng gồm hàng trăm số liệu. Vấn đề là nếu bạn đang xem xét một số lượng lớn các chỉ số như vậy cùng một lúc, thì bạn có nguy cơ mắc phải cái mà các nhà thống kê gọi là “tương quan sai lệch”.

Trong thiết kế thử nghiệm chuẩn, bạn nên quyết định các số liệu bạn sẽ xem xét trước khi thực hiện thử nghiệm và chọn một vài số liệu. Bạn càng đo lường nhiều, bạn sẽ càng dễ thấy những biến động ngẫu nhiên. Với rất nhiều chỉ số, thay vì tự hỏi bản thân “Điều gì đang xảy ra với biến số này?” bạn đang hỏi, “Tôi đang thấy những thay đổi thú vị (và có thể không đáng kể) nào?”

Cuối cùng, Fung cho biết rằng ít công ty thực hiện đủ số lần kiểm tra lại. “Chúng ta thường thử nghiệm một lần và sau đó tin vào kết quả đó. Nhưng ngay cả khi có kết quả đáng kể về mặt thống kê, kết quả đó vẫn có thể sai. Nếu bạn không kiểm tra lại định kỳ, bạn không loại trừ khả năng sai lầm.”

Kết quả sai có thể xảy ra vì nhiều lý do. Ví dụ, mặc dù kết quả A/B testing ít khi bị ảnh hưởng bởi sự ngẫu nhiên, nếu bạn thực hiện nhiều thử nghiệm A/B, khả năng có ít nhất một kết quả sai tăng lên nhanh chóng.

Điều này có thể khó thực hiện vì nhiều khả năng các nhà quản lý sẽ nhận được kết quả trái ngược nhau. Không ai muốn phát hiện ra rằng họ đã phá hoại những phát hiện trước đó, đặc biệt là trong thế giới trực tuyến, nơi các nhà quản lý muốn thực hiện thay đổi và nắm bắt giá trị nhanh chóng.

Nhưng định hướng về giá trị này có thể sai lệch. Fung cho biết: “Mọi người không cảnh giác lắm về giá trị thực tế của những phát hiện. Họ muốn tin rằng mọi cải tiến nhỏ đều có giá trị ngay cả khi kết quả kiểm tra không hoàn toàn đáng tin cậy. Trên thực tế, mức độ cải thiện càng ít thì kết quả càng kém tin cậy”

Rõ ràng là A/B testing không phải là thuốc chữa bách bệnh. Có nhiều loại thí nghiệm phức tạp hơn, hiệu quả hơn và sẽ cung cấp cho bạn dữ liệu đáng tin cậy hơn, Fung nói. Nhưng A/B testing là một cách tuyệt vời để hiểu nhanh về câu hỏi mà bạn có. Cuối cùng, điều tốt về thế giới A/B testing là mọi thứ diễn ra rất nhanh, vì vậy nếu bạn chạy nó và nó không hoạt động, bạn có thể thử cách khác. Hoặc bạn luôn có thể quay lại chiến thuật cũ.

Đọc thêm: Cách chọn vị trí hiển thị quảng cáo Facebook phù hợp.

Lời kết

Chúng tôi mong rằng bạn có thể vận dụng phương pháp a/b testing một cách thuần thục qua thông tin từ bài viết này. Nếu bạn muốn tìm hiểu thêm kiến thức về marketing, hãy tiếp tục đón đọc những bài viết trên trang web On Digitals. Hãy liên hệ ngay On Digitals để tìm hiểu thêm về các dịch vụ marketing và cách bạn có thể phát triển thương hiệu của mình cùng chúng tôi.