ab-test-plan
ใช้ตอนไหน
อยากทดสอบว่าเวอร์ชันไหนดีกว่ากันแบบมีหลักฐาน
ขั้นตอน
- ตั้งสมมติฐาน: เปลี่ยน X คาดว่า Y เพราะ Z
- เลือก metric หลัก + ตัวแปรที่ทดสอบ
- คำนวณ sample size + ระยะเวลา
- กำหนดเกณฑ์ตัดสิน (significance) ก่อนเริ่ม
เทมเพลต / โครงผลลัพธ์
สมมติฐาน / ตัวแปร(control vs variant) / metric / sample size / ระยะเวลา / เกณฑ์
เคล็ดลับ
- ทดสอบทีละตัวแปรถึงจะรู้สาเหตุ
- อย่าหยุดเทสกลางคันเพราะตัวเลขดูดี (peeking)