Cào bài forum theo từ khóa
Thu thập bài đăng mới trong N giờ qua trên 7 forum, lọc theo từ khóa, ghi vào sheet
Thống kê cmt forum (cột A = tên forum, cột B = link bài). Đây là bước đầu vào cho
skill tao-cmt (viết comment seeding cho từng bài).
Quy trình
Bước 1 — Cào
node scripts/cao-crawl.js \
--hours 24 --keyword iphone --out <scratchpad>/cao-<ngày>.json
--hoursmặc định 24.--keywordnhận nhiều từ, cách nhau bằng dấu phẩy (--keyword "iphone,ios") — khớp khi tiêu đề chứa bất kỳ từ nào.--sites tinhte.vn,vnreview.vnđể chỉ chạy vài forum.- Script in ra bảng tóm tắt theo forum + danh sách bài, và ghi JSON đầy đủ.
- Một site chết KHÔNG làm hỏng cả lượt chạy — nó xuất hiện ở mục "Cần chú ý".
Báo lại cho user bảng đếm theo forum trước khi ghi sheet.
Bước 2 — Ghi sheet (luôn chạy --dry-run trước)
node scripts/cao-sheet.js \
--in <scratchpad>/cao-<ngày>.json --dry-run
Dry-run in ra: dòng cuối đang có dữ liệu, số bài trùng đã có trong sheet, số bài
sẽ thêm, và đúng dải ô sẽ ghi. Đưa con số này cho user xem rồi mới bỏ --dry-run.
Script chỉ ghi cột A và B, bắt đầu ngay dưới dòng cuối cùng đang có dữ liệu, không đụng vào cột nào khác và không chèn/xoá dòng.
Những điều cần biết
- Chỉ lấy bài mở chủ đề mới, không lấy comment/reply. Với XenForo, script lọc theo nhãn "Chủ đề" trong kết quả tìm kiếm.
- Chống trùng: so khớp URL đã chuẩn hoá (bỏ
www., bỏ#post-123, bỏ/cuối, giải mã%xx) với toàn bộ cột B hiện có — chạy lại nhiều lần trong ngày là an toàn. - Thứ tự ghi: cũ → mới từ trên xuống, khớp cách sheet đang được đọc.
- webtretho.com tự chuyển hướng sang webtretho.vn; cột A vẫn ghi
webtretho.comtheo đúng tên user đặt, link là domain thật.vn. - Forum vắng bài iPhone trong 24h (thường là tuxforums.com, forum.dmec.vn,
kenhsinhvien.vn) sẽ trả 0 — đó là kết quả đúng, không phải lỗi. Muốn kiểm chứng thì
chạy lại với
--hours 72. - Mỗi nguồn lấy dữ liệu bằng cửa nào, và vì sao không dùng cửa khác: xem
references/nguon-du-lieu.md.
Không thuộc phạm vi skill này
- Viết nội dung comment → skill
tao-cmt. - Viết/đăng bài lên forum hay nền tảng khác → nhóm skill
share-bai-*.