Cloudflare vừa kêu gọi Google tách bot thu thập dữ liệu phục vụ AI Overview khỏi bot dùng cho lập chỉ mục tìm kiếm truyền thống. Động thái này nhằm giúp các website dễ dàng kiểm soát việc quét dữ liệu AI mà không ảnh hưởng tới vị trí SEO, nhưng vấp phải nhiều ý kiến trái chiều.

Cloudflare đề nghị Google phân chia bot crawl AI và bot tìm kiếm

Theo phản hồi từ CEO Cloudflare Matthew Prince, công ty đang tích cực kêu gọi Google cung cấp cách tách biệt bot thu thập dữ liệu dành cho AI Overview với bot lập chỉ mục tìm kiếm thông thường. Đề xuất này được đưa ra sau khi Cloudflare thử nghiệm các tính năng cho phép website chặn bot AI hoặc thu phí khi bị thu thập dữ liệu.

Lý do Cloudflare yêu cầu Google tạo bot riêng cho AI Overview

Nhiều chủ website cũng như chuyên gia SEO lo ngại sẽ ảnh hưởng đến thứ hạng trên Google nếu chặn bot AI để tránh dữ liệu bị dùng cho AI Overview.
Các nhà quản trị website muốn giữ quyền kiểm soát dữ liệu đối với AI.
Tranh luận nổi lên trong cộng đồng công nghệ về tính khả thi của việc tách bot này.

Phản ứng của Cloudflare và khả năng thúc đẩy pháp lý

Trước những băn khoăn của cộng đồng, CEO Matthew Prince cho biết Cloudflare đang có các cuộc trao đổi "khích lệ" với Google, nhằm thúc đẩy việc tách crawler AI và crawler tìm kiếm. Nếu không đạt được thỏa thuận, Cloudflare cũng cân nhắc thúc đẩy xây dựng pháp luật bắt buộc các nền tảng lớn phải công khai và chia nhỏ các bot này.

Các ý kiến trái chiều xung quanh sáng kiến của Cloudflare

Băn khoăn về tác động lên cộng đồng và các dự án phi lợi nhuận

Một số ý kiến lo ngại hệ thống khóa bot AI của Cloudflare có thể ảnh hưởng đến các hoạt động crawl dữ liệu phi lợi nhuận, nghiên cứu học thuật hay các dự án lưu trữ như The Internet Archive.
Nguy cơ bị hạn chế các dịch vụ kiểm tra bảo mật hoặc nghiên cứu khi các website dựng tường chặn ở diện rộng.

Phản ứng từ Google và ngành công nghệ

Google không xác nhận thông tin về các cuộc trao đổi hoặc khả năng phân tách bot. Những công ty tìm kiếm khác, với tính năng AI tích hợp, cũng sử dụng cùng một loại bot cho cả training AI và lập chỉ mục tìm kiếm. Điều này cho thấy nếu Cloudflare đẩy mạnh đề xuất luật pháp, các hãng công nghệ lớn sẽ khó đồng thuận.

Các tranh cãi và ảnh hưởng tiềm năng

Sáng kiến của Cloudflare đang gây tranh luận giữa các bên liên quan về lợi ích kiểm soát dữ liệu AI cho website và nguy cơ cản trở truy cập hợp pháp, lợi ích cho cộng đồng mạng.

Cloudflare đang gây sức ép để Google tách riêng các bot thu thập dữ liệu dành cho AI Overview và lập chỉ mục tìm kiếm. Đề xuất này hướng tới việc tăng quyền kiểm soát của website với dữ liệu và AI, song còn vấp phải nhiều ý kiến lo ngại về ảnh hưởng đối với các dịch vụ phi lợi nhuận và nghiên cứu.

Nội dung về "googlebot"