Khi dữ liệu im lặng: báo cáo tuyển trạch trống và cái bẫy mang tên 'không rủi ro'

Tháng Giêng ở Berlin. Một giám đốc thể thao của câu lạc bộ Bundesliga đẩy về phía tôi tập báo cáo bốn mươi trang. Hai mục tiêu đầu đầy ắp số liệu. Mục tiêu thứ ba — một tiền đạo mà ông mới xem qua ba đoạn video — để trống gần hết: cột chỉ số pressing trống, cột quãng đường chạy tốc độ cao trống, cột lịch sử chấn thương trống. Ở góc phải trang tổng hợp, phần đánh giá rủi ro ghi đúng một dòng: không phát hiện cờ đỏ. Ông đọc dòng ấy như một lời khen, rồi hỏi tôi vì sao không chốt luôn. Tôi mất hai mươi phút để giải thích một điều đơn giản: bản báo cáo đó chưa từng kiểm tra anh ta. Nó chỉ chưa tìm được gì để nói.

Đó là khoảnh khắc tôi nhận ra nghề của mình có một loại lỗi nguy hiểm hơn cả lỗi sai. Lỗi sai thì người ta sửa. Loại lỗi này in ra giấy trông hoàn hảo, đi qua ba tầng kiểm duyệt mà không ai giật mình, và cuối cùng được đọc thành một sự bảo chứng.

Bối cảnh: một dây chuyền sinh ra sự im lặng

Tôi làm quản trị viên thị trường chuyển nhượng cho một công ty tư vấn ở Berlin, sau mười sáu năm quan sát ngành từ ghế khán giả cho tới ghế phân tích. Mỗi báo cáo chúng tôi sản xuất đều đi qua hai tầng. Tầng thứ nhất trích xuất dữ liệu thô: số phút thi đấu, chỉ số hành vi, hợp đồng, lịch sử chấn thương, nguồn tin. Tầng thứ hai mới dựng khung phân tích trên phần dữ liệu đó. Nghe thì đơn giản, nhưng toàn bộ giá trị nằm ở tầng thứ nhất, và đó cũng là tầng dễ chết nhất.

Tầng trích xuất chết vì rất nhiều lý do nhàm chán: trang nguồn chặn thu thập tự động, trang nguồn nạp nội dung bằng JavaScript nên công cụ chỉ nhìn thấy một khung rỗng, bảng mã ký tự lệch khiến tên cầu thủ có dấu bị nuốt mất, hoặc lược đồ dữ liệu đầu vào đổi cấu trúc mà không ai cập nhật ánh xạ. Trong mọi trường hợp đó, hệ thống vẫn chạy tiếp. Nó không báo lỗi. Nó trả về một cấu trúc đúng hình dạng, đầy đủ tiêu đề mục, chỉ thiếu ruột.

Và đây mới là phần nguy hiểm: khung rỗng trông gần giống khung đầy. Nó có mục "phân tích chấn thương", có mục "rủi ro hợp đồng", có mục "đối chiếu chỉ số dài hạn". Người đọc lướt qua thấy đủ mục thì tin rằng đủ việc đã được làm. Cái khung tự nó trở thành một lời trấn an. Tôi đã từng nhận những tập hồ sơ mà cả chín chiều phân tích đều ghi "chưa đủ thông tin" ở từng ô, nhưng vì bố cục quá ngay ngắn nên không ai trong phòng họp đọc ra rằng nó chưa kiểm tra gì cả.

Mùa hè sân trống, tôi nghe thấy dữ liệu rơi từng giọt. Dữ liệu tốt không rơi thành tiếng. Chỉ có dữ liệu rơi vãi mới phát ra âm thanh khô khốc của một ô trống bị bỏ quên.

Điểm cốt lõi: một ô trống không phải là một kết luận an toàn

Phát hiện rủi ro âm và dữ liệu rỗng là hai thứ hoàn toàn khác nhau, nhưng chúng in ra giấy giống hệt nhau.

Một phát hiện âm có nội dung như thế này: chúng tôi đã đối chiếu mô hình hồi quy trên một nghìn bốn trăm điểm dữ liệu, khoảng tin cậy đủ hẹp, kết luận là rủi ro ở mức thấp. Một dữ liệu rỗng thì nói: chúng tôi chưa lấy được gì. Cả hai đều dẫn tới cùng một dòng chữ cuối trang — "không có cờ đỏ" — và chỉ một trong hai dòng chữ đó có cơ sở.

Vào mùa hè năm hai mươi hai, tôi nhận một nhiệm vụ định giá ba mục tiêu cho một câu lạc bộ Bundesliga: một ngôi sao bùng nổ ở một giải đấu lớn nhưng chỉ đá sáu trận, một tiền đạo Ligue 1 ghi trung bình 0,52 bàn kỳ vọng mỗi trận suốt ba mùa, và một hậu vệ vừa trở lại sau chấn thương dài hạn. Tôi từ chối ánh sáng giải đấu ngắn ngày. Tôi dựng mô hình trên một nghìn bốn trăm điểm dữ liệu và chọn tiền đạo Ligue 1 — lựa chọn bị ban lãnh đạo gọi là nhàm chán. Ba tháng sau, ngôi sao kia chấn thương, hậu vệ kia trượt phong độ, tiền đạo được chọn ghi mười bốn bàn.

Câu chuyện đó thường được kể như một chiến thắng của mô hình. Tôi kể nó vì một lý do khác. Điều làm nên khác biệt không nằm ở thuật toán, mà ở chỗ cả ba mục tiêu đều có dữ liệu dài hạn để đọc. Nếu hồ sơ của mục tiêu thứ hai cũng để trống cột hiệu suất theo phút, tôi sẽ không có cơ sở để từ chối ai cả. Tôi sẽ chỉ đứng trước ba tấm bìa trắng và gọi cái trắng nhất là an toàn nhất.

Chuyển nhượng không phải là mua người, mà là mua một phân phối xác suất. Khi phân phối đó rỗng, cái bạn đang mua không phải là rủi ro thấp — mà là sự mù mờ được dán nhãn rủi ro thấp.

Chuỗi bằng chứng: những lần dữ liệu đã ở đó nhưng không ai đọc

Năm tôi hai mươi ba tuổi, tôi viết bài phản đối việc Hannover 96 sa thải huấn luyện viên của họ, dựa trên bàn thắng kỳ vọng. Ban biên tập gọi tôi ngây thơ. Hannover giành mười một điểm trong năm vòng cuối và trụ hạng. Số liệu đã nằm sẵn trong cơ sở dữ liệu công khai. Vấn đề duy nhất là nó chưa được nạp vào quy trình ra quyết định của câu lạc bộ.

Một năm sau, tôi chỉ ra chỉ số PPDA của đội tuyển Đức ở mức 8,7 — nghĩa là đối thủ chỉ cần 8,7 đường chuyền để vượt qua một pha phòng ngự của họ, một con số thảm họa với một đội vô địch thế giới. Tôi dự đoán Đức bị loại từ vòng bảng. Kết quả ứng nghiệm. Nhưng điều đáng nói là chỉ số ấy không hề bí mật. Nó nằm trong mọi bảng thống kê công khai. Cả một phòng tin tức đã nhìn vào một ô có số và đọc nó thành một ô trống.

Rồi đến trận Saudi Arabia thắng Argentina 2-1. Tôi dành bài viết để mổ xẻ cái bẫy việt vị khiến Argentina mất bốn bàn, và cách hàng tiền vệ của họ bị pressing tầm cao đè bẹp. Một câu lạc bộ Bundesliga dùng bài đó làm tài liệu tuyển trạch. Không có phép màu nào ở đây. Chỉ có một bộ dữ liệu đầy đủ và một người chịu ngồi đọc nó tới cùng.

Ngược lại, tôi từng nhận một hồ sơ tuyển trạch về một tuyển thủ trẻ mà toàn bộ phần chỉ số hành vi trong giao tranh đều trống. Lý do là giải đấu của cậu ấy không được nền tảng dữ liệu phổ biến thu thập. Câu lạc bộ đọc phần trống đó thành "không có vấn đề gì". Tôi phải nói thẳng: chúng ta biết đúng một điều về cậu ấy, và điều đó là chúng ta không biết gì về cậu ấy.

Hệ số phân rã — cách tôi đo phong độ như một đại lượng suy giảm theo thời gian — cũng vấp phải đúng cái bẫy đó. Năm hai mươi mươi, khi mùa giải đóng băng, tôi ngồi xem lại toàn bộ hai trăm sáu mươi ba trận Bundesliga. Tỉ lệ thắng sân nhà rơi từ 46 phần trăm xuống 29 phần trăm khi không có khán giả. Riêng Union Berlin, đội nổi tiếng với bức tường cổ động Mauer-Kultur, đánh mất tới 61 phần trăm số điểm so với khi có khán giả. Dữ liệu ấy tồn tại. Nó chỉ không tự bò lên bàn ai cả. Nó cần hai trăm sáu mươi ba trận đấu bị xem hết, và suýt nữa thì tôi cũng đã bỏ qua nó.

Có một lần tôi theo dõi bốn trận của Đan Mạch sau sự cố trên sân ở một kỳ EURO, và phát hiện PPDA của họ giảm từ 11,2 xuống 9,8, tức là họ áp sát nhanh hơn, còn quãng đường chạy tốc độ cao tăng bảy phần trăm. Tôi gọi đó là sự gắn kết sau chấn thương tâm lý được đo bằng số liệu. Nhưng để viết được câu đó, tôi phải có dữ liệu sprint của từng trận. Nếu nền tảng dữ liệu hôm ấy chết, tôi sẽ không được phép viết "tinh thần chiến đấu" thay cho chỉ số. Bịa một tính từ không khó. Bịa một tính từ rồi gọi nó là phân tích mới là thứ phá hủy cả một nghề.

Mọi cuộc khủng hoảng đều là dữ liệu chưa được dán nhãn. Nhưng một cuộc khủng hoảng không có dữ liệu thì không phải là khủng hoảng nhỏ. Nó chỉ là cuộc khủng hoảng chưa ai nhìn thấy.

Cái bẫy im lặng trong vận hành hằng ngày

Trong môi trường thể thao điện tử, dây chuyền này còn mong manh hơn. Bản cập nhật cân bằng, tỉ lệ cấm chọn, tỉ lệ thắng theo bản đồ, chỉ số hiệu suất cá nhân — tất cả đều phụ thuộc vào các nền tảng thống kê bên thứ ba. Khi một nền tảng đổi giao diện hoặc chặn thu thập tự động, một cột chỉ số biến mất khỏi báo cáo. Huấn luyện viên vẫn nhận đủ mục, vẫn thấy đủ tiêu đề, vẫn ký duyệt. Đội hình vẫn được chốt. Chỉ có điều quyết định ấy dựa trên một nửa sự thật.

Những lỗi tôi từng gặp và cách nhận diện chúng đều thuộc loại kiểm tra được bằng tay trong vài phút. Trạng thái phản hồi của máy chủ nguồn: nếu là lỗi chặn truy cập thì cả trang chết, còn nếu là lỗi nạp động thì trang sống nhưng ruột rỗng. Mục tiêu trích xuất trong cấu trúc trang: nếu bộ chọn trỏ vào một nút không còn tồn tại sau lần đổi giao diện, hệ thống sẽ trả về danh sách trắng. Bảng mã ký tự: tên cầu thủ có dấu bị nuốt là dấu hiệu đầu tiên. Và cuối cùng là ánh xạ lược đồ: nếu trường dữ liệu đổi tên mà không ai cập nhật, mọi giá trị sẽ đổ về ô trống trong im lặng.

Vì thế tôi áp một quy tắc cứng cho chính mình: hai nguồn độc lập xác nhận thì mới được công bố. Không có nguồn thứ hai thì ô đó phải ghi rõ là chưa kiểm chứng, chứ không được để trắng. Một ô trắng vô tình và một ô trắng cố ý gây ra cùng một hậu quả, nhưng chỉ cái thứ hai mới là lỗi đạo đức. Cái thứ nhất là lỗi hệ thống, và lỗi hệ thống thì phải sửa ở tầng vận hành, không phải ở tầng văn phong.

Góc phản trực giác: ngành này đang cần những báo cáo trông sạch

Có một động cơ mà ít ai chịu gọi tên. Một báo cáo ghi "chưa đủ dữ liệu" là một rủi ro nghề nghiệp. Người ký nó phải giải trình trước ban lãnh đạo. Một báo cáo đủ mục, đủ bảng, đủ tiêu đề, và không có cờ đỏ nào thì trung tính về mặt chính trị. Nó không khiến ai phải chịu trách nhiệm. Nó lướt qua phòng họp như một tờ giấy vô hại.

Đó là lý do sự im lặng có sức sống dai dẳng trong ngành phân tích. Không ai bị sa thải vì một ô trống. Người ta bị sa thải vì một bản hợp đồng thất bại, và khi ấy, ô trống trong báo cáo cũ đã nằm yên trong lưu trữ từ lâu.

Cái bẫy thứ hai tinh vi hơn: nhầm tương quan thành nhân quả theo chiều ngược. Một tập hồ sơ không nêu cờ đỏ nào bị đọc thành bằng chứng rằng đối tượng không có rủi ro. Thực tế, nó chỉ là bằng chứng rằng chưa ai đi tìm. Trong môi trường thể thao điện tử, im lặng không phải là sự minh oan. Một chiều phân tích không thể sàng lọc phải được báo cáo là chưa giải quyết, tuyệt đối không được báo cáo là đã thông qua.

Và đây là chỗ tôi phải nói ngược lại chính mình. Có những lúc câu trả lời đúng đắn thật sự là "chúng tôi chưa biết". Kỷ luật của người làm dữ liệu không nằm ở chỗ luôn có kết luận. Nó nằm ở chỗ dám để nguyên khoảng trắng và dán nhãn cho khoảng trắng ấy, thay vì lấp nó bằng một tính từ nghe có vẻ chuyên môn. Số liệu không bao giờ nói dối — chỉ có tấm lòng người đọc khiến chúng trở thành dối trá.

Nguy hiểm lớn nhất của một báo cáo rỗng không nằm ở người viết. Nó nằm ở người đọc. Người viết biết mình chưa làm gì. Người đọc thì không.

Kết: tín hiệu của vòng tiếp theo

Có những trận đấu kết thúc khi trọng tài thổi còi — và có những trận chỉ bắt đầu khi dữ liệu cất tiếng. Tôi sẽ theo dõi mùa chuyển nhượng tới bằng một thói quen mới: đọc những ô trống trước khi đọc những ô đầy. Một mục bị bỏ qua trong báo cáo tuyển trạch của đối thủ thường nói nhiều hơn cả một trang chỉ số đẹp. Nó cho tôi biết họ đang nhìn vào đâu, và quan trọng hơn, họ đang không nhìn vào đâu.

Dựa trên kinh nghiệm theo dõi các trận đấu và các kỳ chuyển nhượng của tôi, những sai lầm đắt nhất trong nghề này chưa bao giờ đến từ một con số sai. Chúng đến từ một khoảng trắng được ký duyệt.