Tóm tắt bài blog này là về tổng quan mô hình 9D cho Data Economics và các ý tuởng ứng dụng Big Data khác mang tính xã hội ở Vietnam..
Phần 1: Mô hình 9D và ứng dụng cho Big Data Economics
Khi nhắc đến bộ môn Big Data ở Vietnam, nguời ta thuờng chỉ ngay đến 2,3 thứ có thể làm và tạo ra lợi nhuận ngay và luôn (đầu tư là phải có lợi nhuận trong 1 năm). Đó có thể là
- Quảng cáo ( eClick.vn , hệ thống AdsPlay cho Video và Social Content , http://admicro.vn , …) ,
- Thuơng mại điện tử ( Lazada là công ty làm tốt nhất thị truờng nhờ năng lực công nghệ cũng partner với nhiều đối tác lớn cung cấp dữ liệu )
- Analytics Platform na ná như Google Analytics (cái này VnExpress đã triển khai như phuơng thức đo luợng Pageview song song với Google Analytics)
- Recommendation System : nếu bạn đã đọc VnExpress thì ứng dụng này nằm ở mục “Tin khác” ở cuối mỗi bài báo.
- Web Crawler và Search Engine như Cốc Cốc.
- Social Listening Tool: VD product này từ YouNet , http://www.younetmedia.com/
Để dễ hiểu, mình sẽ đi qua các buớc chính trong mô hình “9D” cho quy trình tổng quát cho các sản phầm Big Data , cái này đúc kết từ kinh nghiệm 4 năm qua các dự án khác nhau ở FPT.
- Data Source và Data Collector là cách thứ bạn sẽ thu gom data và loại data cần lưu. Đây là 2 cần thiết đầu tiên, bạn phải hiểu rõ bạn muốn gì và định nghĩa các data bạn cần tracking. Đơn giản là muốn làm Tối ưu trải nghiệm mua hàng Online (Personalized shopping experiences ), bạn cần tracking những items mà user đã xem, đã click , đã mua và nhưng source của những Website có Conversion Rate cao từ quảng cáo CPC., thời gian tuơng tác và heatmap của user. VD này từ cuốn sách http://charlesduhigg.com/the-power-of-habit/
- Data Storage và Data Model: sau khi đã tracking, việc tiếp theo là lưu trữ và mô hình hóa ở mức ý niệm (concept và logic) để bạn có thể dùng Code, các thuật tóan thống kê, dự đóan ở những phase kế tiếp. Việc lưu data sẽ rất phức tạp vì luợng data tuơng đối nhiều đối với các platform nhiều user, VD như VnExpress trên 60 GB raw data / 1 ngày từ luợc user chỉ xem báo và click .
- Data Query, Data Mining là 2 buớc của chung giai đọan đặt câu hỏi (query) và khai thác (Mining) . Các câu hỏi VD như Số luợng User ở khu vực TP.HCM thuờng xem phim Mỹ và có tỉ lệ xem Quảng cáo cao nhất, từ đó bạn có thể target Ad vào nhóm này về các phim Trailer mới cho các rạp Galaxy, CGV, … để tăng doanh thu phòng vé.
Data Actor là các đối tuợng tạo ra dữ liệu và sẽ tiếp nhận nguồn thông tin có giá trị sau nhiều quá trình Query, Mining liên tục.
Data Visualization là quá trình biểu diễn các loại data thành các biểu đồ, thông tin dang suggestion , email offer. Tóm lại đây là buớc “tạo hình” từ các kết quả tính tóan từ hàng TB, GB dữ liệu bạn đã thu thập truớc đó (Data Collector). VD biểu đồ sau đây chỉ ra rằng dân Vietnam mê xem Bóng đá vào cuối tuần như thế nào so với loại content khác như Film hay TV Show.
Data-driven Product là buớc cuối cùng, bạn cần tạo 1 sản phẩm cụ thể với 1 mô hình kinh doanh cụ thể (Business Model). VD: Targeting Quảng cáo, gửi Email Offer sản phẩm liên quan hay suggestion 1 bản nhạc họ thích, ..
Phần 2: Big Data cho các vấn đề xã hội
VD : Phòng chống thiên tai và thảm họa, Vietnam nằm trong nhóm các nuớc bị ảnh huởng trực tiếp của vấn đề biến đổi khi hậu
Và mình đã trình bày một mô hình, học tập từ Palantir ( http://www.palantir.com/2013/11/how-were-building-an-information-infrastructure-for-typhoon-haiyan-response-operations/ ) cho vấn đề này ở BarCamp 2014.
Ý tuởng là thu thập dữ liệu từ các nguồn Open Data dự báo thời tiết từ Internet, đồng phân tích các thông tin từ Social Media (Facebook, VnExpress , …) để alert , gửi notification cho các nhóm user có thể bị ảnh huởng trực tiếp bởi các thảm họa ( đọan đuờng hay xảy ra tai nạn giao thông, triều cuờng hay ngập lụt, hay các cơn bão với mức độ ảnh huởng, …)
Sơ đồ kiến trúc tổng quát như sau:
Kết bài,
Đây là chủ đề tuơng đối dài và có nhiều ứng dụng thực tiễn, vừa tính lợi nhuận và cũng có thể là tính xã hội. Hi vọng sau bài viết này có thể giúp các bạn hiểu hơn về cách sử dụng công nghệ Big Data cho các vấn đề khác nhau.
0 nhận xét:
Đăng nhận xét