Apps Script nâng cao, hệ thống tự động hoá công việc song song

Khoá học Apps Script nâng cao, hệ thống tự động hoá công việc song song là một khoá học nâng cao về chủ đề ứng dụng Apps Script trong việc xử lý một lượng lớn công việc thủ công, lặp đi lặp lại bằng kỹ thuật phân phối công việc và xử lý đồng thời song song để đạt được thời gian xử lý ngắn nhất.

Nội dung khoá học đến từ một nhu cầu thực tế trong doanh nghiệp trong lĩnh vực y tế. Trung bình một tháng, doanh nghiệp này có hơn 4000 tên mã sản phẩm cần tra cứu trong gần 30 tài liệu đã được số hoá và lưu trên dịch vụ lưu trữ Google Drive. Hiện tại, số lượt tìm kiếm phải thực hiện vào khoảng 120.000 lượt. Thao tác thủ công đang được thực hiện ở đây là: mở từng tài liệu và sử dụng chức năng tìm kiếm sẵn có của Google Docs để tìm kiếm lần lượt các từ khoá, sau đó ghi lại số lượng từ khoá nếu có trong tài liệu này một cách có hệ thống. Một ước lượng đơn giản sẽ cho thấy, một lượt thao tác tìm kiếm, ghi lại dữ liệu sẽ mất khoảng 5 giây, chưa kể đến thời gian tải và hiện tài liệu trên trình duyệt sẽ phụ thuộc vào đường truyền Internet. Như vậy để xử lý hết khối lượng công việc này, chúng ta sẽ cần khoảng 166 giờ (Tương đương 1 tháng làm việc của 1 người làm toàn thời gian).

Sau khi phân tích các thao tác cần thực hiện, ta có thể thây rằng công việc này là một công việc với thao tác đơn giản, có thể dễ dàng xử lý tự động được để giải phóng được sức lao động của con người. Từ ý tưởng trên thực tế, nếu với số lượng lượt tìm kiếm và xử lý công việc như trên mà chúng ta có 30 người, thì công việc sẽ có thể được giải quyết xong trong vòng 1 ngày. Dù thời gian giảm xuống, nhưng nguồn lực con người vẫn phải sử dụng quá nhiều và không hiệu quả, cũng như có rủi ro không chính xác bởi vì đây là một công việc lặp đi lặp lại cực kỳ nhàm chán.

Cách chúng ta đi giải quyết vấn đề này sử dụng Apps Script cũng tương tự như ý tưởng phân chia công việc trên, tuy nhiên thay vì dùng người và làm thủ công thì chúng ta sẽ tạo ra một hệ thống tự động xử lý công việc tự động, phân tán và thực hiện song song. Trên cơ sở thực hiện một giải pháp thực tế bao gồm 30 “workers” (Mỗi worker sẽ nhận một lượng công việc nhất định để xử lý, 30 workers sẽ xử lý công việc song song). Với thao tác tìm kiếm từ khoá trong tài liệu, một worker có thể xử lý được khoảng 5000 lượt tìm kiếm trong 1 giờ, 30 workers sẽ hoàn thành 120.000 lượt tìm kiếm trong ít hơn 1 giờ. Thời gian để có thể thiết lập được 30 workers này vào khoảng 1 giờ (cho lần đầu tiên), các lần sau chúng ta không cần thiết lập nữa. Đến đây, khả năng tiết kiệm thời gian, nguồn lực con người như thế nào, các bạn có thể tự đưa ra kết luận cho mình.

Ngoài việc đưa ra concept xử lý tự động song song bằng cách phân chia công việc, khoá học còn chia sẻ tới các bạn các kỹ thuật xử lý dữ liệu, load dữ liệu trong Apps Script. Kỹ thuật để vượt qua được giới hạn thực thi hàm 6 phút của Apps Script đối với tài khoản Google thường; thiết lập các workers để làm việc song song tránh cho việc vượt quá tổng thời gian chạy trigger trong một ngày là 90 phút.; cùng nhiều kỹ thuật nâng cao khác …

Video giới thiệu khoá học:

Yêu cầu trước khi các bạn có thể bắt đầu khoá học là: có kiến thức Google Apps Script cơ bản từ khoá học:

​Làm việc năng suất hơn, tự động hoá công việc với Google Apps Script

Danh sách bài học

0000 – Giới thiệu khoá học
1000 – Thiết lập cơ bản cho file master
1001 – Thiết lập file template worker
1002 – Viết hàm tiện ích để lấy dữ liệu và truy cập dữ liệu từ sheet dễ dàng hơn
1003 – Lây ra id của thư mục, file doc từ địa chỉ URL
1004 – Thiết lập thông tin địa chỉ WebApp sang cho Template
1005 – Lấy thông tin tên, url, id của các tài liệu trong thư mục cần tìm kiếm
1006 – Chuẩn bị dữ liệu theo định dạng để có thể xử lý song song
1007 – Tạo ra worker để chạy các tasks song song
1008 – Viết hàm để chia việc cho các Worker xử lý song song
1009 – Phân phối dữ liệu tới các Workers từ file Master
2000 – Thiết lập code cơ bản cho worker template
2001 – Viết hàm tìm kiếm số lần xuất hiện trong văn bản
2002 – Hoàn thành cơ chế trao đổi dữ liệu giữa Master và Worker
2003 – Viết phần xử lý trung tâm của Worker
2004 – Hàm điều phối, tự động tạo trigger, tự động restart ở Worker
2005 – Chuẩn bị cơ chế nhận lệnh từ Master cho Worker
2006 – Cơ chế phát lệnh bắt đầu chạy từ Master đến Worker
2007 – Chạy thử lần một, cách tìm lỗi, và sửa lỗi
2008 – Chạy thử lần hai, tạo báo cáo thời gian thực đơn giản về tiến trình đang chạy