Nghiên cứu giải pháp kỹ thuật lưu trữ, quản lý và phân tích dữ liệu lớn (Big Data) - Thử nghiệm đối với dữ liệu khí tượng thủy văn

Chủ nhật - 29/01/2023 21:46 0

Vừa qua, cơ quan chủ trì Trung tâm Kiểm định sản phẩm công nghệ thông tin cùng phối hợp với Chủ nhiệm đề tài Cử nhân Vũ Anh Tú thực hiện “Nghiên cứu giải pháp kỹ thuật lưu trữ, quản lý và phân tích dữ liệu lớn (Big Data) - Thử nghiệm đối với dữ liệu khí tượng thủy văn” với mục tiêu: Xây dựng giải pháp kỹ thuật lưu trữ, quản lý và phân tích dữ liệu lớn; Thử nghiệm lưu trữ, quản lý và phân tích dữ liệu khí tượng thủy văn, sử dụng Big Data.
Các nội dung nghiên cứu, triển khai phù hợp với kế hoạch thực hiện được phê duyệt, đưa ra các kết quả nghiên cứu về tổng quan giải pháp dữ liệu lớn, kỹ thuật cơ bản đối với giải pháp dữ liệu lớn, các giải pháp và yếu tố đảm bảo vận hành của hệ thống dữ liệu lớn, đề xuất giải pháp công nghệ dữ liệu lớn phục vụ lưu trữ, phân tích và cung cấp dữ liệu vệ tinh himawari 8/9 và xây dựng phần mềm thử nghiệm giải pháp dữ liệu lớn trong lưu trữ, phân tích và cung cấp dữ liệu vệ tinh himawari 8/9 (Xây dựng phần mềm thử nghiệm khai thác tập trung dữ liệu vệ tinh himawari 8/9). Các nội dung nghiên cứu liên tục được cập nhật, bổ sung. Đồng thời mở rộng phạm vi nghiên cứu, ngoài khuôn khổ được phê duyệt của thuyết minh, đáp ứng sâu hơn đối với bài toán chuyên ngành KTTV, đưa ra khả năng ứng dụng vào thực tiễn có tính khả thi hơn.
Triển khai, thử nghiệm đã bám sát mô hình đề xuất kiến trúc, giải pháp kỹ thuật lưu trữ, quản lý và phân tích dữ liệu lớn đối với dữ liệu vệ tinh Himawari thuộc lĩnh vực khí tượng thủy văn. Việc thử nghiệm hệ thống đã chứng tỏ được tính thực tế của mô hình đề xuất, cụ thể: Giải pháp HDFS lưu trữ một lượng dữ liệu thô đủ lớn trong vòng gần 01 tháng (với 2.4 TB dữ liệu), giải pháp cơ sở dữ liệu Elasticsearch lưu trữ dữ liệu metadata, dữ liệu tổ chức quản lý theo tọa độ, khả năng lưu trữ tiếp tục mở rộng với lượng dữ liệu lớn hơn, được thu thập theo thời gian; Giải pháp YARN, Apache Spark, Zookeeper phục vụ việc xử lý và phân tích dữ liệu; Giải pháp Elasticsearch hỗ trợ khả năng lưu trữ dữ liệu sau khi xử lý hoặc phân tích và cung cấp khả năng truy vấn, khai thác dữ liệu; Công cụ Kibana trực quan hóa dữ liệu Himawari; Giải pháp hiển thị ảnh vệ tinh, quản lý thông tin meta data dữ liệu Himawari.
Giải pháp triển khai, thử nghiệm đã đáp ứng các yêu cầu theo thuyết minh đề ra. Bên cạnh đó, mở rộng thêm các chức năng để phù hợp và tăng tính khả thi khi ứng dụng vào thực tế đối với chuyên ngành KTTV như: xử lý dữ liệu Himawari thành dữ liệu được tổ chức, trong thời gian dài, để có thể lưu trữ, truy vấn một cách nhanh chóng dữ liệu, làm đầu vào cho các bài toán dự báo, nghiệp vụ chuyên ngành KTTV; trực quan hóa dữ liệu Himawari; Khả năng truy vấn, khai thác dữ liệu Himawari sau khi được xử lý, tổ chức theo meta data, theo tọa độ...
Đã thực hiện kiểm tra, thử nghiệm các chức năng của Phần mềm đánh giá tác động trên mạng xã hội trong công tác dự báo khí tượng thủy văn và mở rộng đối với một số lĩnh vực tài nguyên và môi trường ứng dụng giải pháp dữ liệu lớn (SMM) so với bản chào giá của đơn vị cung cấp. Kết quả kiểm tra, thử nghiệm đã phản ánh được đầy đủ chức năng và khả năng hoạt động của các chức năng mà đơn vị cung cấp đã đề xuất trong bản chào giá./.
Quang Anh

Nguồn: Sưu tầm