Kiểm tra với người bán Kỹ sư Dữ liệu: Thực hiện xây dựng và lập lịch các luồng ETL Quận Nam Từ Liêm
- Location: Trần Hữu Dực, Phường Mỹ Đình 2, Quận Nam Từ Liêm, Hà Nội, Việt Nam, Quận Nam Từ Liêm, Hà Nội, VietNam
- Thực hiện xây dựng và lập lịch các luồng ETL thu thập dữ liệu từ các hệ thống nguồn, làm sạch và chuẩn hóa dữ liệu (xử lý và lưu lại các bản ghi lỗi, xử lý trùng lặp, tạo ra dữ liệu dùng chung), đánh giá chất lượng dữ liệu, tổng hợp dữ liệu các bảng dimension, bảng facts, bảng OLAP, xuất dữ liệu cho hệ thống khác theo tài liệu thiết kế chi tiết.
- Thực hiện dựng luồng chuyển dữ liệu giữa các cụm dữ liệu lớn.
- Xây dựng các tiến trình dọn dẹp dữ liệu cũ, hoặc nén dữ liệu
- Xây dựng các tiến trình backup dữ liệu
- Thực hiện các nhiệm vụ sửa lỗi được phát hiện trong quá trình phát triển và triển khai.
- Tìm nguyên nhân và khắc phục được lỗi do cá nhân tạo ra trong quá trình phát triển và triển khai.
- Viết tài liệu, chuẩn bị kịch bản upcode với các yêu cầu nâng cấp
- Upcode các yêu cầu nâng cấp theo quy trình và kịch bản có sẵn.
Mô tả công việc
- Thực hiện xây dựng và lập lịch các luồng ETL thu thập dữ liệu từ các hệ thống nguồn, làm sạch và chuẩn hóa dữ liệu (xử lý và lưu lại các bản ghi lỗi, xử lý trùng lặp, tạo ra dữ liệu dùng chung), đánh giá chất lượng dữ liệu, tổng hợp dữ liệu các bảng dimension, bảng facts, bảng OLAP, xuất dữ liệu cho hệ thống khác theo tài liệu thiết kế chi tiết.
- Thực hiện dựng luồng chuyển dữ liệu giữa các cụm dữ liệu lớn.
- Xây dựng các tiến trình dọn dẹp dữ liệu cũ, hoặc nén dữ liệu
- Xây dựng các tiến trình backup dữ liệu
- Thực hiện các nhiệm vụ sửa lỗi được phát hiện trong quá trình phát triển và triển khai.
- Tìm nguyên nhân và khắc phục được lỗi do cá nhân tạo ra trong quá trình phát triển và triển khai.
- Viết tài liệu, chuẩn bị kịch bản upcode với các yêu cầu nâng cấp
- Upcode các yêu cầu nâng cấp theo quy trình và kịch bản có sẵn.
Yêu cầu
- Kỹ năng thành thạo một trong các framework, thư viện lưu trữ, xử lý dữ liệu lớn (Hadoop, Spark, Kafka, Nifi)
- Kiển thức về các loại CSDL (RDBMS, Graph Databases, NoSQL Products, ...)
- Có kiến thức vững về cấu trúc dữ liệu và giải thuật:
+ Hiểu biết chi tiết về các loại dữ liệu cơ bản ( Interger, Boolean...) và array
+ Hiểu rõ về mối liên hệ giữa cấu trúc dữ liệu và giải thuật
+ Hiểu biết , đánh giá độ phức tạp và cài đặt được các thuật toán, ví dụ các thuật toán sắp xếp : sắp xếp nổi bọt, sắp xếp lựa chọn.., các thuật toán tìm kiếm - Kiến thức về lập trình, cấu trúc dữ liệu & giải thuật
- Kỹ năng sử dụng một loại ngôn ngữ lập trình (Java, Scala, ...),
- Kỹ năng sử dụng SQL thành thạo
- Kỹ năng sử dụng một trong các loại CSDL (Hive, Oracle, Neo4j, HBase, Cassandra, MongoDB, ..)
- Có khả năng sử dụng các công cụ phân tích log để tìm ra nguyên nhân lỗi.
Kỹ năng
Algorithm Engineering Big Data Big Data Analytics Big Data Concepts Big Data Management Corporate Data Architecture Standards Data Architecture Data Structures Data Warehouse Access and Reporting Data Warehouse Analysis Data Warehouse Concepts Data Warehouse Knowledge Data Warehouse Marts Data Warehouse Mining Data Warehouse Modeling Data Warehouses ETL/ETT/ETM Tools and Process Programming Programming Standards and Procedures Programming Tools and Products Programming/Scripting Structured Query Language
Useful information
- Avoid scams by acting locally or paying with PayPal
- Never pay with Western Union, Moneygram or other anonymous payment services
- Don't buy or sell outside of your country. Don't accept cashier cheques from outside your country
- This site is never involved in any transaction, and does not handle payments, shipping, guarantee transactions, provide escrow services, or offer "buyer protection" or "seller certification"
Thông tin tuyển dung gần đây
-
Tuyển nhân viên thiết kế và quản lý websiteCông Nghệ Thông Tin - Thành phố Hải Dương (Hải Dương) - 2024/12/26 10.000.000 VND- Quản lí và điều hành website: ……….. - Thiết kế quảng cáo đăng tin, các chiến dịch tiếp thị trực tuyến hiệu quả, bao gồm banner, quảng cáo, bản tin, hình ảnh, video giới thiệu và quảng cáo sản phẩm. - Thực hiện các vấn đề về SEO, adword, Marketing o...
-
Tuyển dụng Giảng viên khoa Công nghệ thông tinCông Nghệ Thông Tin - Quận 12 (Hồ Chí Minh) - 2024/09/28 Kiểm tra với người bán
I. Giảng viên khoa Công nghệ thông tin 1. Mô tả công việc Thực hiện kế hoạch giảng dạy và học tập được Khoa phân công. Giảng dạy học phần theo chương trình đề cương chi tiết học phần đã được phê duyệt và thông báo cho sinh viên. Thực hiện quản lý sin...
-
Chuyên Viên Phát Triển Phần MềmCông Nghệ Thông Tin - Thành phố Biên Hòa (Đồng Nai) - 2024/08/06 Kiểm tra với người bán
Mô tả công việc Thiết kế và phát triển các module trên hệ thống hiện có của công ty. Lập trình tích hợp hệ thống vận hành, đối tác thanh toán, đối tác thương mại. Phát triển platform mới của công ty trên nền .NET Core, API, Microservices. Yêu cầu côn...
Comments
Leave your comment (spam and offensive messages will be removed)