Kỹ sư Dữ liệu - Kỹ sư Dữ liệu

Tổng Công ty Giải pháp Doanh nghiệp Viettel (VTS) là đơn vị trực thuộc Tập đoàn Công nghiệp - Viễn thông Viettel được thành lập với sứ mệnh đồng hành cùng Chính phủ xây dựng thành công một “Chính phủ kiến tạo – Chính phủ số”, hợp tác cùng các doanh nghiệp và người dân để giải quyết các vấn đề của xã hội, mang lại cuộc sống tốt đẹp hơn cho mọi người. Tổng Công ty Giải pháp Doanh nghiệp Viettel hiện có Trung tâm nghiên cứu phát triển làm chủ những công nghệ mới của cách mạng công nghiệp 4.0 (Big Data, AI, IoT, AR/VR, Cloud, Blockchain…) đưa ra các giải pháp cho thành phố thông minh và chuyển đổi số cho doanh nghiệp, chính phủ, các tổ chức với các hướng như kết nối, chia sẻ và trải nghiệm khách hàng

Mô tả ngắn gọn

- Thực hiện xây dựng và lập lịch các luồng ETL thu thập dữ liệu từ các hệ thống nguồn, làm sạch và chuẩn hóa dữ liệu (xử lý và lưu lại các bản ghi lỗi, xử lý trùng lặp, tạo ra dữ liệu dùng chung), đánh giá chất lượng dữ liệu, tổng hợp dữ liệu các bảng dimension, bảng facts, bảng OLAP, xuất dữ liệu cho hệ thống khác theo tài liệu thiết kế chi tiết.
- Thực hiện dựng luồng chuyển dữ liệu giữa các cụm dữ liệu lớn.
- Xây dựng các tiến trình dọn dẹp dữ liệu cũ, hoặc nén dữ liệu
- Xây dựng các tiến trình backup dữ liệu
- Thực hiện các nhiệm vụ sửa lỗi được phát hiện trong quá trình phát triển và triển khai.
- Tìm nguyên nhân và khắc phục được lỗi do cá nhân tạo ra trong quá trình phát triển và triển khai.
- Viết tài liệu, chuẩn bị kịch bản upcode với các yêu cầu nâng cấp
- Upcode các yêu cầu nâng cấp theo quy trình và kịch bản có sẵn.

Yêu cầu

Tốt nghiệp loại khá trở lên các trường đại học khối ngành Kỹ thuật, CNTT, Điện tử viễn thông, Khoa học máy tính, Kỹ thuật phần mềm...

- Có chứng chỉ Toeic 550 điểm trở lên hoặc các chứng chỉ khác tương đương.

- Kỹ năng thành thạo một trong các framework, thư viện lưu trữ, xử lý dữ liệu lớn (Hadoop, Spark, Kafka, Nifi)
- Kiển thức về các loại CSDL (RDBMS, Graph Databases, NoSQL Products, ...)
- Có kiến thức vững về cấu trúc dữ liệu và giải thuật:
+ Hiểu biết chi tiết về các loại dữ liệu cơ bản ( Interger, Boolean...) và array
+ Hiểu rõ về mối liên hệ giữa cấu trúc dữ liệu và giải thuật
+ Hiểu biết , đánh giá độ phức tạp và cài đặt được các thuật toán, ví dụ các thuật toán sắp xếp : sắp xếp nổi bọt, sắp xếp lựa chọn.., các thuật toán tìm kiếm - Kiến thức về lập trình, cấu trúc dữ liệu & giải thuật
- Kỹ năng sử dụng một loại ngôn ngữ lập trình (Java, Scala, ...),
- Kỹ năng sử dụng SQL thành thạo
- Kỹ năng sử dụng một trong các loại CSDL (Hive, Oracle, Neo4j, HBase, Cassandra, MongoDB, ..)
- Có khả năng sử dụng các công cụ phân tích log để tìm ra nguyên nhân lỗi.

Kỹ năng

Câu hỏi phỏng vấn

1. Trình bày hiểu biết về mô hình dữ liệu Star-chema, Snowflake
2. Đưa ra VD về một mô hình dữ liệu chuẩn hóa (Normalized) và không chuẩn hóa (Denormalized)
3. Trong mô hình Star-Schema, bảng Fact và bảng Dimension chứa các thông tin gì?
4. ETL là gì?
5. Các công nghệ thường sử dụng khi xây dựng hệ thống Data Warehouse?
6. Trình bày hiểu biết về Airflow?
7. Trình bày hiểu biết về hệ thống phân tán và so sánh với hệ thống thông thường?
8. Big Data và Hadoop liên quan tới nhau như thế nào?
9. Trình bày hiểu biết về Hadoop và các công nghệ khác trong Hadoop Ecosystem?