👋 Hello, chào mọi người đến với trang web xàm xí của tui.👋
Docker thì quá nổi tiếng rồi, ai cũng biết. Nhưng mà Data Engineer có cần phải biết Docker hay không?
Mấy tuần rồi tui có tham gia vào một dự án mới, chủ yếu là xây dựng hệ thống data pipeline. Hệ thống thì không có gì để bàn nên tui sẽ không kể chi tiết ở đây. Điều mà tui muốn đề cập là độ phức tạp của dự án, nó là thành quả kết hợp của nhiều team khác nhau, mỗi team nắm giữ một phần quan trọng trong Workflow (luồng làm việc)....
Hai khái niệm có thể nói phổ biến và nổi bật nhất trong lĩnh vực data. Ở bài viết này tui muốn giới thiệu các bạn cách phân biệt “hai con pokemon” này.
tui nhận thấy nhiều bạn mới chuyển sang data đều rất bỡ ngỡ về Data Warehouse, nhất là các bạn newbie. Ở trên trường, tui cũng như các bạn đều được dạy về Database như MySQL, Microsoft SQL hoặc MongoDB. Tuy nhiên, khi học Data thì mình lại có khái niệm mới là Data Warehouse
Có bao giờ mọi người thắc mắc Data Engineer đi phỏng vấn sẽ gặp những dạng câu hỏi như thế nào không? Câu chuyện hôm nay tui muốn chia sẻ là về một câu hỏi khá cơ bản mà nhà tuyển dụng thường đặt ra cho Data Engineer: “Công ty đang có khoảng 100TB Data đang nằm trong Hadoop HDFS, lưu trữ ở định dạng text file, tăng dần theo thời gian....
Giả cầy thì dễ, xịn xò mới khó, bữa nay tui chỉ anh em cách để trở thành Data Scientist…
Như đã hứa, tui chốt lại series nghề Data với nhóm ngành Analyst. Bản thân tui không có kinh nghiệm làm Analyst, tuy nhiên tui luôn hỗ trợ các bạn ấy trong công việc thường ngày nên cũng tranh thủ tích lũy khá nhiều kiến thức
Khi mới chập chững nghề, công việc đầu tiên của tui cũng là Data Scientist. May mắn cho tui, cho dù chuyển qua Data Engineer hay Software Engineer thì tui đều làm việc chung với các bạn Data Scientist, Machine Learning/AI Engineer.
Tui vô nghề cũng lâu lắm rồi, tính ra làm Data Engineer cũng được 3 năm, nhiêu đây kinh nghiệm chắc cũng đủ để múa cho anh em coi thử về cái nghề này.
Bài đầu tiên tui kể anh em nghe cơ duyên của tui với cái nghề data, bài đầu nên dài thòng. Ai thấy hứng thú muốn theo con đường của tui thì để lại lời nhắn nha