Đầu 2022 · Thực tập DE @ Omisell
Chưa có AI (1.0x · 2 món) ➔SQL EXPLAIN, B-Tree Index & Row-LockKeyset Cursor&MySQL Read-Replica
Kỹ sư Dữ liệu (Data Engineer) — Chuyển hóa dữ liệu vận hành thành nền tảng phân tích đáng tin.
TRIẾT LÝ CỦA MỘT DATA ENGINEER TRONG THỜI ĐẠI AI“Trước cơn sóng AI, người bi quan sợ cánh cửa Junior khép lại — người làm Data Engineer nhìn ngược dòng lại thấy đường lớn mở ra.
Những kiến trúc dữ liệu các anh Senior từng mất nhiều năm tháng va đập mới vững vàng, nay người trẻ có thể rút ngắn vạn dặm bằng cách học từ đàn anh, mượn AI mổ xẻ ngược (reverse-engineer) và dựng thử với định hướng rõ ràng.
Công nghệ đổi thay, bản lĩnh ở góc nhìn: Bớt một phần lo sợ — thêm vạn phần tò mò.”
$ cat /etc/career-lakehouse-progression.yaml
2026_ashley: [MS Fabric, Databricks, OneLake, SQLPROJ/DacFx, Direct Lake, Governed Copilot]
2025_nexttech: [Unified Lakehouse: Delta/Iceberg UniForm, MDM, 3-Way Recon (15m), Feature Store]
2024_nextpay: [On-Prem K8s PCI-DSS, Debezium CDC, Flink StateTTL, 38-Bank Recon, ClickHouse]
2023_boxme: [FEFO Batch/Lot Ledger, Flink Event-Time PDA SLA, Cloudflare R2 ~30TB/mo, PowerBI]
2022_omisell: [Redis SETNX Edge Dedup, MySQL Replica, PySpark AQE/Salting, dbt SCD2, BigQuery]
$ ls ./ecosystem/
→ ariclearns.dev (Main Portfolio · 7-Tier DE & AI Pyramid · 8 Production DE Projects)
→ hub.ariclearns.dev (49 Courses · 266 Colored-ASCII · 12 Interactive 2D Labs)
$ spark-submit --deploy-mode cluster medallion_gold_sync.py
[INFO] WAPReconciliationGate: Delta=0.00 · Cross-Domain Marts Synced [OK]
SQL EXPLAIN, B-Tree Index & Row-LockKeyset Cursor & MySQL Read-ReplicaRedis SETNX Webhook Dedup (15–22%)Bundle ExplosionLinux, Bash, Cron & Tồn kho < 5sPySpark Salting (0..15) & AQE Skewdbt Incremental SCD Type 2 & Slim CIBigQuery Partition & Clustering (-68%)Python, uv, asyncio, FastAPI, PydanticAppend-Only LedgerFEFO (12+ kho)Apache Kafka, RabbitMQ & OutboxgRPC, Protobuf & REST APIpytest, tox & LocustFlink Event-Time WatermarksLate-Data Side Outputs (PDA mất sóng)MinIO, SeaweedFS, CF R2Zero-Egress Routing (~30TB video/tháng)Odoo ERPISO-8583 / XML)DECIMAL(18,4)ZSTD (-85%) & trị IOPS 1:60ClickHouse ReplacingMergeTree & PinotApache Iceberg, Delta Lake, HudiTrino & Hive MetastoreDebezium GTID Binlog CDC → Kafka → FlinkFlink RocksDB StateTTL 24h & Cắt sổ T+1Private K8s / K3s, Helm/Helmfile (PCI-DSS)Terraform, Ansible, NGINX, EnvoyHashiCorp Vault, Istio, Cert-MgrOTel, Prom, Grafana, ELK, JaegerDelta UniForm)WAP Gate (Delta=0), GE & DeequDataHub Lineage & Feast Feature StoreAirflow 3, Jenkins, DVC, MLflowKubeflow & PyTorch DDP/FSDPEvidently AIvLLM, TensorRT-LLM, SGLang, KServeMicrosoft Fabric & OneLake Supply ChainAzure Databricks (PySpark) & T-SQL DWSQLPROJ / DacFxPower BI Direct Lake (Star Schema / DAX)27-Tool MCP (Model Context Protocol)Governed Copilot & Hybrid RAGLangfuse & RAGASLộ trình phát triển chuyên môn qua các bài toán dữ liệu thực tế (mặc định sắp xếp từ hiện tại về trước, bấm nút ⇅ để đổi chiều thời gian): từ kiến trúc dữ liệu Chuỗi cung ứng trên Microsoft Fabric tại Ashley Furniture Industries đến 4 năm luân chuyển xây dựng nền tảng dữ liệu xuyên suốt hệ sinh thái Tập đoàn NextTech (Omisell, Boxme Global, NextPay).
Enterprise Data Engineer · Kiến trúc Dữ liệu Chuỗi cung ứng (Azure, Azure Databricks → Microsoft Fabric), DataOps CI/CD, Power BI Semantic Models & Applied AI
Model Context Protocol.SQLPROJ / DacFx CI/CD.Data Engineer (Thực tập / Junior 2022 → Data Engineer 2025) · Khởi đầu từ vị trí thực tập sinh học hỏi trực tiếp từ các anh Senior trong đội ngũ dữ liệu dùng chung (Shared Data Team), từng bước phối hợp xử lý các module nhỏ tại từng công ty thành viên (Omisell → Boxme Global → NextPay) trước khi đủ nền tảng bao quát và tham gia hợp nhất nền tảng Data Lakehouse cấp Tập đoàn.
MinIO / SeaweedFS S3, Delta Lake & Apache Iceberg UniForm) chỉ đồng bộ các bảng Silver/Gold đã băm ẩn danh PII mà không phải chép lại dữ liệu giao dịch nhạy cảm.Đơn hàng Omisell ↔ Xuất kho Boxme ↔ Tiền về NextPay) kèm chốt chặn Write-Audit-Publish (WAP Gate), rút ngắn thời gian phát hiện đơn xuất kho chưa thu được tiền từ 5 ngày xuống 15 phút.Apache Airflow, quản trị phả hệ trên DataHub và đồng bộ Reverse-ETL về Redis/MySQL phục vụ xét duyệt hạn mức ứng vốn T+0 trong <10ms.ZSTD (giảm 85% dung lượng) kèm cơ chế giữ 30 ngày nóng trên MySQL, đồng thời chuyển 100% truy vấn báo cáo doanh thu của điểm bán sang ClickHouse (độ trễ <200ms, giảm 65% IOPS OLTP).PCI-DSS & Nghị định 13/2023/NĐ-CP (không đưa dữ liệu nhạy cảm thô lên Public Cloud), triển khai cụm Lakehouse trên Private Kubernetes; dùng Debezium MySQL Binlog CDC, Apache Kafka và Apache Flink (RocksDB StateTTL) để chặn ~1,5% Webhook ngân hàng bắn trùng và giám sát độ trễ loa báo tiền IoT (<1,5 giây).DECIMAL(18,4) để triệt tiêu lỗi lệch đồng lẻ; xây dựng bộ chuẩn hóa hơn 38 định dạng sao kê ngân hàng để chạy đối soát 2 chiều hằng sáng (T+1, xử lý tự động các giao dịch quẹt sát giờ cắt sổ 23:59:58) trên bảng mở Delta Lake / Apache Iceberg UniForm và khóa kiểm toán bằng WAP Gate (Delta = 0.00).FEFO Batch/Lot Ledger), giúp kiểm soát 100% quy tắc xuất hàng cận hạn trước cho ngành Mỹ phẩm/FMCG (giảm 25% hàng cận date) và tự động đối soát phí lưu kho/đóng gói sang Odoo ERP (rút 80% thời gian chốt kỳ).Apache Flink với BoundedOutOfOrdernessWatermarks và Side Outputs để tính SLA theo đúng thời điểm quét thực tế trên máy cầm tay, giữ tỷ lệ bàn giao đúng hạn FHR >95%.Cloudflare R2 (0đ phí băng thông tải ra / Zero-Egress) và ảnh khiếu nại trên AWS S3 giúp tra cứu bằng chứng tráo hàng trong <3 giây; phục vụ báo cáo vận hành trên ClickHouse và Azure Power BI Embedded (Row-Level Security).HMAC-SHA256 & Redis SETNX; đồng bộ 30s sang MySQL Read-Replica (giảm 70% CPU OLTP), chuẩn hóa 14 trạng thái đơn hàng và phân rã đệ quy >700 gói sản phẩm Combo (Virtual Bundles) về đúng số lượng SKU vật lý thực xuất.PySpark Adaptive Query Execution (AQE) & Key Salting để phân tải đồng đều, kết hợp dbt Snapshots (SCD Type 2) lưu vết lịch sử thay đổi giá vốn (COGS) và dbt Slim CI trên GitLab.UNNEST bóc tách 11 loại phí ẩn trong JSON quyết toán của sàn và tự động đối soát tiền thu hộ (COD), chênh lệch cân nặng với hơn 50 hãng vận chuyển; thay thế truy vấn phân trang SELECT * ... OFFSET bằng Partition Pruning + Clustering + Keyset Pagination giúp giảm >90% chi phí quét dữ liệu BigQuery.8 dự án kỹ thuật dữ liệu trọng tâm gắn liền với lộ trình làm việc thực tế qua từng miền nghiệp vụ: Thương mại Điện tử (Omisell), Kho vận 3PL (Boxme Global), Cổng Thanh toán (NextPay) và Nền tảng Data Lakehouse Hợp nhất (NextTech Group).
Trực quan hóa 46 công nghệ thực chiến sắp xếp chuẩn theo dòng chảy từ A–Z (10 → 9 → 8 → 7 → 6 → 4 → 2): 5 Tầng trên là Nền tảng Data Engineering, Lakehouse (MinIO/Delta/Iceberg/Fabric) & Hạ tầng Phân tán K8s cứng cáp nhằm tinh luyện dữ liệu sạch trước khi nuôi dưỡng 2 Tầng đỉnh bên dưới là MLOps, Huấn luyện Phân tán & Phục vụ Mô hình AI/LLM (EDAI 2).