Portfolio project
Real Estate Data Pipeline
โปรเจกต์ data engineering แบบ end-to-end ตั้งแต่เก็บข้อมูล จัด schedule จัดเก็บ ไปจนถึง reporting
ปัญหา
ข้อมูลประกาศอสังหาฯ ดิบมีคุณค่าน้อย ถ้าการ ingest และ report ยังเป็น script ที่รันครั้งเดียวแล้วจบ
ผลลัพธ์
จัด collection และ orchestration ให้เป็น pipeline ที่ทำซ้ำได้ โดยมี reporting เป็น consumer ปลายทาง
- Python
- Airflow
- SQL
- Power BI