งานยาก หรือ น่าเบื่อมั้ยครับ ถ้าเทียบกับ software engineer/developer

แล้วตลาดงานด้าน etl ในไทย ขนาดใหญ่มั้ยครับ หรือว่าตลาดงาน etl developer ค่อนข้างเล็กครับ

พวกนี้ งานน่าเบื่อมั้ยนี้ไม่รู้นะ พวกเขียน etl นี้ถ้าเทียบกับ พวก dev นี้ก็ถือว่าตลาดค่อนข้างเล็กครับ เพราะต้องทำที่ บริษัทที่มีมาตราฐานระดับหนึ่ง

ผมทำเป็น data analyst/engineer ที่บริษัทแห่งหนึ่ง แล้วแต่คนชอบนะครับ
ส่วนตัวผมทำเป็น software engineer มาก่อน แต่ชอบทำเกี่ยวกับการวิเคราะห์ข้อมูล และ สถิติ และ ทำงานเกี่ยวกับ data โดยตรง
จึงย้ายส่ยงานมาด้านนี้ ที่ไทยผมไม่ค่อยแน่ใจนะครับ แต่ที่อังกฤษนี่งานค่อนข้างงท้าทายเลย ได้จับเทคโนโลยีใหม่ๆ แล้วก็ data volume ใหญ่มากๆ ทั้ง structured และ unstructured data.

งานไม่จำเจครับเจออุปสรรคตลอดต้องหาทางแก้และสร้าง data pipeline เพื่อดึง data จาก in-house systems

ผมชอบที่ทีมอื่นๆนำเอาข้อเสนอแนะจากข้อมูลที่เราวิจัยไปประกอบการตัดสินใจต่างๆ

ผมตอบอาจจะรวบๆ data analyst ด้วย แต่โดยรวมผมชอบครับท้าทายดีเพราะ skillset ต้องกว้างพอสมควร

ผมเป็น data analyst พันธุ์ทางครับ หมายถึงผมไม่ได้จบไอทีมา ผมจบการตลาด แต่มาเรียน sql กับ excel เอาเองภายหลัง แล้วก็ใช้ powerbi เป็นนิดหน่อย เลยได้มาเป็น data analyst ซะงั้น

แต่ผมคิดว่ากำลังจะลงเรียนคอรส data engineer แบบออนไลน์กับกรุ๊ปๆนึงในเฟสบุค แล้วไปหาสมัครงานพวก etl developer (คือไม่อยากทำ analyst ละ)

แต่ไม่แน่ใจว่าจะหางานได้ไหม ด้วยความที่อายุก็ 33 ละ จะไปเป็น junior etl developer มันก็ดูแปลกๆ อายุดูมากไปหน่อยถ้า 28-29 ยังพอทน

ผมก็ใช้ Power BI เป็นหลักเหมือนกันครับ ว่าแต่ทำไมอยากเป็น data engineer ล่ะครับไม่ชอบ data analyst หรอ

ทำมา 15 ปีแล้วครับ ถามว่าน่าเบื่อมั้ยถ้าเทียบกับ software engineer
ตอบว่าไม่ครับ เพราะไม่ใช่ pure coding แต่จะเป็นใช้ etl tools + sql อันนี้มันก็แล้วแต่คนนะ
ถ้าสนใจงานด้านนี้หลังไมค์ได้ครับ ทีมผมต้องการคนอยู่

ผมมองว่าในอนาคต data scientist น่าจะเข้ามาแทน data analyst น่ะสิครับ ในมุมมองผม ผมมองว่า data scientist นาจะทำทุกอย่างที data analyst ทำได้ ในขณะที่ data analyst ไม่สามารถทำได้ทุกอย่างที่ data scientist ทำได้ ผมเลยมองว่า data analyst จะเป็นตำแหน่งทีถูกกลืนหายไปไม่ช้าก็เร็ว

ที่สำคัญผมไม่เก่งคำนวณเท่าไร พากสถิติก็ไม่ได้(ถ้าจะมาเรียนเพิ่ม คือคิดว่าตัวเองไม่ชอบคำนวณ เลยไม่อยากไปต่อละ)

Data Analyst ที่ดีอีกอย่างคือต้องเข้าใจ business นั้นๆ ซึ่งผมก็ไม่ใช่คนที่่เก่ง business อีก

ด้วยเหตุผลที่กล่าวๆไปนั้นแหละ ผมเลยตัดสินใจอยากไปทำ database เพียวๆ เพราะเป็นสิ่งที่ผมถนัดสุด

ผมเดาว่า etl คงไม่มีอะไรเกี่ยวกับการคำนวณตัวเลขสักเท่าไร แค่เข้าใจ database กับ เขียนพวก python(ซึ่งผมเรียนแล้วรู้สึกว่าเออ เราเข้าใจการเขียนโปรแกรมได้ นาจะไปต่อกับตรงนี้ได้) เขียนเชื่อม api อะไรแบบนี้ ยังไงก็ไม่นาจะยากไปกว่าการเขียนโปรแกรมของพวก software developer แน่นอน น่าจะใช้โค้ดเพียงไม่กี่คำสั่งในการทำ etl

อันนี้ผมลองประเมินของผมเองอ่ะนะท่าน ผมประเมินดูแล้วผมอยากไปพวก etl พวก data warehouse มากกว่าสาย data analyst

ขอบคุณมากครับ ผมกำลังเรียนคงใข้เวลาเดือนกว่าๆ

ก็ถ้าเรียนเสร็จ แล้วไม่ลืม ผมอาจส่งข้อความไปคุยกันนะครับเมื่อผมพร้อมแล้ว

ยินดีครับ

ปล. จากประสบการณ์ attitude ในการทำงานสำคัญที่สุดครับ ส่วน skill มันฝึกกันได้

Data Analyst ไม่หายไปอย่างแน่นอนคับ มันคนละ role กับ Data Scientist
Responsibility ต่างกันครับ แต่ที่คุณเข้าใจแบบนั้นก็ไม่ผิดเพราะ skillsets overlap กันพอสมควร
Roles ที่ผมกำลีงจะกล่าวถึงหลังจากนี้ มี common skillsets หลายๆอย่างเหมือนกัน:
Data Analyst, Data Engineer, Data Scientist, Dev Ops, Machine Learning Engineer

ถ้าทำได้ทุกแบบ ลงลึกได้หมดทุกแขนงที่กล่าวมา ก็จะเป็น Data Science Unicorn แทน
ผมเชียร์ให้อาชีพพวกนี้นี้เติบโตขึ้นที่ที่ไทย แต่ว่าตอนนี้ demand ยังน้อยอยู่เลยครับ

แล้วก็จริงๆแล้ว ETL ไม่ได้ focus อยู่ที่ database เสมอไปขึ้นอยู่กับ environment และ business requirements ของบริษัทนั้นๆ
เช่น ถ้าบริษัทใช้ SQL Server เป็นหลักก็สามารถทำ ETL บน SSIS ได้โดยตรงถ้า ข้อมูที่จะนำเข้ามาใน data warehouse เป็น batch ingestion.

บางที่อาจจะใช้ Spark ที่รันบน Hadoop เพื่อทำการ transform big dataset แล้วโหลด data ลง Data Lake หรือ dimensionalise data ลง data warehouse.

บางที่ดึง real-time data ที่ stream จาก Kafka แล้ว transform data ไปยัง KafkaSQL

หรือจะใช้ Airflow, MemSQL, Alteryx ในการช่วย ETL ก็ได้

ส่วนตัวผมเลยชอบด้านนี้พอสมควรเพราะมีโอกาสได้ทำงานค่อนข้างท้าทาย และได้จับเทคโนโลยีใหม่ๆ
ผมอยากให้บริษัทที่ไทยวางแผน และ มีนโยบายเกี่ยวกับ data จริงๆจังๆ ซักทีจะได้เปิดกว้างให้กับคนรุ่นใหม่ๆบ้าง
คุยเรื่องนี้ยาวครับผมยินดีที่จะแชร์ ประสบการณ์โดยตรง ยังไงหลังไมค์มาได้นะครับ

ข้อมูลที่คุณแชร์ผมยังไม่เคยมี ปสก ไปถึงจุดนั้นๆจริงๆ ค่อนข้างเป็นอะไรที่ใหม่สำหรับผมเหมือนกันจากที่อ่าน ยังไงขอบคุณที่แชร์มากครับตรงนี้

ท่าจะมันส์

อย่างที่หลายๆคนอธิบายไปแล้ว DA/DS/DE จะยังไม่ตายครับ โรลล์แต่ฟังค์ชั่นอาจจะทับกันบ้าง แต่ expertise ต่างกัน และมีความสำคัญในการ shape data ต่างกัน รวมไปถึงการเอา expertise ตรงนี้ไปช่วยองค์กรต่างกันด้วยครับ เอาจริงๆเรื่อง data เป็นเรื่องใหม่มากสำหรับโลกเราเมื่อเทียบกับสาขา IT แขนงอื่นๆ ยังไงก็เป็นอะไรที่โตได้อีกเยอะครับ

ต่อมา ถ้าสนใจจะทำ ETL จริงๆ เท่าที่ผมสัมผัสมา เป็นอาชีพที่มีคนถนัดเฉพาะทางตรงนี้จริงๆค่อนข้างน้อยครับ อาจจะเพราะไม่ใช่ทุกบริษัทใหญ่พอมี่จะทำ ETL EDW ด้วย แต่นั่นแปลว่า เป็นสาขาอาชีพที่มีคุณค่าในตัวเอง เพราะเราคือ integrator หลังฉากของหลายๆอย่าง และมีความสำคัญต่อการพัฒนา data สำหรับการทำ big data หรือกระทั่ง data visualization ด้วยเช่นกันครับ

น่าอิจฉาว่ะ เปลี่ยนสมองให้เป็นเงิน ต้นทุนแค่ความรู้ (รู้จริงขั้น skill)

ที่ไทยตำแหน่งงานพวกนี้มันค่อนข้างจะคาบเกี่ยวกันเพราะว่าบริษัทส่วนใหญ่ไม่ใหญ่พอที่จะมีตำแหน่งงานเหล่านี้ต่างหากครับ บริษัทส่วนใหญ่ก็เลยต้องการคนที่ทำเป็นท้ั้ง data analyst + data engineer + data scientist ซึ่งก็เลยทำให้พนักงานต้องรู้กว้างๆแต่ไม่ลึกซักอย่าง

ถ้าได้มีโอกาสได้ทำงานในบริษัทที่ใหญ่พอที่มีตำแหน่งงานเหล่านี้ต่างหาก (ที่ไทยที่ผมเห็นว่าใกล้เคียงที่สุดคือ Wongnai ส่วนที่ต่างประเทศก็พวก Google Microsoft Netflix ฯลฯ) หรือบริษัทที่ทำด้านนี้โดยเฉพาะ (เช่นบริษัทที่ปรึกษาเกี่ยวกับ Machine Learning หรือ Artificial Intelligence โดยตรง) จะเห็นว่าตำแหน่งพวกนี้มีลักษณะงานต่างกันมากๆครับ

Data Analyst: คนที่ทำงานด้านนี้จะต้องรู้ business + data analytics (ลักษณะคล้ายๆกับ business analyst แต่จะเน้นด้าน data เป็นหลัก) ส่วนใหญ่จะจบป.ตรี/ป.โทด้าน business ที่มีความรู้ technical บ้าง (เช่น IS/IT Management/Analytics) เนื้องานคือต้องวิเคราะห์ความต้องการของลูกค้าที่สามารถใช้ data แก้ปัญหาหรือช่วยในการตัดสินใจได้ หรือ/และ วิเคราะห์ผลลัพธ์จาก model ที่ data scientist ทำว่าตรงกับความต้องการของลูกค้าแค่ไหนอย่างไร ตำแหน่ง data analyst เป็นตำแหน่งเริ่มต้นถึงปานกลาง พอมีประสบการณ์มากๆก็มักจะย้ายไปทำส่วนที่ติดต่อกับลูกค้ามากขึ้น (เช่น consultant)

Data Engineer: คนที่ทำงานด้านนี้ไม่ค่อยจำเป็นที่จะต้องรู้ business แต่จะต้องรู้เรื่องเกี่ยวกับ infrastructure ที่เกี่ยวข้องกับ data มากๆ (ตั้งแต่ SQL, NoSQL, Hadoop, BigQuery, ฯลฯ) ส่วนใหญ่จะจบป.ตรี/ป.โทด้าน com sci. หรือ com engineering เนื้องานคือต้องรับความต้องการเกี่ยวกับ data มาจาก data scientist แล้วส่ง data ให้ตาม format ที่ data scientist ต้องการ หรือ/และติดต่อกับลูกค้าในกรณีที่ต้องมีการรับส่ง data ระหว่าง site งาน ตำแหน่ง data engineer เป็นตำแหน่งเริ่มต้นถึงปานกลาง พอมีประสบการณ์มากๆก็เลือกได้ว่าจะอยู่เป็น Sr. Data Engineer หรือย้ายไปทำงานที่ใหญ่ขึ้นเช่นงานด้าน Project Architect

Data Scientist: บริษัทที่ใช้ data scientist จริงๆ (ไม่ใช่แค่ตำแหน่ง data scientist) มักจะต้องการคนที่จบปริญญาเอกในด้านที่เกี่ยวข้อง (Ph.D. in Com. Sci, Machine Learning, ฯลฯ) data scientist มักจะไม่ค่อยรู้ business (แต่คนที่รู้ก็จะเพิ่มเงินเดือนได้ระดับนึง) แต่สามารถอ่านงานวิจัยใหม่ๆและคิดค้นเทคนิค data model ใหม่ๆระดับที่ตีพิมพ์เป็นงานวิจัยได้ งานหลักของ data scientist ก็คือรับความต้องการของลูกค้าที่ data analyst ย่อยมาให้แล้วมาเปลี่ยนเป็น model และให้ data engineer เป็นคนจัดการกับ data ส่วนตัวเองจะยุ่งอยู่กับการสร้าง model (tune hyper-parameter, feature engineering, ฯลฯ) ตำแหน่ง data scientist ส่วนใหญ่จะเป็นตำแหน่งสุดท้าย มีประสบการณ์มากขึ้นก็จะเป็น Sr. Data Scientist หรือ Principal Data Scientist โดยไม่ย้ายไปทำตำแหน่งอื่นต่อ (มีบ้าง แต่น้อย)

อันนี้จากประสบการณ์ส่วนตัวนะครับ แต่บริษัทส่วนใหญ่ที่ผมเกี่ยวข้องด้วยในต่างประเทศก็จะเป็นลักษณะนี้เกือบทั้งหมดครับ