พอดีผมมีคำถามท่านที่ใช้โปรแกรม Power Bi หรือ Lookerstudio หน่อยครับ
ถ้ามีข้อมูลใน Excel ที่ต้องใช้เป็น ล้านแถวใน Excel

Power Bi หรือ Lookerstudio มันรองรับข้อมูลเยอะๆแบบนี้ไหมครับ หรือ ผมควรนำเข้าผ่านช่องทางไหน กรณีที่ข้อมูลมันเยอะมากๆ เพื่อเอาข้อมูลไปทำเป็น Dashboard อะครับ

ถ้าข้อมูลใน Excel หลักพันหลักหมื่น อันนี้สบายๆ เลย

ไม่เกี่ยวกับคำถามแต่คิดว่ามีประโยชน์ เมื่อตอนเช้าลองเล่น
https://julius.ai/chat ใช้วิเคราะห์ข้อมูลได้แต่จำกัดการใช้
สามารถทำ quickvisual data clean ได้

ผมไม่เซียนนะ

แต่มั่นใจว่า PowerBI ทำได้เพราะมันบีบอัดข้อมูลอยู่ ก่อนใช้งานแค่ช้าเฉยๆ จริงๆตัวที่ไวกว่าคือ Tableau หรือถ้า advanced กว่านั้นก็ Python เอา


ส่วน Looker ผมว่าไม่ไหว เว้นจะไปเล่นทางอัพ เข้าไปที่ Big query ก่อนแล้วให้ Looker ไปต่อ Big query อีกทีอันนี้ทำได้สบายๆ

แต่ใดๆถ้าล้าน Transaction ทำไมไม่ต่อจาก Source โดยตรงนะ เพราะสองตัวนี้มันต่อตรงกับ database ได้เลย ระดับล้านไม่ควรเป็นไฟล์ Excel แล้วนะจริงๆแค่เกินแสน Excel ก็ปัญหาเยอะแล้ว

ได้ครับ get data ดึง excel เข้าโดยตรงหรือทำเป็น dataflow จบเลยครับ

ใช่ครับ ผมเห็นละว่ามันดึงจาก Database ได้เลย แต่ประเด็นผมไม่ใช่ IT นี่แหละครับ ทำไมไม่เป็น
และฝั่ง IT มันไม่ให้ไปดึงในฐานอยู่แล้วด้วย ผมเลยต้องเขียนคิวรี่ออกมาในรูปแบบ Ecxel แล้วนำเข้า Power bi หรือ lookerstudio อีกทีเพื่อทำเป็น Dashboard ไว้ให้ผู้บริหารดู
คือถ้าข้อมูลมันไม่เยอะ ไม่มีปัญหาเลย แต่นี้เป็นข้อมูลเยอะ แบบ 5 ปีย้อนหลังงี้ หน้ามืดเลยผม งมๆเอาเอง

หลักล้านต้องถามว่าท่านได้ข้อมูล excel มาจาก source ไหน ปกติหลักล้านนี่ ควรจะมี data warehouse หรือ database ดึงตรงจะสะดวกกว่า ไป optimized ในส่วนที่เป็น Query ให้ tuning performanceไม่ให้กิน ทรัพยากรของ server จนเกินไป อยู่ที่ว่าท่านใช้ Database ค่ายไหน แนะนำถ้ามาสายนี้ ต้องอัพสกิล data engineer จะ value added ขึ้นมากๆครับ เท่าที่อ่านดูเหมือนท่านจะเป็น DA เอาใจช่วยฮะ อีกอย่าง power bi เวลา on cloud ผ่าน microsoft fabric นี่ต่อ data source พวก database data warehouse ตรงๆเลยนี่ refresh สะดวกกว่ามากๆครับ กรณีท่านจะ public แบบ online นะ

ผมเป็น สหวิชาชีพใน รพ.เฉยๆ ครับ ไม่ใช่ไอที ไม่ได้มีความรู้ลึกในด้านไอทีมาก แต่จะช่วยผู้บริหาร และ หัวหน้างาน ใน รพ. ให้ดูข้อมูลง่ายๆ แบบเป็น Dashboard กลาง

แต่ดูแล้วน่าจะเกินฝีมือไปหน่อยครับ

เข้าใจ pain point เลยครับ data ที่ท่านได้คือต้องรอ it query ลง excel ให้ตลอดเวลางี้หลอครับ
ปล. ถ้า ท่านเข้าไม่ถึง data source ข้อจำกัดคือ ต้องใช้งานจาก ทรัพยากรที่มีอยู่ แล้วอยาก automated process ลองศึกษา tools อื่นๆเพิ่มเติมครับ เพื่อนสมาชิกแนะนำ data flows มาก็ถือว่าน่าจะตอบโจทย์ในมุม user ครับเพราะไม่ต้อง etl ผ่านหลังบ้าน

บางตัวคิวรี่เอง (แบบง่ายๆไม่ซับซ้อน) อีกส่วนก็มีรายงานเฉพาะที่ฝั่งไอทีเค้าเขียนไว้ ผมแค่เลือกช่วงเวลา

เดี่ยวต้องบอก ผบห. แล้วแหละ ให้ไอทีไปเขียนต่อเป็น Dashboard ให้เสร็จเถอะ

แนะนำนะครับ ถ้า it ไม่อยากให้ยุ่งกับ live database ให้เค้า ทำตัว replicated database หรือไม่งั้นก็ ทำ database สำรองแล้ว restore data เป็น T-1 ทุกวันให้ท่านใช้งานแทน แล้วต่อตรง จากก้อนนั้น เอาครับในส่วน data ท่านอาจจะให้ it ช่วย query ให้ connected เข้า power bi แล้วหลังจากนั้นท่านก็มาทำ ฝั่ง Dashboard เองต่อได้เลยครับ กรณีนี้ถ้าท่าน พอจะมี power คุยกับแผนกอื่นได้หน่อยนะครับเพราะต้องขอความช่วยเหลือเค้า

ถ้า data เยอะจะทำให้ dashboard ช้าครับ เป็นเหมือนกันแทบทุกโปรแกรม

วิธีแก้คือ จัดการ data ก่อนครับ เช่น ทำเป็นตารางเล็กลง ตัดข้อมูลที่ไม่ได้ใช้ ก่อนนำไปใส่ powerbi/tableau ครับ ตัวโปรแกรมก็จะเร็วขึ้นครับ

set dataflow ดึงข้อมูลจาก excel มาเขียน queries พักไว้
ทำใน power bi get data จาก dataflow มาทำเปน visual report
แล้วต่อไป จขกท ก็แค่ update excel แล้ว set bi ให้ refresh ทุกวัน ทุกวีค จบเลยครับ ข้อมูลจากitก็ปล่อยเค้าทำไป อย่าเปลี่ยนชื่อไฟล์ ชื่อคอลัมพอ

Snap Short หรือเกาะ View ไม่ได้เหรอ ถ้าไม่ไห้ดึงตรงๆ

ผมเป็น Data Warehouse ผมก็แนะนำ User ที่จะทำ Powerbi ทำงี้

ผมก็ทำ Aumation Store Procedure ไปทำใน Table View แล้วให้เค้าไปทำ Dashboard ต่อได้

บางทีพี่อาจจะต้องเขียน Request Job ไปครัช

ลองหาทางดูครัช

ทำได้ครับ RAW Data จาก Source ไหนก็ไหว ยิ่งค่าย MS เร็วเลย(POWER BI นะ) ลองศึกษาเรื่อง DAX ดูครับ ช่วยให้เร็วขึ้นได้ พึ่งพา IT น้อยลงเยอะ

หรืออีกวิธีนึง ลองให้ IT ช่วย Cleansing Data ให้ก่อน Records อาจจะลดลงก็ได้(ถ้าคุยได้นะ)

ส่วนตัว ไม่เคยดึงจาก Excel เยอะขนาดนี้ เคยดึงแต่ Transaction Data จาก Database ข้อมูลหลายล้าน Record ก็ไม่ช้านะครับ