Προγραμματισμός για Επιχειρηματική Αναλυτική · Εβδομάδες 7–8 · φόρτωση Python…

pandas: συγκεντρωτικά με groupby

Ένας διαδραστικός οδηγός για την τάξη και το σπίτι, σε 8 βήματα. Μέχρι τώρα απαντούσαμε ερωτήσεις για όλο τον πίνακα ή για ένα φίλτρο του. Οι περισσότερες επιχειρηματικές ερωτήσεις όμως έχουν τη λέξη «ανά»: έσοδα ανά προϊόν, παραγγελίες ανά πόλη, ποσοστό online ανά κατηγορία. Αυτό κάνει το groupby. Ο κώδικας τρέχει μέσα στον browser σου, με το ίδιο store_orders.csv των εβδομάδων 5–6· την πρώτη φορά η φόρτωση του pandas θέλει 10–20 δευτερόλεπτα.

ΤΟ ΑΡΧΕΙΟstore_orders.csv: 60 παραγγελίες, 8 στήλες (order_id, date, item, category, unit_price, quantity, channel, city). Σε κάθε παράδειγμα υποθέτουμε ότι έχει ήδη τρέξει η φόρτωση και η στήλη revenue: orders = pd.read_csv("store_orders.csv") και orders["revenue"] = orders["unit_price"] * orders["quantity"].

1. Από το value_counts στο groupby

Το value_counts() απαντούσε «πόσες παραγγελίες ανά προϊόν». Το groupby("item") κάνει το ίδιο αλλά γενικά: χωρίζει τον πίνακα σε ομάδες (μία ανά τιμή της στήλης), εφαρμόζει έναν υπολογισμό σε κάθε ομάδα και ενώνει τα αποτελέσματα. Αυτό το μοτίβο λέγεται split – apply – combine. Με .size() μετράς γραμμές· με ["στήλη"].sum() αθροίζεις μια στήλη ανά ομάδα.

Τι κάνει το groupby «από κάτω»; Ακριβώς αυτό που θα έκανες με ένα φίλτρο ανά ομάδα, μόνο που δεν χρειάζεται να ξέρεις τις ομάδες από πριν και δεν γράφεις βρόχο:

Δες το split – apply – combine πάνω σε 8 γραμμές. Γράψε π.χ. groupby("channel")["quantity"].sum(), groupby("item").size(), groupby("category")["unit_price"].mean(), groupby("city")["quantity"].max():

ΔΙΑΒΑΣΕ ΤΟ ΑΠΟ ΑΡΙΣΤΕΡΑorders.groupby("item")["revenue"].sum() = «πάρε τις παραγγελίες, χώρισέ τες ανά προϊόν, κράτα τη στήλη revenue, άθροισε μέσα σε κάθε ομάδα». Τρία κομμάτια: κλειδί ομαδοποίησης, στήλη, στατιστικό.
Άσκηση 1

Δύο ομαδοποιήσεις: μία που μετρά γραμμές, μία που αθροίζει στήλη. Παρατήρησε ότι η Larisa έχει 3 παραγγελίες ενώ 4 γραμμές δεν έχουν πόλη καθόλου: το groupby αγνοεί τις γραμμές με NaN στο κλειδί.

2. Στατιστικά ανά ομάδα και τι επιστρέφει

Μετά το ["στήλη"] μπορείς να βάλεις ό,τι στατιστικό ήξερες από τα Series: sum, mean, median, min, max, count, std. Το αποτέλεσμα είναι ένα Series με ευρετήριο τις ομάδες, άρα μπορείς να το ταξινομήσεις, να πάρεις τα πρώτα, ή να ζητήσεις μια ομάδα με το όνομά της.

Με διπλές αγκύλες και λίστα στηλών παίρνεις DataFrame: ένα στατιστικό για κάθε στήλη, ανά ομάδα. Το round() βοηθά στο διάβασμα.

ΜΕΣΟΣ ΟΡΟΣ ΤΙΝΟΣ;Το orders.groupby("item")["quantity"].mean() είναι η μέση ποσότητα ανά παραγγελία για κάθε προϊόν, όχι ανά μήνα ή ανά πελάτη. Η μονάδα της «γραμμής» καθορίζει τι σημαίνει ο μέσος όρος. Στο Instacart θα έχει σημασία: γραμμή = προϊόν μέσα σε παραγγελία.
Άσκηση 2

Τρία στατιστικά ανά ομάδα. Για το τρίτο θυμήσου το argmax της NumPy: στο pandas η idxmax() επιστρέφει την ετικέτα (εδώ το όνομα της πόλης) του μεγίστου.

3. Δύο κλειδιά και reset_index

Με λίστα στο groupby ομαδοποιείς κατά δύο (ή περισσότερες) στήλες: μία ομάδα για κάθε συνδυασμό. Το αποτέλεσμα έχει ευρετήριο δύο επιπέδων, που διαβάζεται αλλά δεν είναι βολικό για φίλτρα ή ταξινόμηση. Το reset_index() το μετατρέπει σε κανονικό DataFrame με στήλες.

ΠΟΤΕ RESET_INDEXΌταν θες να συνεχίσεις να δουλεύεις με το αποτέλεσμα σαν πίνακα: φίλτρο (by_item[by_item["revenue"] > 3000]), ταξινόμηση κατά στήλη, συνένωση με άλλον πίνακα (εβδομάδα 9), γράφημα. Αν απλώς το τυπώνεις, δεν χρειάζεται.
Άσκηση 3

Δύο κλειδιά, reset_index, ταξινόμηση κατά στήλη. Η αλυσίδα: groupby → sum → reset_index → sort_values → head.

4. agg: πολλά στατιστικά με μία κίνηση

Συχνά θέλεις για κάθε ομάδα και το πλήθος και το σύνολο και τον μέσο. Το agg() δέχεται μια λίστα στατιστικών (για μία στήλη), ένα λεξικό {στήλη: στατιστικό} (διαφορετικό ανά στήλη), ή ονομασμένα αποτελέσματα όνομα=("στήλη", "στατιστικό"), που είναι η πιο καθαρή γραφή γιατί διαλέγεις εσύ τα ονόματα των στηλών.

ΟΝΟΜΑΤΑ ΣΤΑΤΙΣΤΙΚΩΝΜέσα στο agg τα στατιστικά γράφονται ως string: "sum", "mean", "median", "min", "max", "count", "std", "nunique" (πόσες διαφορετικές τιμές). Το "average" δεν υπάρχει: AttributeError.
Άσκηση 4

Ο «πίνακας-σύνοψη» που θα βλέπεις σε κάθε αναφορά: μία γραμμή ανά ομάδα, τρία-τέσσερα νούμερα η καθεμία.

5. Ποσοστά ανά ομάδα: ο μέσος όρος ενός True/False

Το κόλπο της εβδομάδας 4 (μέσος όρος σε True/False = ποσοστό των True) γίνεται πολύ δυνατό μέσα σε groupby. Φτιάχνεις μια στήλη από True/False (π.χ. «είναι online;») και ζητάς τον μέσο της ανά ομάδα: παίρνεις το ποσοστό ανά ομάδα. Το sum() της ίδιας στήλης δίνει το πλήθος.

ΠΡΟΣ ΤΟ INSTACARTΤο «reorder probability» ενός προϊόντος είναι ακριβώς αυτό: μια στήλη True/False «ήταν επαναγορά;» και groupby("product")["reordered"].mean(). Με 3 εκατομμύρια γραμμές, η ίδια μία γραμμή κώδικα.
Άσκηση 5

Δύο ποσοστά ανά ομάδα. Παρατήρησε ότι laptop και monitor έχουν 0.00: κανείς δεν αγοράζει 5 laptop μαζί. Ένα ποσοστό 0 είναι κι αυτό πληροφορία.

6. pivot_table: δύο κλειδιά σε γραμμές και στήλες

Το groupby με δύο κλειδιά έδινε μια «μακριά» λίστα. Το pivot_table βάζει το ένα κλειδί στις γραμμές και το άλλο στις στήλες, όπως ο συγκεντρωτικός πίνακας του Excel: values τι μετράς, index οι γραμμές, columns οι στήλες, aggfunc το στατιστικό. Με fill_value=0 γεμίζεις τα κενά και με margins=True παίρνεις σύνολα.

ΤΟ NaN ΣΤΟ WEBCAM / STOREΔεν είναι 0 έσοδα: είναι «δεν υπάρχει τέτοιος συνδυασμός». Το fill_value=0 το κάνει 0 για να διαβάζεται, αλλά να ξέρεις τη διαφορά. Και το «All» στο δεύτερο παράδειγμα είναι 56, όχι 60: οι 4 παραγγελίες χωρίς πόλη δεν μπήκαν σε καμία στήλη.
Άσκηση 6

Τέσσερα ορίσματα με όνομα: values, index, columns, aggfunc. Και ένα πέμπτο για τα κενά.

7. Ανά μήνα: ημερομηνίες, και τα σφάλματα του groupby

Η στήλη date διαβάστηκε ως κείμενο (object). Με pd.to_datetime() γίνεται πραγματική ημερομηνία, και τότε το .dt σου δίνει μήνα, ημέρα εβδομάδας, έτος: orders["date"].dt.month. Μια στήλη «μήνας» είναι ένα ακόμη κλειδί για groupby, και ξαφνικά έχεις τις μηνιαίες πωλήσεις της εβδομάδας 3, από τα πραγματικά δεδομένα.

Τα σφάλματα του groupby που θα δεις πρώτα

ΜήνυμαΤι σημαίνειΔιόρθωση
KeyError: 'Item'Το κλειδί του groupby δεν είναι στήλη (κεφαλαία/πεζά)orders.columns
TypeError: agg function failed [how->mean, dtype->object]Ζήτησες mean() σε όλες τις στήλες, και κάποιες είναι κείμενοΔιάλεξε στήλη: ["revenue"].mean(), ή mean(numeric_only=True)
AttributeError: 'SeriesGroupBy' object has no attribute 'average'Δεν υπάρχει στατιστικό με αυτό το όνομα"mean" (sum, mean, median, min, max, count, std, nunique)
KeyError: 'item' (μετά από groupby)Το κλειδί έγινε ευρετήριο, δεν είναι πια στήληreset_index(), ή ζήτησε την ομάδα: by_item["laptop"]

Τρέξε, διάβασε, διόρθωσε ένα σφάλμα τη φορά:

Άσκηση 7

Ένα KeyError, ένα AttributeError και ένα KeyError «μετά το groupby». Πάτησε «Έλεγξε», διάβασε το μήνυμα, διόρθωσε, ξαναπάτησε.

8. Τελικό κουίζ

Δώδεκα ερωτήσεις από όλη την ενότητα. Σκέψου πρώτα, μετά απάντησε· αν αμφιβάλλεις, άνοιξε το παράθυρο κώδικα στο τέλος και δοκίμασέ το.

Δοκιμαστήριο

ΓΙΑ ΤΟ ΣΠΙΤΙΕργασία: ολοκλήρωσε και τα 8 βήματα αυτής της σελίδας (κουίζ και ασκήσεις) και γράψε σε Google Colab, με το store_orders.csv, τρεις δικές σου ερωτήσεις «ανά …» και τις απαντήσεις τους. DataCamp: Data Manipulation with pandas, κεφάλαιο 2 (Aggregating DataFrames). Επόμενη ενότητα: συνένωση πινάκων με merge.