Ένας διαδραστικός οδηγός για την τάξη και το σπίτι, σε 8 βήματα. Μέχρι τώρα απαντούσαμε ερωτήσεις για όλο τον πίνακα ή για ένα φίλτρο του. Οι περισσότερες επιχειρηματικές ερωτήσεις όμως έχουν τη λέξη «ανά»: έσοδα ανά προϊόν, παραγγελίες ανά πόλη, ποσοστό online ανά κατηγορία. Αυτό κάνει το groupby. Ο κώδικας τρέχει μέσα στον browser σου, με το ίδιο store_orders.csv των εβδομάδων 5–6· την πρώτη φορά η φόρτωση του pandas θέλει 10–20 δευτερόλεπτα.
revenue: orders = pd.read_csv("store_orders.csv") και orders["revenue"] = orders["unit_price"] * orders["quantity"].Το value_counts() απαντούσε «πόσες παραγγελίες ανά προϊόν». Το groupby("item") κάνει το ίδιο αλλά γενικά: χωρίζει τον πίνακα σε ομάδες (μία ανά τιμή της στήλης), εφαρμόζει έναν υπολογισμό σε κάθε ομάδα και ενώνει τα αποτελέσματα. Αυτό το μοτίβο λέγεται split – apply – combine. Με .size() μετράς γραμμές· με ["στήλη"].sum() αθροίζεις μια στήλη ανά ομάδα.
Τι κάνει το groupby «από κάτω»; Ακριβώς αυτό που θα έκανες με ένα φίλτρο ανά ομάδα, μόνο που δεν χρειάζεται να ξέρεις τις ομάδες από πριν και δεν γράφεις βρόχο:
Δες το split – apply – combine πάνω σε 8 γραμμές. Γράψε π.χ. groupby("channel")["quantity"].sum(), groupby("item").size(), groupby("category")["unit_price"].mean(), groupby("city")["quantity"].max():
orders.groupby("item")["revenue"].sum() = «πάρε τις παραγγελίες, χώρισέ τες ανά προϊόν, κράτα τη στήλη revenue, άθροισε μέσα σε κάθε ομάδα». Τρία κομμάτια: κλειδί ομαδοποίησης, στήλη, στατιστικό.Δύο ομαδοποιήσεις: μία που μετρά γραμμές, μία που αθροίζει στήλη. Παρατήρησε ότι η Larisa έχει 3 παραγγελίες ενώ 4 γραμμές δεν έχουν πόλη καθόλου: το groupby αγνοεί τις γραμμές με NaN στο κλειδί.
Μετά το ["στήλη"] μπορείς να βάλεις ό,τι στατιστικό ήξερες από τα Series: sum, mean, median, min, max, count, std. Το αποτέλεσμα είναι ένα Series με ευρετήριο τις ομάδες, άρα μπορείς να το ταξινομήσεις, να πάρεις τα πρώτα, ή να ζητήσεις μια ομάδα με το όνομά της.
Με διπλές αγκύλες και λίστα στηλών παίρνεις DataFrame: ένα στατιστικό για κάθε στήλη, ανά ομάδα. Το round() βοηθά στο διάβασμα.
orders.groupby("item")["quantity"].mean() είναι η μέση ποσότητα ανά παραγγελία για κάθε προϊόν, όχι ανά μήνα ή ανά πελάτη. Η μονάδα της «γραμμής» καθορίζει τι σημαίνει ο μέσος όρος. Στο Instacart θα έχει σημασία: γραμμή = προϊόν μέσα σε παραγγελία.Τρία στατιστικά ανά ομάδα. Για το τρίτο θυμήσου το argmax της NumPy: στο pandas η idxmax() επιστρέφει την ετικέτα (εδώ το όνομα της πόλης) του μεγίστου.
Με λίστα στο groupby ομαδοποιείς κατά δύο (ή περισσότερες) στήλες: μία ομάδα για κάθε συνδυασμό. Το αποτέλεσμα έχει ευρετήριο δύο επιπέδων, που διαβάζεται αλλά δεν είναι βολικό για φίλτρα ή ταξινόμηση. Το reset_index() το μετατρέπει σε κανονικό DataFrame με στήλες.
by_item[by_item["revenue"] > 3000]), ταξινόμηση κατά στήλη, συνένωση με άλλον πίνακα (εβδομάδα 9), γράφημα. Αν απλώς το τυπώνεις, δεν χρειάζεται.Δύο κλειδιά, reset_index, ταξινόμηση κατά στήλη. Η αλυσίδα: groupby → sum → reset_index → sort_values → head.
Συχνά θέλεις για κάθε ομάδα και το πλήθος και το σύνολο και τον μέσο. Το agg() δέχεται μια λίστα στατιστικών (για μία στήλη), ένα λεξικό {στήλη: στατιστικό} (διαφορετικό ανά στήλη), ή ονομασμένα αποτελέσματα όνομα=("στήλη", "στατιστικό"), που είναι η πιο καθαρή γραφή γιατί διαλέγεις εσύ τα ονόματα των στηλών.
"sum", "mean", "median", "min", "max", "count", "std", "nunique" (πόσες διαφορετικές τιμές). Το "average" δεν υπάρχει: AttributeError.Ο «πίνακας-σύνοψη» που θα βλέπεις σε κάθε αναφορά: μία γραμμή ανά ομάδα, τρία-τέσσερα νούμερα η καθεμία.
Το κόλπο της εβδομάδας 4 (μέσος όρος σε True/False = ποσοστό των True) γίνεται πολύ δυνατό μέσα σε groupby. Φτιάχνεις μια στήλη από True/False (π.χ. «είναι online;») και ζητάς τον μέσο της ανά ομάδα: παίρνεις το ποσοστό ανά ομάδα. Το sum() της ίδιας στήλης δίνει το πλήθος.
groupby("product")["reordered"].mean(). Με 3 εκατομμύρια γραμμές, η ίδια μία γραμμή κώδικα.Δύο ποσοστά ανά ομάδα. Παρατήρησε ότι laptop και monitor έχουν 0.00: κανείς δεν αγοράζει 5 laptop μαζί. Ένα ποσοστό 0 είναι κι αυτό πληροφορία.
Το groupby με δύο κλειδιά έδινε μια «μακριά» λίστα. Το pivot_table βάζει το ένα κλειδί στις γραμμές και το άλλο στις στήλες, όπως ο συγκεντρωτικός πίνακας του Excel: values τι μετράς, index οι γραμμές, columns οι στήλες, aggfunc το στατιστικό. Με fill_value=0 γεμίζεις τα κενά και με margins=True παίρνεις σύνολα.
Τέσσερα ορίσματα με όνομα: values, index, columns, aggfunc. Και ένα πέμπτο για τα κενά.
Η στήλη date διαβάστηκε ως κείμενο (object). Με pd.to_datetime() γίνεται πραγματική ημερομηνία, και τότε το .dt σου δίνει μήνα, ημέρα εβδομάδας, έτος: orders["date"].dt.month. Μια στήλη «μήνας» είναι ένα ακόμη κλειδί για groupby, και ξαφνικά έχεις τις μηνιαίες πωλήσεις της εβδομάδας 3, από τα πραγματικά δεδομένα.
| Μήνυμα | Τι σημαίνει | Διόρθωση |
|---|---|---|
| KeyError: 'Item' | Το κλειδί του groupby δεν είναι στήλη (κεφαλαία/πεζά) | orders.columns |
| TypeError: agg function failed [how->mean, dtype->object] | Ζήτησες mean() σε όλες τις στήλες, και κάποιες είναι κείμενο | Διάλεξε στήλη: ["revenue"].mean(), ή mean(numeric_only=True) |
| AttributeError: 'SeriesGroupBy' object has no attribute 'average' | Δεν υπάρχει στατιστικό με αυτό το όνομα | "mean" (sum, mean, median, min, max, count, std, nunique) |
| KeyError: 'item' (μετά από groupby) | Το κλειδί έγινε ευρετήριο, δεν είναι πια στήλη | reset_index(), ή ζήτησε την ομάδα: by_item["laptop"] |
Τρέξε, διάβασε, διόρθωσε ένα σφάλμα τη φορά:
Ένα KeyError, ένα AttributeError και ένα KeyError «μετά το groupby». Πάτησε «Έλεγξε», διάβασε το μήνυμα, διόρθωσε, ξαναπάτησε.
Δώδεκα ερωτήσεις από όλη την ενότητα. Σκέψου πρώτα, μετά απάντησε· αν αμφιβάλλεις, άνοιξε το παράθυρο κώδικα στο τέλος και δοκίμασέ το.
merge.