DataFrames: The Good, Bad, and Ugly
18 likes12,902 views
The document discusses different data frame interfaces, including their strengths and weaknesses. It describes R data frames as having a thin layer on top of R lists with simple column/row selection. Key R packages like dplyr and data.table add functionality. Spark DataFrames provide a pandas-inspired API for tabular data manipulation across languages. While progressing towards decoupling, interfaces still bind users to their specific systems. The author advocates for quality tools forged through real-world usage.
Ad
More Related Content
What's hot (20)
Viewers also liked (16)
Ad
Similar to DataFrames: The Good, Bad, and Ugly (20)
Ad
More from Wes McKinney (20)
Recently uploaded (20)
DataFrames: The Good, Bad, and Ugly
- 1. 1 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย DataFrames: ย The ย Good, ย Bad, ย and ย Ugly ย Wes ย McKinney ย @wesmckinn ย NY ย R ย Conference, ย 2015-ยญโ04-ยญโ25 ย
- 2. 2 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Disclaimer: ย the ย views ย presented ย in ย this ย talk ย are ย my ย personal ย opinions ย and ย not ย necessarily ย those ย of ย Cloudera ย
- 3. 3 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย This ย talk ย โขโฏ Some ย commentary ย on ย all ย the ย data ย frame ย interfaces ย out ย there ย โขโฏ Biased ย observaTons ย and ย cursory ย judgments ย โขโฏ Thoughts ย on ย craVing ย high ย quality ย data ย tools ย
- 4. 4 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Disclaimer ย #2: ย This ย is ย a ย nuanced ย discussion ย
- 5. 5 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Who ย am ย I? ย โขโฏ Father ย of ย pandas ย (2008 ย -ยญโ ย ) ย ย โขโฏ Financial ย analyTcs ย in ย R ย / ย Python ย starTng ย 2007 ย โขโฏ 2010-ยญโ2012 ย โขโฏHiatus ย from ย gainful ย employment ย โขโฏMake ย pandas ย ready ย for ย primeTme ย โขโฏWrite ย "Python ย for ย Data ย Analysisโ ย โขโฏ 2013-ยญโ2014: ย DataPad ย with ย Chang ย She ย & ย co ย โขโฏ 2014 ย -ยญโ ย : ย Cloudera ย
- 6. 6 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Whatโs ย in ย a ย DataFrame? ย ย ย ย
- 7. 7 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Whatโs ย in ย a ย DataFrame? ย A ย table ย with ย some ย rows ย By ย any ย other ย name ย ย ย ย ย ย ย ย ย ย ย would ย analyze ย as ย sweet. ย
- 8. 8 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Got ย a ย table? ย ย
- 9. 9 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Got ย a ย table? ย Put ย a ย DataFrame ย (interface) ย on ย it! ย
- 10. 10 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย What ย is ย this ย โdata ย frameโ ย that ย you ย speak ย of ย โขโฏ A ย table-ยญโlike ย data ย structure ย โขโฏ An ย API ย / ย user ย interface ย for ย the ย table ย โขโฏSelecTng ย data ย โขโฏMath ย and ย relaTonal ย algebra ย (join, ย ๏ฌlter, ย etc.) ย โขโฏFile ย / ย database ย IO ย โขโฏad ย in๏ฌnitum ย
- 11. 11 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Some ย axes ย of ย comparison ย โขโฏ Data ย structure ย internals ย (types, ย in-ยญโmemory ย representaTon, ย etc.) ย โขโฏ Basic ย table ย API ย โขโฏ RelaTonal ย algebra ย support ย โขโฏ Group-ยญโby ย / ย split-ยญโapply-ยญโcombine ย API ย โขโฏ Performance, ย memory ย use, ย evaluaTon ย semanTcs ย โขโฏ Missing ย data ย โขโฏ Data ย Tdying ย / ย ETL ย tools ย โขโฏ IO ย uTliTes ย โขโฏ Domain ย speci๏ฌc ย tools ย (e.g. ย Tme ย series) ย โขโฏ โฆ ย
- 12. 12 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย The ย Great ย Data ย Tool ย Decouplingโข ย โขโฏ Thesis: ย over ย Tme, ย user ย interfaces, ย data ย storage, ย and ย execuTon ย engines ย will ย decouple ย and ย specialize ย โขโฏ In ย fact, ย you ย should ย really ย want ย this ย to ย happen ย โขโฏShare ย systems ย among ย languages ย โขโฏReduce ย fragmentaTon ย and ย โlock-ยญโinโ ย โขโฏShiV ย developer ย focus ย to ย usability ย ย โขโฏ PredicTon: ย weโll ย be ย there ย by ย 2025; ย sooner ย if ย we ย all ย get ย our ย act ย together ย
- 13. 13 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย CraVing ย quality ย data ย tools ย โขโฏ Quality ย / ย usefulness ย is ย usually ย forged ย by ย the ย ๏ฌre ย of ย basle ย โขโฏ Real ย world ย use ย cases ย and ย social ย proof ย trump ย theory ย โขโฏ Eat ย that ย dog ย food ย โขโฏ When ย in ย doubt? ย Look ย at ย the ย test ย suite. ย
- 14. 14 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย R ย data ย frames ย โขโฏ Thin ย layer ย on ย top ย of ย R ย list ย type ย โขโฏSequence ย of ย named ย vectors ย โขโฏCan ย have ย row ย names ย (any ย R ย vector) ย โขโฏ Simple ย column ย and ย row ย selecTon ย API ย โขโฏ AnalyTcs, ย data ย transformaTon, ย etc. ย leV ย to ย base ย package ย and ย add-ยญโon ย libraries ย โขโฏ Richness ย / ย usability ย comes ย largely ย from ย libraries ย
- 15. 15 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Some ย awesome ย R ย data ย frame ย stu๏ฌ ย โขโฏ โHadley ย Stackโ ย โขโฏdplyr, ย Tdyr ย โขโฏlegacy: ย plyr, ย reshape2 ย ย โขโฏggplot2 ย โขโฏ data.table ย (data.frame ย + ย indices, ย fast ย algorithms) ย โขโฏ xts ย : ย Tme ย series ย ย
- 16. 16 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย R ย data ย frames: ย rough ย edges ย โขโฏ Copy-ยญโon-ยญโwrite ย semanTcs ย โขโฏ API ย fragmentaTon ย / ย inconsistency ย โขโฏUse ย the ย โHadley ย stackโ ย for ย improved ย sanity ย โขโฏ Factor ย / ย String ย dichotomy ย โขโฏstringsAsFactors=FALSE ย a ย blessing ย and ย curse ย โขโฏ Somewhat ย limited ย type ย system ย
- 17. 17 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย dplyr ย โขโฏ Composable ย table ย API ย โขโฏ Good ย example ย of ย what ย the ย โdecoupledโ ย future ย might ย look ย like ย โขโฏNew ย in-ยญโmemory ย R/RCpp ย execuTon ย engine ย โขโฏSQL ย backends ย for ย large ย subset ย of ย API ย
- 18. 18 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Spark ย DataFrames ย โขโฏ R/pandas-ยญโinspired ย API ย for ย tabular ย data ย manipulaTon ย in ย Scala, ย Python, ย etc. ย โขโฏ Logical ย operaTon ย graphs ย rewrisen ย internally ย in ย more ย e๏ฌcient ย form ย โขโฏ Good ย interop ย with ย Spark ย SQL ย โขโฏ Some ย interoperability ย with ย pandas ย โขโฏ ParTal ย API ย Decoupling! ย (it ย sTll ย binds ย you ย to ย Spark) ย
- 19. 19 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย pandas ย โขโฏ Several ย key ย data ย structures, ย data ย frame ย among ย them ย โขโฏ Considerably ย more ย complex ย internals ย than ย other ย data ย frame ย libraries ย โขโฏ Some ย good ย things ย โขโฏBorn ย of ย need ย โขโฏA ย โbaseries ย includedโ ย approach ย โขโฏHierarchical ย axis ย labeling: ย addresses ย some ย hard ย use ย cases ย at ย expense ย of ย semanTc ย complexity ย โขโฏStrong ย Tme ย series ย support ย
- 20. 20 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย pandas: ย rough ย edges ย โขโฏ Axis ย labelling ย can ย get ย in ย the ย way ย for ย folks ย needing ย โjust ย a ย tableโ ย โขโฏ Ceded ย control ย of ย its ย type ย system ย / ย data ย repโn ย from ย day ย 1 ย to ย NumPy ย โขโฏ Ine๏ฌcient ย string ย handling ย (uses ย NumPy ย object ย arrays) ย โขโฏ Missing ย data ย handling ย less ย precise ย than ย other ย tools ย
- 21. 21 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Julia: ย DataFrames.jl ย โขโฏ Started ย by ย Harlan ย Harris ย & ย co ย โขโฏ Part ย of ย broader ย JuliaStats ย iniTaTve ย โขโฏMore ย R-ยญโlike ย than ย pandas-ยญโlike ย โขโฏVery ย acTve: ย > ย 50 ย contributors! ย ย โขโฏ STll ย comparaTvely ย early ย โขโฏLess ย comprehensive ย API ย โขโฏMore ย limited ย IO ย capabiliTes ย
- 22. 22 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Other ย data ย frames ย โขโฏ Saddle ย (Scala) ย โขโฏDevโd ย by ย Adam ย Klein ย (ex-ยญโAQR) ย at ย Novus ย Partners ย (๏ฌntech ย startup) ย โขโฏDesigned ย and ย used ย for ย ๏ฌnancial ย use ย cases ย โขโฏ Deedle ย (F# ย / ย .NET) ย โขโฏDevโd ย by ย AKโs ย colleagues ย at ย BlueMountain ย (hedge ย fund) ย โขโฏ GraphLab ย / ย Dato ย โขโฏReally ย good ย C++ ย data ย frame ย with ย Python ย interface ย โขโฏDual-ยญโlicensed: ย AGPL ย + ย Commercial ย โขโฏ Thatโs ย not ย all! ย Haskell, ย Go, ย uswโฆ ย
- 23. 23 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Weโre ย not ย done ย yet ย โขโฏ The ย future ย is ย JSON-ยญโlike ย โขโฏSupport ย for ย nested ย types ย / ย semi-ยญโstructured ย data ย is ย sTll ย weak ย โขโฏ Wanted: ย Apache-ยญโlicensed, ย community ย standard ย C/C++ ย data ย frame ย that ย we ย all ย use ย (R, ย Python, ย Julia) ย โขโฏ Bring ย on ย the ย Great ย Decoupling ย
- 24. 24 ย ยฉ ย Cloudera, ย Inc. ย All ย rights ย reserved. ย Thank ย you ย @wesmckinn ย