(2009) 4 (4) ISSN

Transcript

1 Corney, Jonathan R. and Torres-Sánchez, Carmen and Jagadeesan, A. Prasanna and Regli, William C. and Lynn, A. (2009) Outsourcing labour to the cloud. International Journal of Innovation and Sustainable Development, 4 (4) ISSN , This version is available at Strathprints is designed to allow users to access the research output of the University of Strathclyde. Unless otherwise explicitly stated on the manuscript, Copyright and Moral Rights for the papers on this site are retained by the individual authors and/or other copyright owners. Please check the manuscript for details of any other licences that may have been applied. You may not engage in further distribution of the material for any profitmaking activities or any commercial gain. You may freely distribute both the url ( and the content of this paper for research or private study, educational, or not-for-profit purposes without prior permission or charge. Any correspondence concerning this service should be sent to the Strathprints administrator: strathprints@strath.ac.uk The Strathprints institutional repository ( is a digital archive of University of Strathclyde research outputs. It has been developed to disseminate open access research outputs, expose data about those outputs, and enable the management and persistent access to Strathclyde's intellectual output.

2 Ιντ. ϑ. Ιννοϖατιον ανδ Συσταιναβλε Dεϖελοπmεντ, ςολ. Ξ, Νο. Ψ, ΞΞΞΞ Ουτσουρχινγ λαβουρ το τηε χλουδ ϑονατηαν Ρ. Χορνεψ, Χαρmεν Τορρεσ Σ νχηεζ ανδ Α. Πρασαννα ϑαγαδεεσαν Dεπαρτmεντ οφ Dεσιγν, Μανυφαχτυρε ανδ Ενγινεερινγ Μαναγεmεντ, Υνιϖερσιτψ οφ Στρατηχλψδε, 75 Μοντροσε Στρεετ, Γλασγοω Γ1 1Ξϑ, ΥΚ Εmαιλ: ϕονατηαν.χορνεψ στρατη.αχ.υκ Εmαιλ: χαρmεν.τορρεσ στρατη.αχ.υκ Εmαιλ: ανανδα.ϕαγαδεεσαν στρατη.αχ.υκ Χορρεσπονδινγ αυτηορ Wιλλιαm Χ. Ρεγλι Dεπαρτmεντ οφ Χοmπυτινγ Σχιενχε, Dρεξελ Υνιϖερσιτψ, 3201 Αρχη Στρεετ, Πηιλαδελπηια, ΠΑ 19104, ΥΣΑ Εmαιλ: ρεγλι δρεξελ.εδυ Αβστραχτ: ςαριουσ φορmσ οφ οπεν σουρχινγ το τηε ονλινε ποπυλατιον αρε εσταβλισηινγ τηεmσελϖεσ ασ χηεαπ, εφφεχτιϖε mετηοδσ οφ γεττινγ ωορκ δονε. Τηεσε ηαϖε ρεϖολυτιονισεδ τηε τραδιτιοναλ mετηοδσ φορ ιννοϖατιον ανδ ηαϖε χοντριβυτεδ το τηε ενριχηmεντ οφ τηε χονχεπτ οφ οπεν ιννοϖατιον. Το δατε, τηε λιτερατυρε χονχερνινγ τηισ εmεργινγ τοπιχ ηασ βεεν σπρεαδ αχροσσ α διϖερσε νυmβερ οφ mεδια, δισχιπλινεσ ανδ αχαδεmιχ ϕουρναλσ. Τηισ παπερ αττεmπτσ φορ τηε φιρστ τιmε το συρϖεψ τηε εmεργινγ πηενοmενον οφ οπεν ουτσουρχινγ οφ ωορκ το τηε ιντερνετ υσινγ χλουδ χοmπυτινγ. Τηε παπερ δεσχριβεσ τηε ϖολυντεερ οριγινσ ανδ ρεχεντ χοmmερχιαλισατιον οφ τηισ βυσινεσσ σερϖιχε. Ιτ τηεν συρϖεψσ τηε χυρρεντ πλατφορmσ, αππλιχατιονσ ανδ αχαδεmιχ λιτερατυρε. Βασεδ ον τηισ, α γενεριχ χλασσιφιχατιον φορ χροωδσουρχινγ τασκσ ανδ α νυmβερ οφ περφορmανχε mετριχσ αρε προποσεδ. Αφτερ δισχυσσινγ στρενγτησ ανδ λιmιτατιονσ, τηε παπερ χονχλυδεσ ωιτη αν αγενδα φορ αχαδεmιχ ρεσεαρχη ιν τηισ νεω αρεα. Κεψωορδσ: χροωδσουρχινγ; οπεν ιννοϖατιον; χλουδ χοmπυτινγ; mιχρο ουτσουρχινγ; χρεατιον; εϖαλυατιον; οργανισατιον; νατυρε οφ τηε χροωδ; mανυφαχτυρινγ; γεοmετριχ ρεασονινγ; mεασυρεmεντ; αναλψσισ οφ ρεσυλτσ. Ρεφερενχε το τηισ παπερ σηουλδ βε mαδε ασ φολλοωσ: Χορνεψ, ϑ.ρ., Τορρεσ Σ νχηεζ, Χ., ϑαγαδεεσαν, Α.Π. ανδ Ρεγλι, W.Χ. (ξξξξ) Ουτσουρχινγ λαβουρ το τηε χλουδ, Ιντ. ϑ. Ιννοϖατιον ανδ Συσταιναβλε Dεϖελοπmεντ, ςολ. ξ, Νο. ψ, ππ.ξξ ξξ. Βιογραπηιχαλ νοτεσ: ϑονατηαν Ρ. Χορνεψ ισ α Προφεσσορ ιν τηε Dεπαρτmεντ οφ Dεσιγν Μανυφαχτυρε ανδ Ενγινεερινγ Μαναγεmεντ (DΜΕΜ) ατ Στρατηχλψδε Υνιϖερσιτψ ιν Γλασγοω, ωηερε ηε ηασ βεεν ινϖολϖεδ ιν τηε ρεσεαρχη οφ χροωδσουρχινγ αππλιεδ το ινδυστριαλ mανυφαχτυρε. Ιν τηε παστ, ηε ινϖεστιγατεδ Χοπψριγητ 200Ξ Ινδερσχιενχε Εντερπρισεσ Λτδ.

3 ϑ.ρ. Χορνεψ ετ αλ. ϖαριουσ τοπιχσ ιν mεχηανιχαλ ΧΑD/ΧΑΜ (ι.ε. 3D φεατυρε ρεχογνιτιον, 3D χοντεντ βασεδ ρετριεϖαλ, συβδιϖισιον φορ λαψερ mανυφαχτυρε ανδ αυτοmατεδ διγιταλ παιντινγ). Χαρmεν Τορρεσ Σ νχηεζ ισ α Ρεσεαρχη Φελλοω ιν τηε Dεπαρτmεντ οφ Dεσιγν Μανυφαχτυρε ανδ Ενγινεερινγ Μαναγεmεντ (DΜΕΜ) ατ Στρατηχλψδε Υνιϖερσιτψ ιν Γλασγοω. Βεφορε τηατ, σηε ωορκεδ φορ τηε παν Ευροπεαν Χονφεδερατιον οφ ϑυνιορ Εντερπρισεσ, βασεδ ιν Βρυσσελσ, ανδ ωασ ινϖολϖεδ ιν ινφορmατιον mαναγεmεντ ανδ πασσοϖερ οφ κνοω ηοω ιν ΣΜΕσ. Αλτηουγη ηερ mαιν ιντερεστσ αρε ιν βιο ινσπιρεδ σψστεmσ, ηερ χοντριβυτιον το τηατ ωορκ ωιτη ψουνγ εντρεπρενευρσ ανδ σταρτ υπσ χοντινυεσ τοδαψ. Α. Πρασαννα ϑαγαδεεσαν ισ α Ρεσεαρχη Φελλοω ιν τηε Dεπαρτmεντ οφ Dεσιγν Μανυφαχτυρε ανδ Ενγινεερινγ Μαναγεmεντ (DΜΕΜ) ατ Στρατηχλψδε Υνιϖερσιτψ ιν Γλασγοω ανδ α Σοφτωαρε Ενγινεερ ατ Σηαπεσπαχε Λτδ ωηερε ηε δεϖελοπσ α σοφτωαρε προδυχτ χαλλεδ Παρτ Βροωσερ, ωηιχη ηελπσ το σεαρχη ανδ βροωσε 3D ΧΑD mοδελσ βψ σηαπε. Ηε ωορκσ ιν αρτιφιχιαλ ιντελλιγενχε ανδ ροβοτιχσ, ωιτη εξτενσιϖε χοmmερχιαλ εξπεριενχε ιν Χ/Χ++, Βυιλδερ Χ++ ανδ ςισυαλ Χ++/Χ#.ΝΕΤ. Wιλλιαm Χ. Ρεγλι ισ α Προφεσσορ ιν τηε Dεπαρτmεντ οφ Χοmπυτερ Σχιενχε ιν τηε Χολλεγε οφ Ενγινεερινγ ατ Dρεξελ Υνιϖερσιτψ. Ηε πυρσυεσ ιντερδισχιπλιναρψ ρεσεαρχη σπαννινγ α νυmβερ οφ χοmπυτερ σχιενχε συβφιελδσ (αρτιφιχιαλ ιντελλιγενχε πλαννινγ, κνοωλεδγε βασεδ σψστεmσ, εϖολυτιοναρψ χοmπυτατιον, σολιδ mοδελλινγ ανδ γραπηιχσ, ιντερνετ χοmπυτινγ, δαταβασεσ ανδ ηυmαν χοmπυτερ ιντεραχτιον) ασ ωελλ ασ σεϖεραλ ενγινεερινγ δισχιπλινεσ (mεχηανιχαλ, ελεχτριχαλ, χιϖιλ ανδ σοφτωαρε ενγινεερινγ). 1 Ιντροδυχτιον Τηερε ισ γροωινγ εϖιδενχε τηατ τηε ιντερνετ χαν βε υσεδ το εφφιχιεντλψ διστριβυτε ωορκ το α γλοβαλ ωορκ φορχε ατ αλmοστ ζερο χοστ. Τηοσε λαβουρερσ δο νοτ βελονγ το α γρουπ, α χορπορατιον ορ α νετωορκ ανδ δο νοτ νεχεσσαριλψ εϖεν χοmmυνιχατε αmονγ τηεmσελϖεσ. Τηανκσ το ιντερνετ τεχηνολογψ, τηεψ χαν αχχεσσ τασκσ, εξεχυτε τηεm, υπλοαδ τηε ρεσυλτσ ανδ ρεχειϖε ϖαριουσ φορmσ οφ παψmεντ υσινγ ανψ ωεβ βροωσερ. Χλουδ χοmπυτινγ ηασ mαδε ιρρελεϖαντ βοτη τηε πηψσιχαλ λοχατιον οφ τηοσε ωορκερσ ανδ ωηερε τηε ρεσουρχεσ αρε ηοστεδ. Τηισ ισ α λαβουρ mαρκετ οπεν 24/7, ωιτη α διϖερσε ωορκφορχε αϖαιλαβλε το περφορm τασκσ θυιχκλψ ανδ χηεαπλψ. Χροωδσουρχινγ ηασ τηε ποτεντιαλ το ρεϖολυτιονισε τηε ωαψ ϕοβσ ρεθυιρινγ ηυmαν ϕυδγεmεντ αρε περφορmεδ βψ οφφερινγ α ϖιρτυαλ αυτοmατιον οφ τασκσ τηατ mιγητ αππεαρ σιmπλε φορ α ηυmαν βυτ εξτρεmελψ χοmπλιχατεδ φορ α χοmπυτερ το σολϖε (ε.γ. ισ τηερε α δογ ιν τηισ πιχτυρε? ). Wιτη τηισ ρεαλιτψ ιν mινδ, χροωδσουρχινγ ισ εmεργινγ ασ α τοολ το εναβλε οπεν ιννοϖατιον ιν φιρmσ τηατ λοοκ το αδϖανχε τηειρ τεχηνολογψ ορ ιmπροϖε τηειρ προδυχτσ υσινγ εξτερναλ χοντριβυτορσ. Ιτ οφφερσ φλεξιβιλιτψ ανδ ϖερσατιλιτψ το φαχιλιτατε τηοσε χολλαβορατιον αππροαχηεσ τηατ οπεν ιννοϖατιον χυρρεντλψ υτιλισεδ (Πισανο ανδ ςεργαντι, 2008). Τηε τερm χροωδσουρχινγ ωασ δεφινεδ βψ ϑεφφ Ηοωε ιν 2006 ασ τηε αχτ οφ α χοmπανψ ορ ινστιτυτιον τακινγ α φυνχτιον ονχε περφορmεδ βψ εmπλοψεεσ ανδ ουτσουρχινγ ιτ το αν υνδεφινεδ (ανδ γενεραλλψ λαργε) νετωορκ οφ πεοπλε ιν τηε φορm οφ αν οπεν χαλλ (Ηοωε, 2006). Τηε τωο mαιν ινγρεδιεντσ φορ αν αχτιϖιτψ το βε χονσιδερεδ χροωδσουρχεδ

4 Ουτσουρχινγ λαβουρ το τηε χλουδ αρε αν οπεν χαλλ ανδ λαργε νυmβερ οφ λαβουρερσ. Μιστακενλψ, τηε χροωδσουρχινγ λαβελ ισ σοmετιmεσ αττριβυτεδ το αχτιϖιτιεσ συχη ασ οπεν σουρχε προδυχτιον ορ χολλαβορατιϖε λεαρνινγ βψ τηε ονλινε χοmmυνιτιεσ. Τηεσε αχτιϖιτιεσ αρε εξεχυτεδ βψ πεοπλε ωηο χοmε τογετηερ ανδ σελφ οργανισε το προϖιδε α mεανινγφυλ παρτιχιπατιον. Ιν τηισ παπερ, ωε mακε α διστινχτιον βετωεεν βοττοm υπ ορ αδ ηοχ ϖεντυρεσ τηατ φορm χολλαβορατιϖε χοmmυνιτιεσ (ωηερε τψπιχαλλψ εαχη mακεσ αν ινχρεmενταλ χοντριβυτιον το αν ον γοινγ τασκ, ε.γ. προγραmmινγ) ανδ χροωδσουρχινγ. Φορ εξαmπλε, ιτ ισ ωελλ κνοων τηατ τηε ϖιδεογαmεσ mαρκετ ορ οπεν σουρχε σοφτωαρε (ε.γ. Λινυξ, Υβυντυ, ετχ.) ηαϖε βενεφιτεδ φροm τηε ωορκ οφ α φεω εντηυσιαστσ τηατ ιmπροϖεδ χοδινγ ανδ αδδ ινσ ωιτη νο εξπεχτατιονσ οφ γεττινγ ρεωαρδσ. Τηειρ σατισφαχτιον χαmε φροm κνοωινγ τηεψ ωερε χοντριβυτινγ το τηε ιmπροϖεmεντ οφ α πιεχε οφ σοφτωαρε, ιν ωηιχη εϖερψονε ωορκεδ χολλαβορατιϖελψ ανδ νονε γοτ παιδ. Α διχηοτοmψ ρισεσ ωηεν τηε χοmmυνιτψ σ χρεατιον βεχοmεσ βυσινεσσ ανδ ισ ηαρνεσσεδ βψ α χορπορατιον ιν ορδερ το οβταιν α βενεφιτ. Ασ Ηοωε (2006) ινδιχατεσ, χροωδσουρχινγ αππλιεσ α διφφερεντ στρατεγψ τηαν τηοσε ρυλινγ συχη ονλινε χοmmυνιτιεσ. Χοmmερχιαλ χροωδσουρχεδ ινιτιατιϖεσ αρε χλεαρλψ φορ προφιτ, τοπ βοττοm ινιτιατιϖεσ (ι.ε. οπεν χαλλσ) ωηερε α σινγλε χοmπανψ νοτ ονλψ οωνσ βυτ αλσο σελλσ τηε ρεσυλτσ τηατ τηε χροωδ (ι.ε. τηε λαργε νετωορκ) γενερατεσ. Τηε υσερ, βψ υσινγ α χοmmυνιχατιον χηαννελ, βεχοmεσ προδυχτιϖε, α ωορκερ, α λαβουρερ. Τηατ mεδιυm χαν βε ανψ ϖεηιχλε τηατ αλλοωσ τηε υσερ το βε χοννεχτεδ το α νετωορκ τηατ διστριβυτεσ ανδ ηαρϖεστσ τηε ρεσυλτσ (ε.γ. Αmαζον σ ΜΤυρκ σψστεm, Φιγυρε 1, ωηερε τασκσ αρε χαλλεδ ΗΙΤσ). Τψπιχαλλψ, τηε mεδιυm ισ τηε ιντερνετ ανδ τηε ΠΧ τηε τοολ, βυτ τηερε αρε οτηερ ινιτιατιϖεσ ωηερε mοβιλε πηονεσ αρε υσεδ (Εαγλε, 2009) βψ τηοσε ωιτηουτ αχχεσσ το τηε ιντερνετ ορ α βροαδβανδ χοννεχτιον, ε.γ. Αφριχαν χουντριεσ (Φιγυρε 2). Φιγυρε 1 Σχηεmατιχ οφ τηε Αmαζον σ ΜΤυρκ σψστεm φορ χροωδσουρχινγ τασκσ (σεε ονλινε ϖερσιον φορ χολουρσ)

5 ϑ.ρ. Χορνεψ ετ αλ. Φιγυρε 2 Λεϖελσ οφ ιντερνετ υσαγε ιν τηε ωορλδ (Wεγεν, 2008) (σεε ονλινε ϖερσιον φορ χολουρσ) Τηισ παπερ ισ στρυχτυρεδ ασ φολλοωσ: Σεχτιον 2 προποσεσ σοmε χλασσιφιχατιονσ οφ χροωδσουρχινγ αχτιϖιτιεσ ανδ χασε στυδιεσ. Εξεmπλαρσ οφ σοmε χατεγοριεσ αρε τηεν πρεσεντεδ ιν Σεχτιον 3 βεφορε τηε προβλεmσ οφ ασσεσσινγ, mεασυρινγ ανδ θυαντιφψινγ τηε περφορmανχε οφ χροωδσουρχινγ τασκσ (Σεχτιον 4). Λαστλψ, τηε δισχυσσιον, ιν Σεχτιον 5, πρεσεντσ αν αγενδα φορ αχαδεmιχ ρεσεαρχη ιν τηισ αρεα, ανδ Σεχτιον 6 δραωσ σοmε χονχλυσιονσ. Α σεχτιον τηατ αmαλγαmατεσ νοτεσ ωιτη βριεφ δεσχριπτιονσ οφ τηε χροωδσουρχινγ αχτιϖιτιεσ mεντιονεδ ιν τηισ παπερ ηασ βεεν αδδεδ ατ τηε ενδ. 2 Τηε ταξονοmψ οφ χροωδσουρχινγ Ιν mανψ εσταβλισηεδ δισχιπλινεσ, εξπεριενχε ηασ αλλοωεδ τηε χλασσιφιχατιον οφ τασκσ, ορ προβλεm τψπεσ, σο τηατ τηε mοστ αππροπριατε mετηοδολογιεσ ορ αναλψσισ mετηοδσ χαν βε εασιλψ ιδεντιφιεδ. Ηοωεϖερ, βεχαυσε οφ ιτσ ρεχεντ οριγινσ, α χλασσιφιχατιον οφ χροωδσουρχινγ τασκσ ηασ νοτ ψετ βεεν εσταβλισηεδ. Χονσεθυεντλψ, ιν τηισ σεχτιον ωε προποσε τηρεε ποσσιβλε χατεγορισατιονσ βασεδ υπον: νατυρε οφ τηε τασκ, νατυρε οφ τηε χροωδ ανδ νατυρε οφ τηε παψmεντ. Λατερ ιν τηε παπερ ωε δισχυσσ τηε ϖαλυε οφ τηεσε διστινχτιονσ ωηεν χονσιδερινγ αναλψσισ mετηοδσ ανδ σιτε mετριχσ. 2.1 Νατυρε οφ τηε τασκ Περηαπσ τηε mοστ οβϖιουσ χλασσιφιχατιον φορ χροωδσουρχεδ ωορκ χαν βε δονε ον τηε βασισ οφ τηε νατυρε οφ τηε τασκσ. Τηρεε mαιν τψπεσ οφ τασκσ υσεδ ιν χροωδσουρχινγ αρε ασ φολλοωσ:

6 Ουτσουρχινγ λαβουρ το τηε χλουδ 1 Χρεατιον τασκσ: Τηισ ισ προβαβλψ τηε mοστ λυχρατιϖε οφ τηε τηρεε χατεγοριεσ οφ α χροωδσουρχινγ αχτιϖιτψ. Ιν ιτ, χορπορατιονσ ανδ χοmπανιεσ αλιγν τηειρ εφφορτσ το ηαρϖεστ τηε χροωδ σ ιντελλεχτ ανδ οβταιν α σολυτιον το τηειρ προβλεm. Χλοτηινγ (ε.γ. Τηρεαδλεσσ 1 ) ανδ φυρνιτυρε (ε.γ. Μυϕ 2 ) δεσιγν, αδϖερτισεmεντ ανδ ΠΡ χαmπαιγνσ [ε.γ. Υνιλεϖερ (Σωενεψ, 2009)] ηαϖε βεεν δεσιγνεδ βψ ανονψmουσ λαβουρερσ ιν α νεω σπιν οφ υσερ χεντρεδ ιννοϖατιον. Βραβηαm (2008β) χλαιmσ τηατ τηε δεσιρε το mακε mονεψ, δεϖελοπ ινδιϖιδυαλ σκιλλσ ανδ ηαϖε φυν αρε τηε στρονγεστ mοτιϖατορσ φορ παρτιχιπατιον ιν τηεσε σορτ οφ αχτιϖιτιεσ. Εξαmπλεσ αρε νοτ λιmιτεδ το φορm ανδ αππεαρανχε. Dεσιγν προβλεmσ ηαϖε αλσο βεεν πρεσεντεδ ασ γαmεσ (DεΟριο ανδ Βερταχχο, 2009) ανδ τηε οβταινεδ ρεσυλτσ υσεδ το αυτοmατε δεχισιον mακινγ προχεσσ ιν ελεχτρονιχ δεσιγν. 2 Εϖαλυατιον τασκσ: Μαρκετ συρϖεψσ ανδ φεεδβαχκ χαλλσ φαλλ υνδερ τηισ χατεγορψ. Τηε χασε στυδψ πρεσεντεδ ιν Σεχτιον 3.3 ισ αν εξαmπλε οφ τηισ τψπε οφ τασκ ωηερε ωορκερσ εϖαλυατε τηε θυαλιτψ οφ εαχη ϖιεω. Σιmιλαρλψ Dολορεσ Λαβσ ωορκ ον αττραχτιϖενεσσ (DολορεσΛαβ, 2009α) (ωηερε τηε χροωδ ισ ασκεδ το ασσεσσ τηε αττραχτιϖενεσσ οφ πεοπλε ιν πηοτογραπησ) ισ ανοτηερ εξαmπλε οφ αν εϖαλυατιον τασκ. 3 Οργανισατιον τασκσ: Τηισ χατεγορψ ισ προβαβλψ ονε οφ τηε φιρστ αππλιχατιονσ οφ τηε χροωδσουρχινγ στρατεγψ ιν οπεν ιννοϖατιον. Ιmαγε ταγγινγ (Γοογλε, 3 Γαλαξψ Ζοο, 4 ετχ.), ωεβσιτεσ ρατινγ (ε.γ. ΣτυmβλεΥπον, ετχ.), τεξτ ρεχογνιτιον (ε.γ. ρεχαπτχηα 5 ), σπατιαλ λαψουτ ορδερινγ (ε.γ. ΦολδΙτ 6 ανδ παχκινγ) αρε εξαmπλεσ οφ οργανισινγ mιχρο τασκσ περφορmεδ βψ τηε χροωδ. Τρανσχριπτιον ανδ τρανσλατιον τασκσ χαν αλσο βε λιστεδ υνδερ τηισ ηεαδινγ. Σινχε τηεψ τενδ το βε τασκσ τηατ αρε ονλψ α χουπλε οφ σεντενχεσ λονγ, τηεσε χαν βε περφορmεδ ιν α φεω mινυτεσ ανδ ιν αν αυτοmατιχ φασηιον. 2.2 Νατυρε οφ τηε χροωδ Ιτ ισ αλσο ποσσιβλε το χατεγορισε χροωδσουρχινγ τασκσ ον τηε βασισ οφ τηε τψπε οφ ωορκερσ σουγητ. Ον τηισ βασισ, ωε ηαϖε δισχερνεδ τηρεε ποσσιβλε χλασσιφιχατιονσ (Φιγυρε 3). 1 Ανψ ινδιϖιδυαλ τασκσ: Τριϖιαλ τασκσ τηατ ανψονε χαν δο (ε.γ. ιmαγε ταγγινγ, ιδεντιφιχατιον οφ οβϕεχτσ, σηαπεσ, ετχ.), ορ τασκσ σεεκινγ σιmπλε ασσεσσmεντσ βασεδ ον ηυmαν ϕυδγεmεντ (ε.γ. ρατινγ, ρελεϖανχε ασσεσσmεντ, φεεδβαχκ ον α σερϖιχε, ετχ.). 2 Μοστ πεοπλε τασκσ: Τηεσε αρε τασκσ ωηιχη mοστ πεοπλε χαν δο (ε.γ. θυαντιφψ α προπερτψ συχη ασ φυνχτιοναλιτψ, ρεαδαβιλιτψ, ετχ.). Τηε φιναλ ουτχοmε ισ δραων φροm τηε αγγρεγατιον οφ mανψ ινδιϖιδυαλ ρεσπονσεσ. Τψπιχαλλψ τηε ιτεmσ το βε θυαντιφιεδ ηαϖε ιλλ δεφινεδ προπερτιεσ τηατ ρεθυιρε ϕυδγεmεντ. Φορ εξαmπλε, τηε χροωδ mιγητ βε ασκεδ το ασσεσσ τηε αττραχτιϖενεσσ οφ α νεω χαρ προφιλε ον α σχαλε οφ 1 το 10. Τηε σουγητ ρεσυλτ ισ τηε χοmβινατιον οφ α φεω ηυνδρεδ ρεσπονσεσ. Τασκσ συχη ασ τρανσλατιον ορ προοφ ρεαδινγ mιγητ φαλλ ιντο τηισ χλασσ ωηεν α νυmβερ οφ τρανσλατιονσ αρε χοmπαρεδ ανδ τηε ρεσυλτσ χοmπιλεδ. Τηε βεστ ρεσπονσε ωιλλ βε τηε αγγρεγατιον οφ αλλ ρεσπονσεσ το τηε τασκ. 3 Εξπερτ τασκσ, φορ ωηιχη πεοπλε ωιτη α υνιθυε αβιλιτψ, α σπεχιαλισατιον ορ α σπεχιφιχ σκιλλ αρε σουγητ. Τψπιχαλλψ τηισ ασσιγνmεντ ισ α διφφιχυλτ προβλεm, ανδ δυε το ιτσ νατυρε, ιτ δοεσ νοτ λενδ ιτσελφ το αγγρεγατινγ α νυmβερ οφ ρεσπονσεσ. Ιν γενεραλ, τηεσε αρε διφφιχυλτ προβλεmσ συχη ασ προτειν φολδινγ (ε.γ. ΦολδΙτ 6 ) ορ γεοmετριχ παχκινγ προβλεmσ (ε.γ. χασε στυδψ 3, Σεχτιον 3.4) ωηερε σοmε ινδιϖιδυαλσ εξηιβιτ αν εξχεπτιοναλ αβιλιτψ ανδ χοmπυτατιοναλ αππροαχηεσ αρε ΝΠ χοmπλετε (ι.ε. ηαϖε ινφινιτε σεαρχη σπαχε τηατ χαννοτ βε φυλλψ εξπλορεδ βψ εϖεν τηε mοστ ποωερφυλ χοmπυτερσ).

7 ϑ.ρ. Χορνεψ ετ αλ. Φιγυρε 3 Νατυρε οφ τηε χροωδ (σεε ονλινε ϖερσιον φορ χολουρσ) 2.3 Νατυρε οφ τηε παψmεντ 1 ςολυνταρψ χοντριβυτιον: ε.γ. χλιχκωορκερσ, 7 ΓαλαξψΖοο. Τηε ρεωαρδ ισ ονλψ τηε σατισφαχτιον οφ ηαϖινγ ηελπεδ α σοχιαλ ορ ηυmανιταριαν τασκ (Ποωελλ, 2008) ορ σοmε σmαλλ αmουντ οφ φαmε (ε.γ. τηε σεαρχη φορ Στεϖε Φοσσετ σ πλανε 8 ). 2 Ρεωαρδεδ χοντριβυτιον ατ α φλατ ρατε: ε.γ. εϖαλυατιον οφ Wικιπεδια αρτιχλεσ (Κιττυρ ετ αλ., 2008). Αλλ ωορκερσ αρε παιδ α φιξεδ αmουντ φορ αχχεπταβλε ωορκ. 3 Ρεωαρδεδ χοντριβυτιον ωιτη α βονυσ ορ πριζε: (ε.γ. Χισχο Σψστεmσ 9 ). Βασεδ ον περφορmανχε, ορ σιmπλψ τηε ωιννερσ οφ α χοmπετιτιον. Ιν τηε ρεωαρδεδ χατεγοριεσ, παψmεντ χαν ϖαρψ φροm χαση το ιν κινδ (τοκενσ, ετχ.). Ονε οφ τηε mοστ βεστ κνοων χοmmερχιαλ πλατφορmσ φορ χροωδσουρχινγ ισ προβαβλψ Αmαζον σ ΜΤυρκ (ΜεχηανιχαλΤυρκ, 2009) ωηο οφφερ χαση ορ γιφτ ϖουχηερσ, βυτ τηερε αρε οτηερσ βροαδλψ υσεδ ωηοσε mαϕορ φορm οφ παψmεντ ισ χαση [ε.γ. Τασκχν ιν Χηινα (Ψανγ ετ αλ., 2008), τηε φρεελανχε πορταλσ Dονανζα.χοm ιν Ισραελ ανδ Ηυmανγριδ.δε ιν Γερmανψ, το ναmε ϕυστ α φεω εξαmπλεσ]. Ιν χοντραστ, τξτεαγλε (Εαγλε, 2009) παψσ ιν αιρτιmε. Τηε παψmεντ mαδε φορ α τασκ, νο mαττερ ηοω σmαλλ, ηασ α προφουνδ εφφεχτ ον τηε νατυρε οφ τηεσε αχτιϖιτιεσ βεχαυσε τηε ΙΠ φορ τηε χρεατιον οφ α προδυχτ, α χλασσιφιχατιον ορ α mαρκετ συρϖεψ βελονγσ το τηε χοmπανψ (υνλικε οπεν σουρχε προδυχτιον). Ηοωεϖερ, εϖεν ιν τηε ϖολυνταρψ χοντριβυτιον σχεναριο, χοmπανιεσ χαν στιλλ βενεφιτ οφ τηε ωορκ δονε βψ τηε υσερσ. Φορ υσερσ, χροωδσουρχινγ ισ αν οππορτυνιτψ το ηαϖε α δεmοχρατιχ χονσυmερ παρτιχιπατιον, το τακε παρτ ιν τηε προχεσσ προδυχτιον οφ σοmετηινγ τηεψ ωιλλ λατερ χονσυmε. Φορ χοmπανιεσ, χροωδσουρχινγ ισ αν οππορτυνιτψ το ρεδυχε τηειρ ρισκ ιν προδυχτ ιννοϖατιον ορ τηε mαναγεmεντ οφ α νεω προχεσσ. Σεϖεραλ χοmπανιεσ, φορ εξαmπλε ΧαmβριανΗουσε (2009) ανδ DολορεσΛαβ (2009χ), νοω οφφερ ιντεγρατεδ σολυτιονσ φορ χροωδηαρϖεστινγ οφ ρεσυλτσ οφφερεδ βψ τηε λαβουρερσ το τηε χοmπανψ τηατ ινιτιατεδ τηε οπεν χαλλ.

8 Ουτσουρχινγ λαβουρ το τηε χλουδ Φλατ ρατε παψmεντσ αρε οφτεν ϖερψ σmαλλ (ι.ε. 1 χεντ το α φεω δολλαρσ περ τασκ). Χονϖερσελψ, α βονυσ ορ πριζε χαν βε ϖερψ λαργε. Φορ εξαmπλε, Χισχο σαϖεδ mιλλιονσ υσινγ τηε ωιννερ σολυτιον οφ τηειρ ιπριζε χοmπετιτιον αmονγ τηοσε ωηο αττεmπτεδ το προποσε αν ιννοϖατιϖε βυσινεσσ πλαν φορ τηε χοmπανψ. Αλτηουγη τηε πριζε ωασ ονλψ 250,000, σοmε αυτηορσ (ε.γ. Βραβηαm, 2008α) δεφενδ τηε φαχτ τηατ τηε χοmπανψ στιλλ ηασ το τακε τηε βυρδεν ανδ ρισκ οφ mανυφαχτυρε οφ τηε προδυχτ, διστριβυτε ιτ ανδ σελλ ιτ. Το συmmαρισε τηισ σεχτιον, τηε χλασσιφιχατιονσ ανδ εξαmπλεσ ηαϖε βεεν ταβυλατεδ (Ταβλε 1). Ταβλε 1 Χρεατιον Εϖαλυατιον Οργανισατιον Χλασσιφιχατιον οφ σοmε εξαmπλεσ οφ χροωδσουρχινγ αχτιϖιτιεσ Ανψ ινδιϖιδυαλ Χροωδσπιριτ 10 (χουλδ βε ρεωαρδεδ) Ασσοχιατεδ χοντεντ 11 (ρεωαρδεδ) ε Ρεωαρδσ Μαρκετ Ρεσεαρχη (ρεωαρδεδ) Χανονιχαλ ϖιεωσ (ρεωαρδεδ) ΓαλαξψΖοο 4 (ϖολυνταρψ) Χλιχκωορκερσ 7 (ϖολυνταρψ) ΕΣΠ Γοογλε Ιmαγε λαβελλερ 3 (ϖολυνταρψ) ρεχαπτχηα 5 (ϖολυνταρψ) Μοστ πεοπλε (θυαλιφιχατιον mιγητ βε ρεθυιρεδ) ιστοχκπηοτο (λοω ρεωαρδ) Χροωδσπρινγ 12 (ρεωαρδεδ) τξτεαγλε (ρεωαρδεδ) ΥσερΤεστινγ 13 (ρεωαρδεδ) ΦυνΣΑΤ (DεΟριο ανδ Βερταχχο, 2009) (ϖολυνταρψ) ΧαmΧλιχκρ 15 (ϖολυνταρψ) Σηαπε σιmιλαριτψ (ρεωαρδεδ) Εξπερτσ Τηρεαδλεσσ 1 (ρεωαρδεδ) Χισχο Σψστεmσ 9 (ρεωαρδεδ) ΙννοΧεντιϖε 18 (ρεωαρδεδ) Στριπ παχκινγ (ρεωαρδεδ) Νοσαγο 14 (ρεωαρδεδ) ΦολδΙτ 6 (ϖολυνταρψ) Υσηαηιδι ανδ Wικιχριmεσ 16 (ϖολυνταρψ) 3 Χασε στυδιεσ οφ τηε οπεν ουτσουρχινγ οφ αν ινδυστριαλ mανυφαχτυρινγ τασκ Τηε φολλοωινγ χασε στυδιεσ αρε εξαmπλεσ οφ ρεωαρδεδ χροωδσουρχεδ ωορκ ωηερε εϖαλυατιον ανδ οργανισατιον τασκσ ηαϖε βεεν υσεδ το συππορτ ινδυστριαλ αππλιχατιονσ. Ιν τηεσε χασεσ, α χοντεντ βασεδ χλασσιφιχατιον ηαδ το βε περφορmεδ βψ τηε ωορκερσ. Τηε φιρστ χασε στυδψ ισ τηε Σηαπε Σιmιλαριτψ αππλιχατιον. Τηε χλασσιφιχατιον οφ 3D σηαπεσ mιγητ αππεαρ αν εασψ τασκ το ηυmανσ, βυτ ιτ ισ αν αλmοστ ιmποσσιβλε τασκ το περφορm βψ α mαχηινε. Τηε διφφιχυλτψ ιν δεφινινγ, ανδ τηερεφορε χαταλογυινγ χοmπλεξ σηαπεσ ορ τεξτυρεσ ηασ χαυσεδ ενγινεερινγ χοmπανιεσ (ϑαγαδεεσαν ετ αλ., 2009α; ϑαγαδεεσαν ετ αλ., 2009β) το τυρν το χροωδσουρχινγ το βε αβλε το χλασσιφψ τηειρ στοχκ. Ιν τηισ ωαψ, τηεψ φινδ α mορε εφφιχιεντ ωαψ το σεαρχη ιν τηειρ στορεσ φορ α σπεχιφιχ πιεχε ορ παρτ ρεθυιρεδ ιν τηε ασσεmβλψ ινστεαδ οφ ρε δραωινγ ανδ mανυφαχτυρινγ αγαιν φροm σχρατχη, ασ δονε τραδιτιοναλλψ βεχαυσε τηε σεαρχη οφ τηε παρτ ιν τηε στορε προϖεδ το βε mορε τεδιουσ ανδ τιmε χονσυmινγ τηατ ιτσ ρεmανυφαχτυρε. Τηε σεχονδ χασε στυδψ πρεσεντεδ ηερε ισ τηε Χανονιχαλ ϖιεω. Ιν τηισ χλασσιφιχατιον τασκ τηε χροωδ ωασ ασκεδ το χηοοσε ωηιχη οριεντατιον οφ α σεριεσ οφ 3D οβϕεχτσ ωασ τηε mοστ ρεπρεσεντατιϖε ϖιεω. Τηισ αππλιχατιον ωασ mοτιϖατεδ βψ ΧΑD/ΧΑΜ αππλιχατιονσ ιν ωηιχη εασψ ναϖιγατιον ανδ ιντυιτιϖε αππεαρανχε αρε ιmπορταντ ασπεχτσ (ε.γ. τηυmβναιλ

9 ϑ.ρ. Χορνεψ ετ αλ. χοmπονεντ δαταβασεσ ανδ ονλινε στορε χαταλογυεσ). Τηε τηιρδ χασε στυδψ ισ στριπ παχκινγ. Wορκερσ ωερε ινϖιτεδ το παχκ σηαπεσ ιν α λιmιτεδ σπαχε ιν τηε mοστ χοmπαχτ φασηιον ποσσιβλε. Ιν τηε 3D σχεναριο τηισ αππλιχατιον ισ οφ γρεατ ιντερεστ το ονλινε ρεταιλ ανδ σηιππινγ βυσινεσσεσ ωηοσε ποσταγε χοστσ ηαϖε το βε mινιmισεδ ωιτηουτ χοmπροmισινγ τηε ιντεγριτψ οφ τηε γοοδσ ιν τηε παρχελσ. Το γιϖε αν εξαmπλε οφ 2D αππλιχατιονσ, τηε νεστινγ οφ χοmπονεντσ ον σηεετσ ωιλλ σαϖε mατεριαλ δυρινγ τηειρ mανυφαχτυρε (ε.γ. mεταλ πυνχηινγ ορ φαβριχ χυττινγ). 3.1 Μετηοδολογψ φορ γεοmετριχ ρεασονινγ τασκσ ιν ΜΤυρκ Τηε χροωδσουρχινγ πλατφορm υσεδ ιν τηεσε σεριεσ οφ εξπεριmεντσ ωασ Αmαζον σ ΜΤυρκ (ΜεχηανιχαλΤυρκ, 2009). Ασ σηοων ιν Φιγυρε 1, τηε ρεθυεστερσ δεσιγνεδ ανδ πλαχεδ α τασκ. Ιν ΜΤυρκ, τασκσ γιϖεν το τηε ωορκερσ αρε χαλλεδ ΗΙΤσ. Ρεθυεστερσ χουλδ εσταβλιση α τηρεσηολδ οφ θυαλιφιχατιονσ το τηε προσπεχτιϖε ωορκερσ, ανδ τηεψ mαψ γετ τεστεδ βεφορε ενγαγινγ ιν α τασκ. Ρεθυεστερσ χουλδ αλσο αχχεπτ ορ ρεϕεχτ τηε ρεσυλτσ σεντ βψ τηε ωορκερσ, ωηιχη ηαδ αν ιmπαχτ ον τηε ωορκερ σ ρεπυτατιον ιν Αmαζον σ πορτφολιο. Ασ ιν mοστ οφ τηε χροωδσουρχεδ αχτιϖιτιεσ, τηεσε ωορκερσ ωερε ωελλ σπρεαδ αρουνδ τηε ωορλδ. Παψmεντσ φορ χοmπλετινγ τασκσ χουλδ βε ρεδεεmεδ ον Αmαζον.χοm ϖια γιφτ χερτιφιχατεσ ορ αλτερνατιϖελψ χασηεδ ανδ τρανσφερρεδ το α ωορκερ σ βανκ αχχουντ. Dεταιλσ ον τηε ΜΤυρκ ιντερφαχε δεσιγν, ηοω αν ΑΠΙ ισ υσεδ το πλαχε τηε ΗΙΤσ ανδ α τηορουγη δεσχριπτιον οφ τηε παρτιχιπαντσ χηαραχτεριστιχσ αρε νοτ ον τηε σχοπε οφ τηισ παπερ ανδ τηεσε, αλονγ ωιτη φυρτηερ δεταιλσ οφ εξπεριmενταλ ρεσυλτσ, χαν βε φουνδ ελσεωηερε (ϑαγαδεεσαν ετ αλ., 2009α; ϑαγαδεεσαν ετ αλ., 2009β). 3.2 Χασε στυδψ 1. Οργανισατιον τασκ ωιτη αγγρεγατεδ ανσωερ: χροωδσουρχινγ οφ σηαπε σιmιλαριτψ Το ινϖεστιγατε τηε χροωδ σ αβιλιτψ το mακε συβϕεχτιϖε ϕυδγεmεντσ αβουτ τηε ρελατιϖε σιmιλαριτψ οφ σηαπεσ, ωορκερσ ωερε ασκεδ το σορτ οϖερ 400 τηυmβναιλσ οφ 3D σηαπεσ ιντο φαmιλψ γρουπσ. Τηισ οπεν ενδ τασκ ωασ ρεωαρδεδ ωιτη α παψmεντ οφ 4 ανδ ωορκερσ τοοκ υπ το 37 mινσ 18 σεχ το χοmπλετε τηε τασκ. Τηε ρεσυλτσ ωερε αγγρεγατεδ υσινγ τηε mετηοδ δεσχριβεδ βψ ϑαγαδεεσαν ετ αλ. (2009β) ανδ δισπλαψεδ υσινγ α δενδογραm (Φιγυρε 7). Α σmαλλ εξαmπλε οφ τηε ποσσιβλε γρουπ οφ πιεχεσ χαν βε σεεν ιν Φιγυρε 4. Φιγυρε 4 Σιmιλαρ πιεχεσ γρουπεδ ιν φαmιλιεσ βψ τηε ωορκερσ (ϑαγαδεεσαν ετ αλ., 2009β) (σεε ονλινε ϖερσιον φορ χολουρσ) Χονταχτ Σωιτχηεσ: Βαχκδοορσ: Χυρϖεδ Ηουσινγσ: Χλιπσ:

10 Ουτσουρχινγ λαβουρ το τηε χλουδ 3.3 Χασε στυδψ 2. Εϖαλυατιον τασκ ωιτη α πολλ ον ινδιϖιδυαλ ρεσυλτσ: χροωδσουρχινγ οφ χανονιχαλ ϖιεωποιντσ Τηισ εξπεριmεντ ωασ δεσιγνεδ το ινϖεστιγατε τηε χροωδ σ αβιλιτψ το υνδερστανδ 2D ιmαγεσ οφ 3D ΧΑD mοδελσ. Τηισ ωασ α ρελατιϖελψ χονστραινεδ τασκ ινϖολϖινγ σελεχτιον φροm α λιmιτεδ νυmβερ οφ αλτερνατιϖεσ (Φιγυρε 5). Τηε υσερσ ωερε παιδ 0.15 περ ΗΙΤ, ανδ αλλ τηε ρεσυλτσ ωερε ρετυρνεδ ωιτηιν 1 η 21 mιν οφ τηε τασκ βεινγ σετ. Συβσεθυεντ ρουνδσ ωερε χοmπλετεδ ιν λεσσ τιmε (σετ 2: 23 mιν 45 σεχ; σετ 3: 41 mιν 22 σεχ; σετ 4: 42 mιν 41 σεχ), δεmονστρατινγ τηε εαγερνεσσ οφ τηε υσερσ ωηο, mοστ προβαβλψ, ωαιτεδ φορ τηε διφφερεντ ασσιγνmεντσ το βε πυβλισηεδ ανδ περφορm τηεm αγαιν. Φιγυρε 5 Ρεσυλτσ φορ τηε βεστ ϖιεω φορ τηισ χοmπονεντ (ιν βραχκετσ τηε φρεθυενχψ οφ σελεχτιον) (σεε ονλινε ϖερσιον φορ χολουρσ) 3.4 Χασε στυδψ 3. Χρεατιον τασκ ρεθυιρινγ εξπερτ ωορκερσ: χροωδσουρχινγ οφ στριπ παχκινγ Ιν τηισ χασε, τηε αιm ωασ το ινϖεστιγατε τηε χροωδ σ αβιλιτψ το δψναmιχαλλψ οπτιmισε α προβλεm ωιτη mανψ χοmπλεξ ιντεραχτιονσ βψ χρεατινγ ορ δεσιγνινγ τηε mοστ χοmπαχτ λαψουτ ιν αν αρεα (Φιγυρε 6). Τηε ρεσυλτσ φροm εαχη ινδιϖιδυαλ ωερε χοmπαρεδ ωιτη τηε παχκινγ δενσιτψ ρεσυλτινγ φροm τηε εσταβλισηεδ χοmπυτατιοναλ αλγοριτηmσ δεσιγνεδ φορ τηισ τασκ. Τηε στριπ παχκινγ ΗΙΤ ισ διφφερεντ φροm τηε τωο πρεϖιουσ ονεσ ιν τηατ ιτ ωασ νοτ λοοκινγ φορ αν αϖεραγεδ ορ χονσενσυσ σολυτιον, βυτ ρατηερ ιτ ωασ σεεκινγ τηε βεστ αmονγστ mανψ αττεmπτσ. Λικε mανψ δεσιγν τασκσ, ρεσυλτσ χαννοτ βε αϖεραγεδ ορ αγγρεγατεδ. Ιν τηισ χασε, υσερσ ωερε παιδ 3 (ωιτη α βονυσ οφ 0.5 περ 0.5% οφ ιmπροϖεmεντ ϖερσυσ α βεστ ρεσυλτ σηοων δυρινγ τηε αττεmπτ) ανδ σπεντ βετωεεν 1 η 24 mιν ανδ 26 mιν 20 σεχ ον τηε τασκ. Πλοττινγ τηε ρεσυλτσ, παχκινγ δενσιτψ ανδ τιmε, αλλοωεδ α χοmπαρισον αmονγ παρτιχιπαντσ.

11 ϑ.ρ. Χορνεψ ετ αλ. Φιγυρε 6 Ρεσυλτ οφ α Στριπ Παχκινγ τασκ. Τηισ υσερ σχορεδ τηε βεστ ρεσυλτ 89.41% παχκινγ ιν 1 η 6 mιν 58 σ) (σεε ονλινε ϖερσιον φορ χολουρσ) 3.5 Τηε χροωδ ιν τηεσε χασε στυδιεσ Σοmε ετηνογραπηιχ ινφορmατιον ωασ αλσο δραων φροm τηεσε χασε στυδιεσ ανδ χονφιρmσ ωηατ οτηερ αυτηορσ ηαϖε ρεπορτεδ αβουτ τηε νατυρε οφ πεοπλε ωορκινγ ον χροωδσουρχινγ αππλιχατιονσ (Ηοωε, 2006; Βραβηαm, 2008α; Κιττυρ ετ αλ., 2008): Γενδερ εθυαλιτψ: Τηε ωορκερσ αππεαρεδ το βε αν αλmοστ εθυαλ νυmβερ οφ mαλεσ ανδ φεmαλεσ. Αγε ρανγε: Τηε αγε προφιλε ωασ ϖερψ βροαδ (ρανγινγ φροm τεεναγερσ το ρετιρεδ πεοπλε). Θυαλιφιχατιονσ ανδ σκιλλσ: Τηερε ωασ νο χοmmον εδυχατιον ορ προφεσσιοναλ βαχκγρουνδ. Λοχατιον: Εξαmινατιον οφ τηε ωορκερσ ΙΠ αδδρεσσεσ συγγεστεδ τηατ τηεψ ωερε λιτεραλλψ α γλοβαλ ωορκφορχε, ΗΙΤσ ωερε ρετυρνεδ φροm Ινδια, ΥΣΑ ανδ Ευροπε (δεπενδινγ ον τηε τιmε οφ δαψ τηε ΗΙΤ ωασ mαδε αϖαιλαβλε). Τηε ωορκερσ χαρρψινγ ουτ τηε ΗΙΤσ ωερε κεεν το σπεχιαλισε ιν τασκσ τηεψ φουνδ εασψ ορ mορε ρεωαρδεδ. Τηε ωορκφορχε ηασ α ϖερψ λαργε χαπαχιτψ φορ ωορκ ανδ ρεσπονδσ θυιχκλψ. Ρεγαρδλεσσ οφ ωηεν ιν τηε δαψ ωορκ ωασ ποστεδ, αλλ τηε ωορκ ωασ δονε ωιτηιν 2 η. 4 Μεασυρινγ χροωδσουρχινγ ουτπυτ Αλτηουγη τηερε ισ α mψριαδ οφ τεξτσ ανδ αρτιχλεσ ον τηε ποτεντιαλ αππλιχατιονσ οφ χροωδσουρχινγ φορ τηε βενεφιτ οφ βοτη φορ προφιτ ανδ νον φορ προφιτ οργανισατιονσ, τηεσε σεεm το φοχυσ ον τηε εξπλοιτατιον οφ τηε οπεν χαλλσ (ι.ε. το γετ τηε βεστ ωορκερσ ωορκινγ ον τηειρ προποσεδ τασκσ, ηαρϖεστ τηε βεστ θυαλιτψ οφ ρεσυλτσ ανδ ιν τηε σηορτεστ τιmε) ρατηερ τηαν τηε εϖαλυατιον οφ τηε ρεσυλτσ. Τηισ σεχτιον αττεmπτσ το σετ σοmε ρεχοmmενδατιονσ φορ τηε εϖαλυατιον ανδ ασσεσσmεντ οφ ρεσυλτσ οβταινεδ φροm τηε χροωδ. Αυτοmατιον οφ τηισ αναλψσισ ισ οφ γρεατ ιντερεστ ιν τηοσε τασκσ ωηερε α λαργε νυmβερ οφ ρεσυλτσ αρε εξπεχτεδ ιν α σηορτ τιmε φραmε. 4.1 Αναλψσισ οφ χροωδσουρχινγ ρεσυλτσ Ιν ορδερ το σετ περφορmανχε mετριχσ φορ τηε ουτπυτ οβταινεδ φροm χροωδσουρχεδ ωορκ, τηε τψπε οφ τηε τασκ ηασ το βε τακεν ιντο χονσιδερατιον φιρστ. Τηερε αρε σεϖεραλ τψπεσ οφ θυεστιονσ τηατ χαν βε υσεδ το οφφερ ωορκ το τηε χροωδ. Βασεδ ον Βλοοm σ δεφινιτιον

12 Ουτσουρχινγ λαβουρ το τηε χλουδ (Κρατηωοηλ ανδ Βλοοm, 1956), τηε χογνιτιϖε λεϖελ τηατ νεεδσ το βε ενγαγεδ ιν ορδερ το ρεσπονδ το τηε διφφερεντ θυεστιονσ ορ τασκσ χαν βε δεσχριβεδ ασ (φροm λεαστ χηαλλενγινγ το mοστ): χοmπρεηενσιον, αππλιχατιον, αναλψσισ, ϕυδγεmεντ ανδ χρεατιον. Dεπενδινγ ον τηε λεϖελ, τηε θυεστιονσ (ορ τασκσ) ηαϖε το βε βυιλτ αχχορδινγλψ. Τηε ρεσπονσεσ φροm τηε χροωδ ωιλλ νορmαλλψ ινχρεασε ιν σοπηιστιχατιον ανδ χοmπλεξιτψ ασ τηε λεϖελ ινχρεασεσ. Dεαλινγ ωιτη ρεσυλτσ οριγινατινγ φροm τασκσ τηατ ρεθυιρε λοωερ χογνιτιϖε ενγαγεmεντ ωιλλ βε σιmπλερ τηαν αναλψσισ οφ ρεσπονσεσ ωηερε αν ινγρεδιεντ οφ ϕυδγεmεντ, ορ χρεατιον, ισ ιmπλιεδ Προδυχτιϖιτψ αναλψσισ Τηε λαχκ οφ λιτερατυρε ον εϖαλυατιον mετηοδσ σεεmσ το βε δυε το τηε διφφιχυλτψ ιν αναλψσινγ χοντεντ εσπεχιαλλψ ωηεν ηιγηερ χογνιτιϖε λεϖελσ συχη ασ χρεατιϖιτψ ορ οριγιναλιτψ αρε ινϖολϖεδ. Ηοωεϖερ, σοmε αυτηορσ (ε.γ. Ηυβερmαν ετ αλ., 2008) ηαϖε αττεmπτεδ το θυαντιφψ προδυχτιϖιτψ λεϖελσ οφ υσερσ υπλοαδινγ τηειρ ωορκ το ΨουΤυβε, α ϖιδεο σηαρινγ ωεβσιτε ον ωηιχη υσερσ χαν υπλοαδ ϖιδεοσ ανδ ϖισιτορσ χαν αδδ χοmmεντσ ανδ φεεδβαχκ (ωωω.ψουτυβε.χοm). Τηισ στυδψ (Ηυβερmαν ετ αλ., 2008) mεασυρεδ προδυχτιϖιτψ οφ εαχη χοντριβυτορ βψ τηε νυmβερ οφ ϖιδεοσ υπλοαδεδ δυρινγ διφφερεντ περιοδσ οφ αχτιϖιτψ ανδ τηε νυmβερ οφ ϖισιτσ τηατ τηοσε ιτεmσ ρεχειϖεδ. Τηεσε φιγυρεσ ρενδερεδ δψναmιχ ινφορmατιον ον εαχη χοντριβυτορ σ βεηαϖιουρ τοωαρδσ διφφερεντ λεϖελσ οφ αττεντιον (ι.ε. ηοω mανψ πεοπλε ϖιεωεδ τηειρ ϖιδεοσ). Φολλοωινγ α γοοδ ανδ α βαδ περιοδ οφ αττεντιον, αν αϖεραγεδ προδυχτιϖιτψ οφ τηε υσερσ ωασ θυαντιφιεδ. Ιτ ωασ χονχλυδεδ τηατ χοντριβυτορσ τενδ το βεχοmε mορε προδυχτιϖε ωηεν τηεψ ρεχειϖε mορε ϖιεωσ. Α λαχκ οφ αττεντιον λεαδσ το α δεχρεασε ιν τηε νυmβερ οφ υπλοαδεδ ϖιδεοσ, ανδ χονσεθυεντλψ α δροπ ιν προδυχτιϖιτψ Νυmεριχαλ αναλψσισ Χροωδσουρχινγ τασκσ τηατ προδυχε νυmεριχαλ ρεσυλτσ (λικε τηε παχκινγ τασκ, ωηερε παραmετερσ συχη ασ λενγτη ανδ εφφιχιενχψ ) ορ τασκσ ωηερε α νυmβερ οφ ιτεmσ νεεδ το βε ρεχορδεδ (ε.γ. ιmαγε ταγγινγ, χουντινγ οβϕεχτσ) χαν βε αναλψσεδ βψ στατιστιχαλ mετηοδσ φορ θυαντιφψινγ φρεθυενχψ ορ α σπρεαδ οφ νυmβερσ (ε.γ. αϖεραγε, στανδαρδ δεϖιατιον, ετχ.). Ινχοηερεντ ανσωερσ (ε.γ. α λαργε ερρορ ιν τερmσ οφ στανδαρδ δεϖιατιονσ) mαψ ινδιχατε τηατ αν ιmπροϖεmεντ το τηε υσερ ιντερφαχε ορ α τηρεσηολδ οφ ωορκερ σ θυαλιφιχατιονσ νεεδσ το βε ιντροδυχεδ (ι.ε. ιτ ισ ρεχοmmενδεδ α σηιφτ φροm Τψπε 2, ωηατ mοστ πεοπλε χαν δο, το Τψπε 3, εξπερτ, Φιγυρε 3) Dισχρετε ϖαλυεσ αναλψσισ Τηισ mετηοδ ισ αππροπριατε φορ χροωδσουρχινγ τασκσ τηατ ρεθυιρε α ψεσ/νο, τρυε/φαλσε ανσωερ ορ τηατ χαν βε σελεχτεδ φροm α λιστ. Τηεσε ρεσυλτσ ωιλλ προδυχε α πολλ οφ τωο ορ mορε χηοιχεσ συχη ασ τηε χανονιχαλ ϖιεωποιντ τασκ δεσχριβεδ ιν Σεχτιον 3.3. Α σιmπλε ωαψ το ασσεσσ τηε ϖαλιδιτψ οφ α ρεσπονσε ισ τηρουγη mαϕοριτψ ϖοτινγ (Εαγλε, 2009). Τηισ ωορκ (Εαγλε, 2009) ρεπορτσ α mετηοδ το φινδ ουτ ηοω mανψ υσερσ ωερε νεχεσσαρψ ιν ορδερ το γετ το τηε ριγητ ανσωερ. Τηε mετηοδ ισ βασεδ ον τηε mαξιmυm λικελιηοοδ εστιmατε (Dαωιδ ανδ Σκενε, 1979). Οτηερ αυτηορσ (ε.γ. Κιττυρ ετ αλ., 2008; Αλονσο ανδ Μιζζαρο, 2009) ηαϖε χορρελατεδ ανσωερσ προϖιδεδ βψ ωορκερσ ϖερσυσ τηοσε ρεσυλτσ οφφερεδ βψ α ποολ οφ εξπερτσ. Τηισ ωασ ποσσιβλε το αυτοmατε ανδ αναλψσε βεχαυσε βοτη εξπερτσ ανδ χροωδ ωερε γιϖεν τηε σαmε ινφορmατιον (αχχορδινγ το α σετ οφ φαχτορσ) το περφορm τηε ρατινγσ. Φλαωεδ ρεσπονσεσ χουλδ βε mινιmισεδ βψ ρεωορδινγ οφ τηε τασκ ινστρυχτιονσ ορ βψ ρεδυχινγ τηε νυmβερ οφ οπτιονσ ιν τηε mυλτι χηοιχε θυεστιον.

13 ϑ.ρ. Χορνεψ ετ αλ Μυλτι ϖαριαβλε, νον νυmεριχαλ αναλψσισ Τηισ χατεγορψ ινχλυδεσ τασκσ τηατ ρεθυιρε λανγυαγε προχεσσινγ σκιλλσ, συχη ασ τρανσλατιον, συmmαρισινγ, εξτραχτιον οφ κεψωορδσ, ετχ. Ιν τηισ χασε, σεϖεραλ ωορκερσ αρε ασκεδ το δο τηε σαmε τασκ βυτ τηε ανσωερσ mιγητ διφφερ ωηιλε στιλλ βεινγ τοταλ ορ παρτιαλλψ χορρεχτ. Ιν ορδερ το ασσεσσ τηε ροβυστνεσσ οφ τηε mετηοδ ανδ ϖαλιδιτψ οφ τηε ρεσπονσεσ γιϖεν βψ τηε χροωδ, αλλ ωορκερσ ανσωερσ ηαϖε το βε χοmπαρεδ. Τηισ mιγητ βε διφφιχυλτ ανδ τιmε χονσυmινγ σινχε τηερε αρε νο νυmεριχαλ ϖαλυεσ το χοmπαρε διρεχτλψ. Ιν αν εξαmπλε οφ α τρανσλατιον τασκ [λικε τηοσε χροωδσουρχεδ βψ τεξτεαγλε (Εαγλε, 2009)], τηε ρεθυεστερσ ωερε ιντερεστεδ ιν τηε ϖαριαβλε ηοω mανψ ερρορσ αρε τηερε ιν τηε τρανσλατεδ τεξτ ρεχειϖεδ φροm τηε ωορκερ. Ονχε τηισ ϖαριαβλε ωασ θυαντιφιεδ, τηε ϖαλιδιτψ οφ τηε βανκ οφ ρεσυλτσ χουλδ βε ασσεσσεδ ανδ βενχηmαρκεδ αγαινστ οτηερ βανκσ. Βαρροω σ mετηοδ (Βαρροω, 1998) χαν βε υσεδ ιν τηεσε χασεσ ανδ α φυλλ εξπλανατιον χαν βε φουνδ ιν τηε σεχτιον Νοτεσ ατ τηε ενδ οφ τηισ παπερ. 17 Τηε προχεδυρε σταρτσ βψ χοmπαρινγ τηε διφφερενχεσ βετωεεν τηε ανσωερσ οφ τηε διφφερεντ ωορκερσ. Ιν πρινχιπλε, τηε νυmβερ οφ υνκνοων ερρορσ ρεδυχεσ το ζερο ωηεν τηε νυmβερ οφ χοmβινεδ ρεσπονσεσ βεχοmε ϖερψ λαργε. υ Ε Ε Α Β Ε = (1) ΕΑΒ Wηερε υ Ε ισ τηε νυmβερ οφ υνφουνδ ερρορσ, Ε Α τηε ερρορσ φουνδ ονλψ βψ ωορκερ Α, Ε Β τηε ερρορσ φουνδ ονλψ βψ ωορκερ Β, ανδ Ε ΑΒ τηε ερρορσ φουνδ βψ βοτη Α ανδ Β. Εθυατιον (1) χαν βε αππλιεδ ωηεν τηερε ισ α λαργε ποολ οφ προοφ ρεαδερσ (ι.ε. ωορκερσ). Wηεν τηε χροωδ οφ ωορκερσ βεχοmεσ ϖερψ λαργε, τηε προβαβιλιτψ οφ τηεm φινδινγ τηε σαmε ερρορσ ισ λαργε τοο (Χ >> 0). Τηερεφορε, τηε νυmβερ οφ υνφουνδ ερρορσ ωιλλ βε ϖερψ σmαλλ τηε λαργερ τηε ποολ οφ ωορκερσ γετ. Ιφ τηισ ισ τηε χασε, τηε ροβυστνεσσ οφ τηε mετηοδ χαν βε προϖεν. Ηοωεϖερ, ιφ εϖερψ ωορκερ φινδσ λοτσ οφ mιστακεσ, βυτ νονε οφ τηεm φουνδ τηε σαmε mιστακεσ, τηεν ιτ χαν βε χονχλυδεδ τηατ τηεψ αρε νοτ ϖερψ γοοδ ατ τηε τασκ ανδ τηερε αρε λικελψ το βε λοτσ οφ οτηερ mιστακεσ τηατ νονε οφ τηεm φουνδ. Τηερεφορε, ιmπροϖεmεντσ νεεδ το βε mαδε το τηε εξπεριmεντ. Ιν τασκσ ρεθυιρινγ α mυλτι ϖαριαβλε, νον νυmεριχαλ ανσωερ, τηισ mετηοδ χαν βε υσεδ το χοmπαρε α νυmβερ οφ δισχρετε ανσωερσ. Ιφ τηε ρεσυλτσ δο νοτ χονϖεργε, τηε τωο αππροαχηεσ τηατ χαν βε φολλοωεδ ιν οτηερ το mινιmισε ερρονεουσ, ορ εϖεν mαλιχιουσ, ρεσπονσεσ αρε το ιmπροϖε τηε χλαριτψ οφ τηε ινστρυχτιονσ ανδ/ορ αππλψ α τηρεσηολδ φορ αυδιενχε θυαλιφιχατιον Αναλψσισ ανδ ϕυδγεmεντ χροωδσουρχεδ ϕυδγεmεντ Ιν τηεσε τασκσ, ωηερε τηε υσερ ισ ασκεδ το γιϖε φεεδβαχκ, εϖαλυατε ορ ρατε, τηερε ισ νοτ α ριγητ ορ ωρονγ ανσωερ, ανδ ιτ ισ τηε αmαλγαmατιον οφ αλλ τηε ρεσπονσεσ γιϖεν τηατ γενερατεσ τηε χορρεχτ ανσωερ. Οφτεν ωιτη ϑυδγεmεντ τψπε ρεσυλτσ, τηε χηαλλενγε ισ το δισπλαψ τηε ρεσυλτσ ρατηερ τηαν περφορm αν αναλψσισ. Χασε στυδψ 1 (ιν Σεχτιον 3.2) σηοωσ αν εξαmπλε οφ αν εξπεριmεντ ωηοσε ρεσυλτ ωασ τηε χρεατιον οφ α Σιmιλαριτψ Ματριξ (Φιγυρε 7) το σηοω τηε mοστ φρεθυεντ σηαπε mατχηινγ οφφερεδ βψ τηε ωορκερσ. DολορεσΛαβ (2009β) ρυνσ α χολουρ ταγγινγ αχτιϖιτψ ωηερε ωορκερσ αρε ασκεδ το λαβελ χολουρσ (ι.ε. ωηατ ωουλδ ψου χαλλ τηισ χολουρ? ). Τηε ρεσπονσεσ ηαϖε βεεν δεπιχτεδ υσινγ α χολουρ χλουδ (Φιγυρε 8).

14 Ουτσουρχινγ λαβουρ το τηε χλουδ Φιγυρε 7 Σηαπε σιmιλαριτψ mατριξ χονστρυχτεδ βψ αγγρεγατιον οφ ρεσπονσεσ ανδ πλοττεδ ον α δενδογραm, βριεφεδ ϖερσιον (φυλλ ϖερσιον ιν ϑαγαδεεσαν ετ αλ., 2009α) (σεε ονλινε ϖερσιον φορ χολουρσ) Φιγυρε 8 DολορεσΛαβ εξπεριmεντ ον χολουρ χλασσιφιχατιον (DολορεσΛαβ, 2009β) (σεε ονλινε ϖερσιον φορ χολουρσ)

15 ϑ.ρ. Χορνεψ ετ αλ Χροωδσουρχεδ χρεατιον αναλψσισ Τηισ ισ προβαβλψ τηε mοστ διφφιχυλτ σετ οφ ρεσπονσεσ το εϖαλυατε βεχαυσε τηε ουτπυτ λαιδ βψ τηε υσερσ ωιλλ υσυαλλψ βε ηιγηλψ συβϕεχτιϖε ανδ διφφιχυλτ το θυαντιφψ. Εξαmπλε φορ τηισ τψπε οφ τασκσ αρε ηιγηλψ ινϖεντιϖε ανδ αρτιστιχ (συχη ασ λογοσ, χλοτηινγ, φυρνιτυρε δεσιγν) ορ ηιγηλψ σπεχιαλισεδ, φορ εξαmπλε ιδεασ χοmπετιτιονσ, βυσινεσσ στυδιεσ (ε.γ. ΧισχοΣψστεmσ, ασ αλρεαδψ mεντιονεδ, ανδ ΙννοΧεντιϖε 18 ) ετχ. Τηε εϖαλυατιον προχεσσ ισ νορmαλλψ χαρριεδ ουτ βψ α γρουπ οφ εξπερτσ (Λειmειστερ ετ αλ., 2009), α ϕυρψ χοmmονλψ ρεχρυιτεδ φροm ωιτηιν τηε χοmπανψ ωηο προποσεδ τηε οπεν χαλλ. Οτηερ αππροαχηεσ ινχλυδε τηε υσε οφ δουβλε χροωδσουρχινγ, τηισ ισ, χοmπανιεσ ρετυρν το χροωδσουρχινγ το mακε υσε οφ ϖοτινγ ανδ ρατινγ σψστεmσ ιν ορδερ το ασσεσσ ωηιχη χροωδσουρχεδ ρεσυλτσ αρε βεστ (παρτιχυλαρλψ ιν δεσιγν, ε.γ. χλοτηινγ ανδ φυρνιτυρε δεσιγν). 5 Dισχυσσιον Απαρτ φροm τηε διφφιχυλτιεσ ιν ηαρνεσσινγ χαπαβιλιτιεσ φροm α χροωδ ωηερε αν εmπλοψερ εmπλοψεε ρελατιονσηιπ δοεσ νοτ εξιστ, ονε οφ τηε mαϕορ χηαλλενγεσ τηατ χροωδσουρχινγ ποσεσ ισ τηε ασσεσσmεντ οφ τηε ϖαλιδιτψ οφ λαβουρερσ ρεσπονσε το α γιϖεν τασκ. Dιφφερεντ τψπεσ οφ τασκσ (ασ περ νατυρε οφ τηε τασκ, τηε χροωδ ορ τηε παψmεντ) ηαϖε βεεν δεσχριβεδ ιν τηισ παπερ ανδ εαχη οφ τηεm, ωηεν χοmβινεδ (ε.γ. α ϖολυνταρψ τασκ οφ χρεατιον φορ εξπερτσ, ορ α ρεωαρδεδ τασκ οφ οργανισατιον φορ ανψονε), πρεσεντ τηειρ οων χηαλλενγεσ ωηεν εϖαλυατινγ τηε ρεσπονσεσ. Φορ mιχρο τασκσ, ωηερε α ψεσ/νο ανσωερ ισ ρεθυιρεδ ορ α λινε οφ τεξτ τρανσλατεδ, ιτ ισ σιmπλε το αγγρεγατε υσερσ ινπυτ, νο mαττερ ηοω λαργε τηε ποολ οφ δατα mιγητ βε, ανδ περφορm τραδιτιοναλ στατιστιχαλ οπερατιονσ ιν ορδερ το οβταιν τηε βεστ σολυτιον. Ηοωεϖερ, τηοσε τασκσ ωηερε α mορε σοπηιστιχατεδ ανσωερ ισ σουγητ ανδ α ηιγηερ χογνιτιϖε λεϖελ ενγαγεδ ωιλλ βε mορε διφφιχυλτ το ασσεσσ ανδ χοmπαρε [ε.γ. τηε ασσεσσmεντ οφ Wικιπεδια αρτιχλεσ (Κιττυρ ετ αλ., 2008)], τηε ρεϖιεω οφ α βοοκ ϖια Αmαζον, α mοϖιε ϖια ΙΜDβ ορ ηοτελ σερϖιχε ιν α ηολιδαψ ρεσορτ ϖια ΤριπΑδϖισορ, ετχ.). Φυρτηερmορε, ιντερφερενχεσ ιν τηε δατα ωιλλ οχχυρ ιφ mαλιχιουσ υσερσ ορ ινϖαλιδ εντριεσ αρε αδδεδ το τηε χολλεχτιον οφ ρεσυλτσ. Τηεν, τηε τασκ ινιτιαλλψ σηιφτεδ το τηε χροωδ το αλλεϖιατε τηε χοmπανψ ωορκλοαδ ορ οβταιν α βεττερ σολυτιον, ωιλλ ϕεοπαρδισε ιτσ φιναλ οβϕεχτιϖε. Χηοοσινγ τηε βεστ ρεσυλτ ανδ δισχαρδινγ τηοσε εντριεσ τηατ αρε νοτ υσεφυλ το τηε προχεσσ βεχοmεσ mορε διφφιχυλτ τηατ τηε ινιτιαλ τασκ περ σε. Θυαλιτατιϖε ϕυδγεmεντσ αρε mορε διφφιχυλτ το αναλψσε τηαν θυαντιτατιϖε ονεσ. Αδδιτιοναλλψ, τηε ϖαλιδιτψ οφ τηε χροωδσουρχεδ ανσωερ γετσ χοmπροmισεδ ωηεν τηε νυmβερ οφ ρεσπονσεσ ηασ το βε σαχριφιχεδ φορ τηε σακε οφ τηε θυαλιτψ ιν τηε ανσωερσ. Αλτηουγη εξπεριενχε ινδιχατεσ τηατ χροωδσ αρε βεττερ ατ εϖαλυατινγ ανδ οργανισινγ ρατηερ τηαν χρεατινγ, ρεmαρκαβλε εξαmπλεσ οφ χροωδσουρχεδ χρεατιονσ ωιτη σιγνιφιχαντ παψmεντσ αρε ιν τηε ρισε. Wηιλε α mψριαδ οφ εξαmπλεσ χαν βε φουνδ ιν τηε τασκσ χυρρεντλψ ουτσουρχεδ το τηε χροωδ, τηερε ισ α φυνδαmενταλ λιmιτατιον ιν τηισ στρατεγψ ανδ τηισ ηασ το βε τακεν ιντο αχχουντ φορ οπεν ιννοϖατιον αχτιϖιτιεσ. Χροωδσουρχινγ δοεσ νοτ ωορκ ωηερε τηερε εξιστ αν εmοτιοναλ ελεmεντ φορ α προδυχτ, ε.γ. ιν mυσιχ, mοϖιεσ ανδ ιν ρεταιλ. Ηυmαν βεινγσ αρε νοτ ηαππψ ωηεν βεινγ τολδ ωηατ πιεχε οφ mυσιχ το λιστεν το, ωηιχη mεαλ το χηοοσε ιν α ρεσταυραντ ορ ωηιχη mοϖιε το σεε. Μορεοϖερ, α ρεχεντ στυδψ ον ονλινε ρεχοmmενδατιονσ (ε.γ. ρατινγσ, ρεϖιεωσ, ετχ.) ηασ εξπλορεδ τηε πραχτιχαλ δραωβαχκ τηατ χροωδσουρχινγ ηασ ωηεν ιτ χοmεσ το ρανκινγ. Κοστακοσ (2009) ηασ στυδιεδ τηε ρατινγ σψστεmσ (ι.ε. σταρσ,

16 Ουτσουρχινγ λαβουρ το τηε χλουδ συρϖεψ, φεεδβαχκ) οφ σεϖεραλ ωεβσιτεσ ανδ ηασ χονχλυδεδ τηατ α σmαλλ γρουπ οφ ϖερψ αχτιϖε mεmβερσ χαν σωαψ τοταλ ρατινγσ. Ιν οτηερ ωορδσ, τηερε αρε σιγνιφιχαντ βιασεσ ιν υσερσ ϖοτινγ βεηαϖιουρ, δεσπιτε τηε λαργε σιζε οφ τηε ονλινε χοmmυνιτψ. 5.1 Αχαδεmιχ ρεσεαρχη αγενδα Αν αχαδεmιχ ρεσεαρχη αγενδα νεεδσ το βε εσταβλισηεδ ιν ορδερ το προδυχε α σεριεσ οφ ρεχοmmενδατιονσ φορ ιmπροϖινγ ρεσπονσε οφ τηε χροωδ ανδ ασσεσσ τηε ρεσυλτσ mορε εφφιχιεντλψ (αλσο αππλιχαβλε το ρε δεσιγνινγ τασκσ τηατ ωερε νοτ περφορmεδ χορρεχτλψ βψ τηε χροωδ ιν α φιρστ ινστανχε) ιν ορδερ το συππορτ οπεν ιννοϖατιον αχτιϖιτιεσ ιν α προδυχτιϖε ανδ mεανινγφυλ ωαψ. Ιν φολλοωινγ σεχτιονσ ωε συγγεστ τηε mοστ ιmπορταντ ασπεχτσ το χονσιδερ βεφορε α χροωδσουρχινγ στρατεγψ ισ δεπλοψεδ Χρεατινγ υσερ ιντερφαχεσ τηατ συππορτ πεοπλε σολϖινγ προβλεmσ Ιτ ισ χοmmον κνοωλεδγε αmονγ χροωδσουρχινγ υσερσ τηατ τηε βεττερ τηε θυεστιονσ (ορ ασσιγνmεντσ) αρε φορmυλατεδ το τηε χροωδ, τηε mορε ϖαλιδ τηε ρεσυλτσ αρε. Μορεοϖερ, τηε δεσιγν οφ τηε ιντερφαχε νεεδσ το φυλφιλ βασιχ ρεθυιρεmεντσ ανδ βε αλιγνεδ το τηε αιmσ οφ τηε χροωδσουρχεδ αχτιϖιτψ. Φορ εξαmπλε, ιφ δατα ισ γοινγ το βε πλοττεδ ιν α πολλ τψπε οφ ρεπρεσεντατιον, τηε θυεστιονσ ωιλλ ηαϖε το βε δεσιγνεδ ιν α ωαψ τηατ ισ χοηερεντ ωιτη τηε θυεστιον, ε.γ. α mυλτι χηοιχε θυεστιον ινστεαδ οφ α φρεε τεξτ βοξ. Τηε ιmπορτανχε οφ ϖισυαλισατιον ηασ βεεν ηιγηλιγητεδ βψ ϖαριουσ αυτηορσ (Βεψνον, 2007) ανδ ιτ ισ χρυχιαλ φορ τηοσε χροωδσουρχεδ τασκσ ωηερε ρεπρεσεντατιονσ ανδ ιλλυστρατιονσ αρε τηε τοολσ τηατ ρεθυεστερσ ανδ υσερσ ηαϖε το χοmmυνιχατε (ε.γ. τηε χασε στυδιεσ ιν Σεχτιον 3). Ιτ ισ χοmmον τηατ τηε δεσιγν οφ τηε ιντερφαχε ρεθυιρεσ σεϖεραλ αττεmπτσ. Ονχε τηατ οπτιον ηασ βεεν εξηαυστεδ ανδ τηε ρεσυλτσ το τηε χαλλ αρε στιλλ νοτ σατισφαχτορψ, α ρεδεσιγν οφ τηε χαλλ χουλδ ινϖολϖε αιmινγ ατ αν αυδιενχε ωιτη mορε/βεττερ θυαλιφιχατιον, ι.ε. α σηιφτ φροm Τψπε 1, το Τψπε 2 ορ 3 ιν Φιγυρε 3, ανδ/ορ ιντροδυχε α παψmεντ φορ χοmπλετεδ ϖαλιδ ρεσπονσε ορ, ιφ αλρεαδψ ρεωαρδεδ, ρε οργανισε παψmεντ σψστεm (ε.γ. α σψστεm οφ ινχεντιϖεσ φορ βεστ ανσωερ, ετχ) Στατιστιχσ Πριορ το τηε σταρτ οφ τηε αχτιϖιτψ, ιτ ισ ιmπορταντ το τηινκ αβουτ τηε φορmατ ιν ωηιχη τηε ρεσυλτσ αρε γοινγ το βε ηαρϖεστεδ, πλοττεδ, ανδ χονσεθυεντλψ ωηιχη mατηεmατιχαλ τοολσ αρε νεεδεδ, ασ λιστεδ ιν Σεχτιον 4. Στατιστιχαλ mετηοδσ το αναλψσε χροωδσουρχινγ αχτιϖιτιεσ αρε εmεργινγ ατ α σλοω ρατε βεχαυσε εαχη τψπε οφ θυεστιονσ ποσεσ αν ιντρινσιχ χηαλλενγε ωηεν ιτ χοmεσ το χοmπιλινγ τηε ρεσυλτσ: τηε γρεατερ τηε χογνιτιϖε λεϖελ ινϖολϖεδ, τηε mορε διφφιχυλτ α λαργε βανκ οφ ρεσυλτσ ωιλλ βε το ηανδλε. Wηεν ιτ χοmεσ το εϖαλυατε χογνιτιϖε αχτιϖιτιεσ, ε.γ. τεξτ τρανσλατιον (Χαλλισον Βυρχη, 2009), mανυαλ εϖαλυατιονσ στιλλ ηαϖε το βε υσεδ το δεmονστρατε τηε φεασιβιλιτψ οφ τηε mετηοδ. Φορ θυαντιφιχατιονσ, εσπεχιαλλψ ωηεν οβταινινγ α φιναλ ρεσυλτ βψ αγγρεγατιον οφ mανψ ρεσπονσεσ (ε.γ. συρϖεψινγ ανδ ποολινγ), τηε ρεθυεστερσ ηαϖε το σετ α τηρεσηολδ οφ χονφιδενχε βεψονδ ωηιχη τηε φιναλ ρεσυλτ ωιλλ βε αχχεπταβλε (Κιττυρ ετ αλ., 2008; Αλονσο ανδ Μιζζαρο, 2009). Ιν οτηερ ωορδσ, α mινιmυm νυmβερ οφ ρεσπονσεσ φροm υσερσ ισ νεεδεδ το οβταιν τηε σουγητ ρεσυλτ. Τηερε ισ νοτ α

17 ϑ.ρ. Χορνεψ ετ αλ. στανδαρδ φορmυλα φορ τηε χαλχυλατιον οφ τηατ νυmβερ, αλτηουγη στατιστιχαλ mετηοδσ χαν βε υσεδ ιν σοmε σιmπλε αππλιχατιονσ, ε.γ. mαξιmυm λικελιηοοδ εστιmατιον (Dαωιδ ανδ Σκενε, 1979), βυτ ιτ ωιλλ στρονγλψ δεπενδ ον διφφερεντ δεσιγν ϖαριαβλεσ συχη ασ τηε χογνιτιϖε λεϖελ ενγαγεδ φορ τηε αχτιϖιτψ, τηε νατυρε οφ τηε χροωδ ατ ωηιχη τηε αχτιϖιτψ ισ αιmεδ, ανδ τιmε χονστραιντσ ον τηε ρεθυεστερσ το οβταιν τηε φιναλ ρεσυλτ Βυσινεσσ mοδελσ Τηερε αρε α νυmβερ οφ ισσυεσ τηατ βυσινεσσεσ ηαϖε το φαχε ωηεν δεχιδινγ το γετ ινϖολϖεδ ιν χροωδσουρχινγ αχτιϖιτιεσ το φαχιλιτατε τηειρ οπεν ιννοϖατιον ανδ σταρτ δεσιγνινγ τηοσε. Μοστ ιmπορταντλψ ισ τηε θυεστιον οφ ηοω το βυιλδ τηισ αχτιϖιτψ ιντο α ωορκ φλοω (ρατηερ τηαν σιmπλψ ηαϖινγ α ονε οφφ εξπεριενχε), ηοω το προmοτε ιτ ανδ ρεαχη τηε ριγητ αυδιενχε (ι.ε. τηε νατυρε οφ τηε χροωδ, εξπερτσ, mοστ πεοπλε ωιτη α σπεχιφιχ θυαλιφιχατιον, ανψονε, ετχ.) ϖερσυσ ρεχρυιτινγ ψουρ οων δεδιχατεδ γρουπ οφ ωορκερσ, ωηο ωιλλ βε ιν χηαργε οφ ϖαλιδατινγ τηε ρεσπονσεσ (ε.γ. α χοmπυτερ ορ α γρουπ οφ ϕυριεσ), ανδ ηοω τηεσε τασκσ ωιλλ βε χηαννελλεδ το τηε ωορκερσ Σοχιαλ ιmπλιχατιον Ασ mεντιονεδ ιν Σεχτιον 2.3, χροωδσουρχινγ αχτιϖιτιεσ φορ οπεν ιννοϖατιον ηαϖε τηε ποτεντιαλ οφ ηαϖινγ α γρεατ ιmπαχτ ον βυσινεσσ δψναmιχσ ανδ συσταιναβιλιτψ. Τηερε αρε οβϖιουσ αδϖανταγεσ οφ ουτσουρχινγ ωορκ το τηε χροωδ, ασ δισχυσσεδ ιν τηισ παπερ, βυτ τηερε αρε αλσο ιmπορταντ ασπεχτσ τηατ νεεδ το βε τακεν ιντο χονσιδερατιον βεφορε α χροωδσουρχινγ στρατεγψ ισ αδοπτεδ. Ασ χονσυmερσ, ωε ουγητ το αδδρεσσ τηε ισσυεσ δεαλινγ ωιτη mοραλ ρεσπονσιβιλιτψ ανδ χιτιζενσηιπ (Σχηραδερ, 2007). Φορ εξαmπλε, σοχιαλ ισσυεσ οφ φεεσ ανδ παψmεντ (ι.ε. ωορκερσ γετ ϖερψ λοω παψ ιν χοmπαρισον το προφεσσιοναλσ δοινγ τηε σαmε ϕοβ), αγε οφ λαβουρερσ, ωαιϖεδ ταξεσ, ανδ ωηετηερ τηισ αχτιϖιτψ ισ φοστερινγ υνδεργρουνδ εχονοmιχ τρανσαχτιονσ. Λεγαλ ρεγυλατιον οφ τηεσε ασπεχτσ ισ νοτ ονλψ νεχεσσαρψ βυτ αλσο χοmπροmισινγ ανδ διφφιχυλτ δυε το τηε νατυρε οφ τηε αχτιϖιτιεσ ιν τηε χλουδ. 6 Χονχλυσιον Χροωδσουρχινγ ισ βεχοmινγ αν ιmπορταντ τοολ φορ λεϖεραγινγ οπεν ιννοϖατιον προχεσσεσ ιν τηοσε φιρmσ ωιλλινγ το αδϖανχε τηειρ τεχηνολογψ, ινχρεασε οριγιναλιτψ ανδ λικεαβιλιτψ φορ τηειρ προδυχτσ βψ ουτσουρχινγ χερταιν τασκσ το α χροωδ. Σεϖεραλ στυδιεσ ηαϖε δεmονστρατεδ τηατ τηερε ισ α λαργε, ρεσπονσιϖε ωορκ φορχε αϖαιλαβλε 24/7 χαπαβλε οφ χαρρψινγ ουτ τασκσ οφ α ρανγε οφ χοmπλεξιτψ συχχεσσφυλλψ. Φυρτηερmορε, ουρ εξπεριενχε, βριεφλψ εξποσεδ ιν τηε χασε στυδιεσ ιν Σεχτιον 3, συγγεστσ τηατ τηισ ρεσουρχε ηασ α ϖερψ λαργε χαπαχιτψ φορ ωορκ ανδ ρεσπονδσ θυιχκλψ. Βεψονδ τηε σπεχιφιχσ οφ τηε ρεσυλτσ πρεσεντεδ, τηε αυτηορσ βελιεϖε τηατ χροωδσουρχινγ προϖιδεσ α χρεδιβλε mετηοδολογψ ιν ωηιχη α ηυmαν αλγοριτηm (ρατηερ τηαν α πυρελψ χοmπυτατιοναλ ονε) χουλδ βε ιmπλεmεντεδ ιν πραχτιχαλ αππλιχατιονσ ωιτη γρεατ οππορτυνιτιεσ φορ συχχεσσφυλ ιν οπεν ιννοϖατιον.

18 Ρεφερενχεσ Ουτσουρχινγ λαβουρ το τηε χλουδ Αλονσο, Ο. ανδ Μιζζαρο, Σ. (2009) Ρελεϖανχε χριτερια φορ ε χοmmερχε: α χροωδσουρχινγ βασεδ εξπεριmενταλ αναλψσισ, Προχεεδινγσ οφ τηε 32νδ Ιντερνατιοναλ ΑΧΜ ΣΙΓΙΡ 09 Χονφερενχε ον Ρεσεαρχη ανδ Dεϖελοπmεντ ιν Ινφορmατιον Ρετριεϖαλ, ϑυλψ 2009, Βοστον, ΜΑ, ΥΣΑ, ππ Βαρροω, ϑ.d. (1998) Ιmποσσιβιλιτψ: Τηε Λιmιτσ οφ Σχιενχε ανδ τηε Σχιενχε οφ Λιmιτσ, Οξφορδ Υνιϖερσιτψ Πρεσσ, Οξφορδ, Νεω Ψορκ. Βεψνον, Μ. (2007, ϑυνε) ςισυαλισατιον υσινγ εmπιριχαλ mοδελλινγ πρινχιπλεσ ανδ τοολσ, ΑΗΡΧ ΙΧΤ Μετηοδσ Νετωορκ Εξπερτ Wορκσηοπ Φροm Αβστραχτ Dατα Μαππινγ το 3D Πηοτορεαλισm: Υνδερστανδινγ Εmεργινγ Ιντερσεχτιονσ ιν ςισυαλισατιον Πραχτιχεσ ανδ Τεχηνιθυεσ, Βιρmινγηαm ΥΚ. Βραβηαm, D.Χ. (2008α) Χροωδσουρχινγ ασ α mοδελ φορ προβλεm σολϖινγ: αν ιντροδυχτιον ανδ χασεσ, Χονϖεργενχε, ςολ. 14, Νο. 1, ππ Βραβηαm, D.Χ. (2008β) Μοϖινγ τηε χροωδ ατ ιστοχκπηοτο: τηε χοmποσιτιον οφ τηε χροωδ ανδ mοτιϖατιονσ φορ παρτιχιπατιον ιν α χροωδσουρχινγ αππλιχατιον, Φιρστ Μονδαψ, ςολ. 13, Νο. 6, ππ Χαλλισον Βυρχη, Χ. (2009) Φαστ, χηεαπ, ανδ χρεατιϖε: εϖαλυατινγ τρανσλατιον θυαλιτψ υσινγ Αmαζον σ Μεχηανιχαλ Τυρκ, Προχεεδινγσ οφ τηε 2009 Χονφερενχε ον Εmπιριχαλ Μετηοδσ ιν Νατυραλ Λανγυαγε Προχεσσινγ βψ Ασσοχιατιον φορ Χοmπυτατιοναλ Λινγυιστιχσ, 6 7 Αυγυστ 2009, Σινγαπορε, ππ ΧαmβριανΗουσε (2009) Αϖαιλαβλε ονλινε ατ: ωωω.χαmβριανηουσε.χοm/ (αχχεσσεδ ον 8 Σεπτεmβερ 2009). Dαωιδ, Α. ανδ Σκενε, Α.Μ. (1979) Μαξιmυm λικελιηοοδ εστιmατιον οφ οβσερϖερ ερρορ ρατεσ υσινγ τηε ΕΜ αλγοριτηm, Αππλιεδ Στατιστιχσ, ςολ. 28, ππ Dεοριο, Α. ανδ Βερταχχο, ς. (2009) Ηυmαν χοmπυτινγ φορ ΕDΑ, ΑΧΜ DΑΧ, ϑυλψ 2009, Σαν Φρανχισχο, ΧΑ. DολορεσΛαβ (2009α) Dολορεσ Λαβ: αγε ανδ γενδερ στερεοτψπεσ. Αϖαιλαβλε ονλινε ατ: ηττπ://βλογ.δολορεσλαβσ.χοm/τοπιχσ/φαχεσ/ (αχχεσσεδ ον 20 Αυγυστ 2009). DολορεσΛαβ (2009β) Dολορεσ Λαβ: χολορ φλοωερσ, νετωορκσ, πηοτοσ, ανδ εϖεν 3D. Αϖαιλαβλε ονλινε ατ: ηττπ://βλογ.δολορεσλαβσ.χοm/τοπιχσ/χολορσ/ (αχχεσσεδ ον 20 Αυγυστ 2009). DολορεσΛαβ (2009χ) Dολορεσ Λαβσ. Αϖαιλαβλε ονλινε ατ: ηττπ://δολορεσλαβσ.χοm/ (αχχεσσεδ ον 20 Αυγυστ 2009). Εαγλε, Ν. (2009) τξτεαγλε: mοβιλε χροωδσουρχινγ, Προχεεδινγσ οφ τηε 3ρδ Ιντερνατιοναλ Χονφερενχε ον Ιντερνατιοναλιζατιον, Dεσιγν ανδ Γλοβαλ Dεϖελοπmεντ: ΗΧΙ Ιντερνατιοναλ 2009, ϑυλψ 2009, Σαν Dιεγο, ΧΑ, Αψκιν, Ν. (Εδ.) Λεχτυρε Νοτεσ Ιν Χοmπυτερ Σχιενχε, ςολ. 5623, ππ Ηοωε, ϑ. (2006) Τηε ρισε οφ χροωδσουρχινγ, Wιρεδ Μαγαζινε, Νο. 14. Αϖαιλαβλε ονλινε ατ: ηττπ://ωωω.ωιρεδ.χοm/ωιρεδ/αρχηιϖε/14.06/χροωδσ_πρ.ητmλ (αχχεσσεδ ον 17 Σεπτεmβερ 2009). Ηυβερmαν, Β.Α., Ροmερο, D.Μ. ανδ Wυ, Φ. (2008) Χροωδσουρχινγ: αττεντιον ανδ προδυχτιϖιτψ, ΣΣΡΝ ελιβραρψ, 12 Σεπτεmβερ Αϖαιλαβλε ονλινε ατ: ηττπ://σσρν.χοm/παπερ= (αχχεσσεδ ον 8 Σεπτεmβερ 2009). ϑαγαδεεσαν, Π., Wενζελ, ϑ., Χορνεψ, ϑ.ρ., Ψαν, Ξ.Τ., Σηερλοχκ, Α., Τορρεσ Σανχηεζ, Χ. ανδ Ρεγλι, W. (2009α) Γεοmετριχ ρεασονινγ ϖια ιντερνετ χροωδσουρχινγ, ΣΙΑΜ/ΑΧΜ ϑοιντ Χονφερενχε ον Γεοmετριχ & Πηψσιχαλ Μοδελινγ, Σαν Φρανχισχο, ΧΑ. ϑαγαδεεσαν, Π., Wενζελ, ϑ., Χορνεψ, ϑ.ρ., Ψαν, Ξ.Τ., Σηερλοχκ, Α., Τορρεσ Σανχηεζ, Χ. ανδ Ρεγλι, W. (2009β) ςαλιδατιον οφ Πυρδυε ενγινεερινγ σηαπε βενχηmαρκ χλυστερσ βψ χροωδσουρχινγ, Ιντερνατιοναλ Χονφερενχε ον Προδυχτ Λιφεχψχλε Μαναγεmεντ, Βατη, ΥΚ.

19 ϑ.ρ. Χορνεψ ετ αλ. Κιττυρ, Α., Χηι, Ε.Η. ανδ Συη, Β. (2008) Χροωδσουρχινγ υσερ στυδιεσ ωιτη Μεχηανιχαλ Τυρκ, Προχεεδινγ οφ τηε 26τη αννυαλ ΣΙΓΧΗΙ Χονφερενχε ον Ηυmαν Φαχτορσ ιν Χοmπυτινγ Σψστεmσ, ΑΧΜ, Φλορενχε, Ιταλψ, ππ Κοστακοσ, ς. (2009, Σεπτεmβερ) Ισ τηε χροωδ σ ωισδοm βιασεδ? Α θυαντιτατιϖε αναλψσισ οφ τηρεε ονλινε χοmmυνιτιεσ, Ιντερνατιοναλ Σψmποσιυm ον Σοχιαλ Ιντελλιγενχε ανδ Νετωορκινγ (ΣΙΝ09), ςανχουϖερ, Χαναδα. Κρατηωοηλ, D. ανδ Βλοοm, Β. (1956) Ταξονοmψ οφ Εδυχατιοναλ Οβϕεχτιϖεσ: Τηε Χλασσιφιχατιον οφ Εδυχατιοναλ Γοαλσ, Λονγmανσ, Γρεεν. Λειmειστερ, ϑ.μ., Ηυβερ, Μ., Βρετσχηνειδερ, Υ. ανδ Κρχmαρ, Η. (2009) Λεϖεραγινγ χροωδσουρχινγ: αχτιϖατιον συππορτινγ χοmπονεντσ φορ ΙΤ βασεδ ιδεασ χοmπετιτιον, ϑουρναλ οφ Μαναγεmεντ Ινφορmατιον Σψστεmσ, ςολ. 26, Νο. 1, ππ ΜεχηανιχαλΤυρκ (2009) Αmαζον σ Μεχηανιχαλ Τυρκ. Αϖαιλαβλε ονλινε ατ: ηττπ://εν.ωικιπεδια.οργ/ ωικι/αmαζον_μεχηανιχαλ_τυρκ (αχχεσσεδ ον 30 Αυγυστ 2009). Πισανο, Γ.Π. ανδ ςεργαντι, Ρ. (2008) Wηιχη κινδ οφ χολλαβορατιον ισ ριγητ φορ ψου?, Ηαρϖαρδ Βυσινεσσ Ρεϖιεω, ςολ. 86, ππ Ποωελλ, D. (2008) Αmατευρ ηουρ, Αρτσ & Σχιενχεσ Ονλινε Μαγαζινε οφ τηε ϑοην Ηοπκινσ Υνιϖερσιτψ, ςολ. 5, Νο. 2. Αϖαιλαβλε ονλινε ατ: ηττπ://κριεγερ.ϕηυ.εδυ/mαγαζινε/σπ08/φ1.ητmλ (αχχεσσεδ ον 17 Σεπτεmβερ 2009). Σχηραδερ, Υ. (2007) Τηε mοραλ ρεσπονσιβιλιτψ οφ χονσυmερσ ασ χιτιζενσ, Ιντερνατιοναλ ϑουρναλ οφ Ιννοϖατιον ανδ Συσταιναβλε Dεϖελοπmεντ, ςολ. 2, Νο. 1, ππ Σωενεψ, Μ. (2009) Υνιλεϖερ γοεσ χροωδσουρχινγ το σπιχε υπ Πεπεραmι σ Τς αδσ, Τηε Γυαρδιαν, 25τη Αυγυστ, ΥΚ. Wεγεν, Ε.ς. (2008, ϑυνε) Τηε ωορλδ οφ ιντερνετ. Αϖαιλαβλε ονλινε ατ: ηττπ://ρεσεαρχηρεινϖεντεδ. βλογσποτ.χοm (αχχεσσεδ ον 30 Μαψ 2009). Ψανγ, ϑ., Αδαmιχ, Λ.Α. ανδ Αχκερmαν, Μ.Σ. (2008) Χροωδσουρχινγ ανδ κνοωλεδγε σηαρινγ: στρατεγιχ υσερ βεηαϖιορ ον τασκχν, Προχεεδινγσ οφ τηε 9τη ΑΧΜ χονφερενχε ον Ελεχτρονιχ Χοmmερχε, Χηιχαγο, Ιλ, ΥΣΑ, ππ Νοτεσ 1 Τηρεαδλεσσ: Α χοmmυνιτψ χεντρεδ ονλινε χλοτηινγ στορε ρυν βψ σκιννψχορπ οφ Χηιχαγο, Ιλλινοισ, σινχε Μεmβερσ οφ τηε Τηρεαδλεσσ χοmmυνιτψ συβmιτ τ σηιρτ δεσιγνσ ονλινε; τηε δεσιγνσ αρε τηεν πυτ το α πυβλιχ ϖοτε. Α σmαλλ περχενταγε οφ συβmιττεδ δεσιγνσ αρε σελεχτεδ φορ πριντινγ ανδ σολδ τηρουγη τηειρ ονλινε στορε. Χρεατορσ οφ τηε ωιννινγ δεσιγνσ ρεχειϖε α πριζε οφ χαση ανδ στορε χρεδιτ (ωωω.τηρεαδλεσσ.χοm). 2 Μυϕι: ϑαπανεσε φυρνιτυρε ρεταιλερ. Τηισ χοmπανψ ηασ α ποολ οφ αππροξιmατελψ 500,000 πεοπλε ωηο πρε εϖαλυατε δεσιγνσ ανδ σηορτ λιστ τηε ονεσ τηατ αρε τηεν πασσεδ οντο προφεσσιοναλ δεσιγνερσ, ωηο προδυχε τηε φιναλ σπεχιφιχατιονσ φορ τηε χοmmερχιαλ προδυχτ (ωωω.mυϕι.νετ). 3 Γοογλε Ιmαγε Λαβελλερ: Χρεατεδ βψ Λ. ϖον Αην ιν 2004 ασ τηε ΕΣΠ Γαmε ανδ λατερ αχθυιρεδ βψ Γοογλε. Ιν τηισ γαmε, πλαψερσ ταγ ιmαγεσ βψ υσινγ ωορδσ τηατ τηεψ τηινκ ασσοχιατεδ το τηε ιmαγε. Τηεσε ιmαγεσ γετ τηεν ταβυλατεδ ανδ υσεδ τηεm το ιmπροϖε ιmαγε σεαρχη ιν Γοογλε σ σεαρχη ενγινε (ηττπ://ιmαγεσ.γοογλε.χοm/ιmαγελαβελερ). 4 ΓαλαξψΖοο: Χρεατεδ βψ Ηοπκινσ ρεσεαρχηερσ Σχηαωινσκ, Λανδ ανδ Λινδτοττ ιν 2006 ον αν αττεmπτ το τρψινγ το σορτ mιλλιονσ οφ νεωλψ δισχοϖερεδ γαλαξιεσ ιντο χατεγοριεσ. Τηε γαλαξιεσ, πηοτογραπηεδ ασ παρτ οφ τηε Σλοαν Dιγιταλ Σκψ Συρϖεψ, ωερε τοο mανψ το βε χλασσιφιεδ βψ ϕυστ α φεω αστρονοmερσ, ανδ χοmπυτερσ ωερε νοτ αβλε το δο τηε τασκ. Τηεψ χρεατεδ Γαλαξψ Ζοο, αν εξπεριmενταλ ωεβσιτε δεσιγνεδ το τραιν τηε πυβλιχ το ηελπ τηεm γο τηρουγη τηε πηοτογραπησ ανδ χλασσιφψ τηε γαλαξιεσ. Βψ τηε ενδ οφ 2008, υσερσ ηαδ χοντριβυτεδ το τηε προϕεχτ βψ λοοκινγ ατ 40 mιλλιον ιmαγεσ ανδ χλασσιφιεδ mορε τηαν α mιλλιον γαλαξιεσ (εαχη γαλαξψ ισ ϖεριφιεδ βψ ατ λεαστ 30 πεοπλε) (ηττπσ://ωωω.γαλαξψζοο.οργ/).

20 Ουτσουρχινγ λαβουρ το τηε χλουδ 5 ρεχαπτχηα: Χρεατεδ βψ ϖον Αην ατ τηε Χαρνεγψ Μελλον Υνιϖερσιτψ ωηο ρεϖισιτεδ Βλυm σ εαρλιερ ωορκ ον Χαπτχηασ (τασκσ τηατ ρεθυιρε τηε ϖισυαλ σκιλλσ τηατ ηυmανσ ηαϖε βυτ νοτ χοmπυτερσ), υσεδ το διγιτισε mιλλιονσ οφ ωορδσ περ δαψ φροm τηε Ιντερνετ Αρχηιϖε ανδ τηε Νεω Ψορκ Τιmεσ αρχηιϖε. Τεξτσ φροm ολδ βοοκσ, ωηιχη χαννοτ βε δεχιπηερεδ βψ ΟΧD σοφτωαρε, αρε προϖιδεδ το ενδ υσερσ ωηο ιντερπρετ τηε ιmαγεσ ανδ τρανσχριβε τηε ωορδσ. Τηισ τασκ ισ υσεδ ιν χονϕυνχτιον ωιτη σπαm φιλτερσ ορ το ενσυρε τηατ τηε ενδ υσερ ισ ινδεεδ ηυmαν, ανδ νοτ α σοφτωαρε αππλιχατιον τρψινγ το αχχεσσ α σιτε. 6 ΦολδΙτ: Προτειν φολδινγ γαmε τηατ ρεθυεστσ φροm τηε υσερ συγγεστιονσ φορ φολδινγ στρατεγιεσ ιν διφφερεντ προτειν χηαινσ (ηττπ://φολδ.ιτ/πορταλ/). 7 Χλιχκωορκερσ: Α ΝΑΣΑ εξπεριmεντ ωιτη ϖολυντεερσ ωηο αναλψσεδ ανδ ιδεντιφιεδ χρατερσ ον Μαρσ ιmαγεσ οβταινεδ ϖια σατελλιτεσ. Τηε εξπεριmεντ σταρτεδ ιν 2000 ωιτη τηε φιρστ ιmαγεσ ανδ σιmπλε ιδεντιφιχατιον τασκσ, ανδ ιν 2007 ιτ ωασ στιλλ ρυννινγ βυτ ατ α ηιγηερ σοπηιστιχατιον οφ αναλψτιχαλ αχτιϖιτψ. 8 Στεϖε Φοσσετ σ πλανε σεαρχη: Αφτερ τηε δισαππεαρανχε οφ τηε mιλλιοναιρε αδϖεντυρερ, ιν Σεπτεmβερ 2007α ΗΙΤ ωασ πλαχεδ ον Αmαζον σ ΜΤυρκ ωιτη τηουσανδ οφ ηιγη ρεσολυτιον πιχτυρεσ οφ τηε αρεα ωηερε Φοσσετ ωασ συπποσεδ το ηαϖε χρασηεδ ηισ πλανε. ςολυντεερσ χουλδ σχαν τηρουγη τηε ιmαγεσ ανδ δετερmινε ωηετηερ τηεψ χουλδ σεε α πλανε (ορ παρτσ) ον τηε πιχτυρεσ. 9 Χισχο Σψστεmσ: Τηισ χορπορατιον ηελδ α Γλοβαλ Ι Πριζε Ιννοϖατιον χοντεστ ιν 2008 ανδ ρεθυεστεδ τεαmσ το υσε χολλαβορατιϖε τεχηνολογιεσ το χρεατε αν ιννοϖατιϖε βυσινεσσ πλαν. Μορε τηαν 2500 πεοπλε φροm αλλ οϖερ τηε ωορλδ εντερεδ τηε χοmπετιτιον ανδ τηε ωιννινγ τεαm, ωηο χρεατεδ α βυσινεσσ πλαν δεmονστρατινγ ηοω ΙΠ τεχηνολογψ χαν βε υσεδ το ινχρεασε ενεργψ εφφιχιενχψ, ωον α πριζε οφ ΥΣ 250, Χροωδσπιριτ: Λαυνχηεδ ιν 2007, τηισ Φρενχη πορταλ ηαρνεσσεσ ανψ ιννοϖατιϖε ιδεα φροm τηειρ χοmmυνιτψ. Μαινλψ οριεντεδ τοωαρδσ ελεχτρονιχ γαδγετσ, τηεψ ρεχειϖε συγγεστιονσ φορ ιδεασ τηατ τηειρ Ρ&D τεαm φινε τυνεσ ατ λατερ σταγεσ (ωωω.χροωδσπιριτ.χοm). 11 Ασσοχιατεδ χοντεντ: Φουνδεδ βψ Λ. Βεαττψ ιν 2005 ιν Dενϖερ, Χολοραδο, τηισ πλατφορm αιmσ το βεχοmε α mυλτιmεδια χοντεντ λιβραρψ. Ανψ ινδιϖιδυαλ χαν χοντριβυτε ωιτη οριγιναλ mατεριαλ ιν ανψ mυλτιmεδια φορmατ (ε.γ. ϖιδεο, αυδιο, τεξτ, ιmαγεσ, ετχ.) ον ανψ τοπιχ, ασ λονγ ασ τηε χοντεντ ισ οριγιναλ ανδ νεϖερ πυβλισηεδ βεφορε. Τηε χοmπανψ διστριβυτεσ τηισ χοντεντ το τηειρ παρτνερσ ϖια τηειρ ωεβσιτε (ωωω.ασσοχιατεδχοντεντ.χοm). 12 Χροωδσπρινγ: Βασεδ ιν Χηιχαγο, τηισ ϖεντυρε χοmmενχεδ ιν 2008 ωηεν Ρ. Κιmβαροϖσκψ ανδ Μ. Σαmσον σετ υπ α νετωορκ οφ δεσιγνερσ φροm αρουνδ τηε ωορλδ. Τηειρ χρεατιϖε αχτιϖιτψ ισ mαινλψ ον χορπορατε ιmαγε (ι.ε. λογοσ, ωεβσιτεσ, βρανδινγ) ανδ mερχηανδισινγ (ωωω.χροωδσπρινγ.χοm). 13 ΥσερΤεστινγ: Τηισ χροωδσουρχινγ σερϖιχε, χρεατεδ βψ D. Γαρρ ανδ D. Βενατερ, οφφερσ συρϖεψσ ον ωεβσιτεσ. Τηε υσερσ αρε πρε σχρεενεδ ϖια θυαλιφψινγ θυεστιονσ, ανδ υσερσ ωιτη ϖερψ γοοδ χοmmυνιχατιον σκιλλσ αρε σουγητ, σινχε τηε φεεδβαχκ ισ ον τηειρ οπινιονσ ανδ τηουγητσ ωηιλε τηεψ συρφ τηε ωεβσιτεσ συρϖεψεδ (ωωω.υσερτεστινγ.χοm) 14 Νοσαγο: Τηισ σερϖιχε προϖιδεσ ρεχοmmενδατιονσ ον προϕεχτσ ρυν βψ χοmπανιεσ, γοϖερνmεντ ορ οτηερ οργανισατιονσ. Φυνδεδ βψ D. Αλmουρ ιν 2009, σεεκσ ηιγηερ τηαν αϖεραγε προφεσσιοναλσ ωηο ηαϖε αν εξπερτισε ιν προϕεχτ mαναγεmεντ ανδ, τηερεφορε, χαν τακε παρτ ιν τηισ χροωδσουρχεδ ωορκ (ωωω.νοσαγο.χοm). 15 Χαmχλιχκρ: Προβαβλψ ενχουραγεδ βψ τηε συχχεσσ οφ ΓαλαξψΖοο, τηε Χορνελλ Λαβ οφ Ορνιτηολογψ χρεατεδ ιν 2008 τηισ γαmε ωηερε υσερσ χαν χλασσιφψ νεστ ιmαγεσ ιν διφφερεντ αλβυmσ. Dυρινγ τηε τασκσ, τηεψ αρε βριεφεδ ον διφφερεντ ασπεχτσ οφ ανιmαλ βεηαϖιουρ ανδ τηε χοmπλεξιτψ οφ τηε χλασσιφιχατιον ινχρεασεσ ασ τηε γαmε προγρεσσεσ. 16 Υσηαηιδι ανδ Wικιχριmεσ: Τηεσε τωο πλατφορmσ (Υσηαηιδι ιν Αφριχα ανδ Wικιχριmεσ ιν Ευροπε) αιm το mαπ χριmε ρεπορτσ. Πεοπλε ωηο αρε ϖιχτιm οφ α χριmιναλ οφφενχε χαν εντερ τηε ινφορmατιον, ωηιχη γετσ στορεδ ιν α δαταβασε ανδ πλοτσ τηε ρεσυλτσ ον α mαπ. Αλτηουγη τηε τασκ δοεσ νοτ ρεθυιρε εξπερτσ το βε δονε, ιν τηε λιτεραλ σενσε οφ τηε ωορδ, ωε ηαϖε πλαχεδ τηεσε υνδερ τηατ ηεαδινγ σινχε ιτ ισ ονλψ α σmαλλ προπορτιον οφ τηε ποπυλατιον ωηο ωιλλ χοντριβυτε το τηισ δαταβασε (σεε Φιγυρε 3).