hübsche ideen
TRAWLIX Jury - Was meint Ihr?
mradermacher / 28. März 2010, 12:54 PM / hübsche ideen
Wir führen immer wieder Diskussionen über den aktuellen Jury-Modus auf TRAWLIX. Bis dato hatten wir uns für den "authentischen" Weg entschieden, dass letzten Endes der Kunde (oder eine von ihm installierte Jury) die Bewertung der Einreichungen vornimmt und die Sieger ermittelt. (So läuft es ja eigentlich auch in der freien Agentur-Wildbahn) Natürlich kann eine solche Entscheidung nie objektiv sein und wir bekommen immer wieder auch Mails von Teilnehmern, die die Jury-Entscheidung nicht nachvollziehen können oder ihre eigenen Arbeiten nicht richtig honoriert sehen.
Aus diesem Grund würden wir gerne mit EUCH diskutieren, ob Ihr alternative Bewertungsmodelle bevorzugen würdet und wie Ihr über die Möglichkeit eines Community-Voting denkt (Also ein zusätzliches Voting, bei dem User andere User bewerten).
Also: Was denkt Ihr darüber? Feedback welcome!

TRAWLIX Jury"
Wir führen immer wieder Diskussionen über den aktuellen Jury-Modus auf TRAWLIX. Bis dato hatten wir uns für den "authentischen" Weg entschieden, dass letzten Endes der Kunde (oder eine von ihm installierte Jury) die Bewertung der Einreichungen vornimmt und die Sieger ermittelt. (So läuft es ja eigentlich auch in der freien Agentur-Wildbahn) Natürlich kann eine solche Entscheidung nie objektiv sein und wir bekommen immer wieder auch Mails von Teilnehmern, die die Jury-Entscheidung nicht nachvollziehen können oder ihre eigenen Arbeiten nicht richtig honoriert sehen.
Aus diesem Grund würden wir gerne mit EUCH diskutieren, ob Ihr alternative Bewertungsmodelle bevorzugen würdet und wie Ihr über die Möglichkeit eines Community-Voting denkt (Also ein zusätzliches Voting, bei dem User andere User bewerten).
Also: Was denkt Ihr darüber? Feedback welcome!
Kommentare
1 | Holger posted at 28.03.10 12:56
Natürlich ist es immer "subjektiv", was eine vom Kunden installierte Jury, oder eben die Marketing-Abteilung des Kunden entscheidet. Allerdings ist es natürlich auch wie im richtigen Leben. Trotzdem würde ich es nicht schlecht finden, wenn man zusätzlich die Stimmung in der Community abfragen würden und hier ein "User voten User"-Modus mitanbieten würde. Sozusagen als "Publikums-Joker"
2 | IlluType posted at 28.03.10 02:10
die idee mit dem puplikums joker gefällt mir sehr gut, aber nur zusätzlich. damit das prinzip weiterhin funktioniert, ist es zwingend notwendig, dass der kunde weiterhin das schlusswort hat. nur kommt es eben vor (siehe den letzten allianz pitch), dass der kunde entscheidungen fällt, die von der community beim besten willen nicht nachzuvollziehen sind. deswegen wäre ich für ein erweiterndes feature, dass nicht nur zu den ersten drei plätzen ein statemant abgiebt, sondern auch allgemein ein paar worte dazu verloren werden, was allgemein gefallen hat, was an vorschlägen gefehlt hat, wie hoch die zufriedenheit ist etc... desweiteren fände ich es eine überlegung wert, ob man der vom kunden gewählten jury nicht noch jemand externes hinzufügt. in der "wilden agentur welt" gibt es kunden die einen recht guten geschmack zeigen und sich auch konzeptionell sehr geschickt anstellen und es gibt die horror kunden die von tuten und blasen keine ahnung haben und sich grundsätzlich immer für die schlechtest mögliche option entscheiden. jetzt hat man in einer agentur immernoch den verkaufs dialog mit dem kunden in dem man noch so einiges retten kann. das ist hier leider nicht der fall. deswegen würde ich vorschlagen zum schutz der community und vor allem zum schutz des kunden vor ihm selbst ein neutrales jury mitglied vom fach hinzuzuziehen um weiteres zu vermeiden.
3 | Thomas Klepits posted at 28.03.10 05:29
Ich teile großteils die Meinung von IlluType. Der Kunde ist letztendlich der Auftraggeber und sollte nach seinem subjektiven Geschmack entscheiden. Letztendlich muss er ja mit dem Sieger-Design "leben können". Genauere Erklärungen zum Design (Was hat gefallen, was weniger, warum letztendlich die Entscheidung für oder wider dem Entwurf) wären hilfreich für kommende Pitches. Summa Summarum wird die Suche nach einem rein objektiven Bewertungssystem aber kaum Resultate bringen, denn über Geschmack lässt sich ja bekanntlich nicht streiten. Dass mitunter einige Entscheidungen von Kunden nach dem selbst veröffentlichten Briefing kaum nachvollziehbar sind, ist nach meiner Erfahrung in der Werbebranche durchaus mal möglich. Selbst "neutrale" Jurymitglieder würden subjektiv nach deren Geschmack entscheiden.
4 | k-webdesign posted at 29.03.10 12:03
IlluType spricht mir aus der Seele. Ich hatte es kürzlich mit einem anderen Mitglied, das zum Allianz-Pitch etwas beigetragen hat, ebenfalls darüber, dass uns mehr Transparenz bei der Preisverleihung fehlt. Da man hier die eingesendeten Projekte nicht präsentiert, sondern sie für sich allein sprechen müssen, kann man nicht erklären bzw. verkaufen. Das ist sehr schwer für einen Designer, da doch viele Kunden nicht wissen, was für ein Aufwand hinter der geleisteten Arbeit steckt ("Kunden aus der Hölle" :)). Gerade deshalb würde ich mir sehr wünschen, dass für jede bewertete Einsendung vielleicht kurz 1-2 Sätze darüber verloren werden, was hier gut oder schlecht war. Dadurch kann man sich selbst verbessern und die Einsendung nochmal hinterfragen.
5 | Phil posted at 29.03.10 12:06
Gute Ideen, ich stimme zu was Illu gesagt hat. Ich fände es bei den Bewertungen zusätzlich besser, wenn noch etwas mehr "aufgedröselt" werden würde, wie sie zustande kommt. Ein Wert von 8,9 finde ich sagt einfach nichts aus. Wie setzt sich der Wert zusammen? Hauptsächlich aus der Idee? Oder doch die Umsetzung? Der Allianzpitch wurde ja schon mehrfach genannt, daher greif ich den auch einfach mal auf. Da waren halt teilweise Platzierungen mit "oben" dabei, wo ich mir echt etwas an die Stirn gefasst habe. Beispiel das Thema Überalterung. Die Idee war toll, die Umsetzung wie ich finde weniger. Oder beim Weihnachtspitch. Dort war der 1. Platz eine gegoogelte Uhr aus dem Internet. Ich frage mich hier einfach, wo der Schwerpunkt liegt, weil man teilweise an die Themen rangeht und sich z.b. für die Umsetzung viel einfallen lässt, im Endeffekt der Kunde aber nur "Ideen" wollte. Zum Thema Uservoting stehe ich zwiegespalten. Einerseits ist es immer gut, wenn "wir" noch gegenseitig jemanden pushen können, auf der anderen Seite besteht die Gefahr des "pushens", also dass andere User rekrutiert oder erpresst (ja, auch schon oft erlebt) werden, für XY zu stimmen. Eine exteren Wertung wäre auch noch denkbar, wo alle User abstimmen können, diese Wertung wäre allerdings nicht zu berücksichtigen, sondern dient einfach nur zur "Ah. So hätten die User entschieden" Bestätigung. Ein Uservoting sollte nur dann möglich sein, wenn der User selbst an dem Pitch teilnimmt und es sollte ggf. nur bei starken schwankungen (Kunde gibt 5,0 Wertung, 28 User haben aber für 8,9 gestimmt) herangezogen werden, oder z.b. in Verhältnis 1:3 gerechnet werden. Irgendwie sowas. Jedenfalls sollte, wie schon erwähnt bei Illu und Thomas, der Kunde das letzte Wort haben. Wie THomas so schön sagte: Er muss damit leben. :) Des Weiteren fände ich eine weitere Aufbröselung der Preise ganz interessant. Ich bin kein großer Webdesigner, würde gerne am Your-PA Contest mitmachen, aber sehe für mich nicht ein, große Effizienz zu investieren, wenn "nur" 3 Plätze vergeben werden. Wenn man jetzt wüsste, dass z.b. nicht nur das fertige Produkt sondern auch eine "Idee" stark in die Wertung einfliesst (siehe oben im Text), dann wäre vllt auch die Motivation für Leute höher mitzumachen, die ggf. Ideen aber nicht die nötige Erfahrung haben, ein "perfekts" Produkt abzuliefern. Da würde man sich z.b. schon über einen Gutschein über 5 Bilder auf Fotolia oder so freuen. Einfach ein kleines "Dankeschön" fürs mitmachen. Und sei es eine Packung Trawlix-Kekse ;-) Oft genug gibt es gute Ideen, die der Kunde vllt. auch will, die aber nie ans Tageslicht kommen, wenn die Fehlende Wertungstransparenz, bzw. "schlechte" Belohnungen vergeben werden. Hier ziehe ich noch das Beispiel mit e-Circle heran. Ein Key-Visiual mit gerade einmal 3 Plätzen, die was gewinnen können? Puh. Harter Tobak. :) Aber das schweift zu sehr vom Thema ab. Kurzum gesagt. Mehr Transparenz, ggf. ein Uservoting, das allerdings nur stark eingeschränkt zur Verfügung steht.
6 | Theodore Thonga posted at 01.04.10 05:59
Die Entscheidung (sowohl des Kundes als auch die der Community) für bzw. gegen bestimmte Entwürfe ist und bleibt immer subjektiv. Meines Erachtens wäre es schon hilfreich zu wissen, nach welchen Kriterien (z.B. Design / Kreativität / Usabiity / Content) letztendlich entschieden wird. Diese Kriterien könnten auch zu Beginn von Contests klar formuliert werden. So weiß man genauer worauf man achten sollte. Die Verteilung von Punkte in den definierten Kategorien müsste nachvollziehbar sein. Eine standardisierte Bewertung würde schon Klarheit bringen. Eine Bewertung durch die Community ist nicht haltbar: Zu große Gefahr der Bevorzugung von Personen, größere Subjektivität, Undurchschaubarkeit . Sollte es eine Bewertung der Community geben, muss diese auch geregelt sein.
7 | Paz posted at 02.04.10 12:04
Transparenz ist denke ich hier das entscheidende Stichwort. Für mich ist Trawlix keine Plattform für Profis sondern ein Ort an dem man sich ausprobieren und seinen kreativen Horizont erweitern kann. Obwohl die Qualität der Arbeiten teilweise beeindruckend ist, sind die Einsender doch wohl kaum professionell tätig. Wäre dies der Fall, würden die sich um ihre eigenen Kunden kümmern und hier nicht die beleidigte Leberwurst spielen, wenn sie mit der Bewertung nicht einverstanden sind und kundtun, dass ihre mühsam investierte Zeit nicht geschätzt würde. Die Wettbewerbssituation unterscheidet sich von einem realen Projekt insofern, dass man hier keinen Kontakt zum Kunden hat und das "Verkaufsgespräch" allein durch die Einsendung stattfindet. Das ist eine Herausforderung. Dennoch denke ich, dass gerade aufgrund dieser speziellen Gegebenheiten besseres Feedback bzw. ein effektiveres "debriefing" notwendig und fair wäre um den Teilnehmern einen maximalen Mehrwert für die investierte Zeit und Arbeit zu geben. Selbst wenn man nicht gewinnt, kann man somit doch etwas daraus mitnehmen. Hier muss Trawlix nachbessern. Für eine Community geht es noch zu wenig partizipativ zu. Es ist nahezu unmöglich, über neue Kommentare zu den Einsendungen auf dem Laufenden zu bleiben. Diskussionen kommen nur schwer in Gang, ebben recht schnell wieder ab und umfassen nur wenige Teilnehmer. Der Trawlix-Blog und Twitter-Account erscheinen nur sporadisch gepflegt. Als "Community-Mitglied" gewinnt man zunehmend den Eindruck, nicht auf dem Laufenden zu sein. Beispielsweise wurde der Meg Pfeiffer Wettbewerb entfernt ohne dass darüber ein Wort verloren wurde, auf Fragen aus der Community wurde nicht öffentlich eingegangen. Im Weihnachtspitch wurde der Gewinner bereits propagiert (über Twitter und Anzeigenwerbung) bevor der Wettbewerb überhaupt abgeschlossen war. Über die Gründe kann in solchen Fällen dann nur spekuliert werden, da hier die Transparenz fehlt. Als Teilnehmer fühlt man sich uninformiert oder gar hintergangen. Das kann so manchen frustrieren, der mit einer anderen Erwartung an die Sache herangeht. Wenn Trawlix eine Community sein will, müssen die Mitglieder mehr einbezogen werden. Partizipation muss nicht nur ermöglicht sondern auch gefördert werden. Die wichtigsten Zeitpunkte eines Projekts hier, an denen aktiver Input gefordert ist, sind nicht das Briefing und die Deadline sondern das Dazwischen, wenn die Teilnehmer an ihren Ideen feilen. Dieser Teil ist bisher gänzlich vernachlässigt worden. Eine andere Community mit vergleichbaren Zielen bekommt das beispielsweise sehr geschickt hin, man schaue sich einmal jovoto.com an. Vielleicht hat Trawlix aber auch garnicht den Anspruch oder die Motivation, eine Community zu sein. Dies muss den Teilnehmern klargemacht werden um Enttäuschungen zu vermeiden. Als Kreativer hätte ich dann von der Plattform (wie bisher) den Vorteil mit interessanten Marken zu arbeiten und mein Portfolio aufzupolieren mit der eventuellen Aussicht auf Belohnung durch einen Preis, sollte meine Arbeit den Kunden überzeugen. Nicht mehr und nicht weniger. Sorry, falls das alles zu kritisch klingt. Ich bin mit Trawlix bisher zufrieden und habe in der Zeit, die ich hier mitmache, gelernt worauf ich meine Erwartungen ausrichten kann. Es wäre dennoch schön, wenn Trawlix sich zum einen zu mehr Transparenz entschließt und sich zum anderen mehr in Richtung einer partizipativen "2.0" Community entwickelt. Ersteres ist sicherlich nur ein kleiner aber wichtiger Schritt, letzteres erfordert grundsätzliches Umdenken. Nur meine zwei Cent, ich hoffe ich hab jetzt nicht "Jehova" gesagt ;)
8 | Beni posted at 03.04.10 01:27
Super Diskussion. Ich stimme den Kommentatoren in den meisten Fällen unbedingt zu. Ich finde vor allem Paz's Einwand wichtig: "Wenn Trawlix eine Community sein will, müssen die Mitglieder mehr einbezogen werden[...]Die wichtigsten Zeitpunkte eines Projekts hier, an denen aktiver Input gefordert ist, sind nicht das Briefing und die Deadline sondern das Dazwischen". Du triffst den Nagel auf den Kopf. Als Community und für die persönliche Entwicklung wäre ein offener Dialog an den Beiträgen Gold wert. Das müsste aber bedeuten, dass Beiträge während der Phase zwischen Briefing und Voting veränderbar bleiben um auf die Kritik der anderen Teilnehmer reagieren zu können. So würde eine schöne Dynamik in der Community und vor allem eine höhere Qualität der Beiträge entstehen. Ich würde mir auch keine Sorgen machen, dass andere User versuchen würden die anderen Beiträge als Konkurrenz zu sehen, da sie dadurch nur lernen. Ich fände es toll und es ist in anderen Wettbewerben (digital Arts) Gang und Gebe. Siehe z.B. http://forums.cgsociety.org/showthread.php?f=304&t=854006. Hier beginnt der Beitrag mit einer groben Skizze und während der ganzen Laufzeit findet eine rege Diskussion über den Beitrag statt, bis er dann eingereicht wird. Worin ich Pat übrigens nicht zustimme, dass Trawlix keine Plattform für Profis sei. Ich vermute, dass der Großteil der User entweder in diesem Fachbereich studieren oder auch schon fertig sind (so wie ich) und mit "Design" ihren Lebensunterhalt verdienen. So beschreibt übrigens Trawlix den Querschnitt ihrer Teilnehmer: "Die meisten TRAWLIX-Mitglieder sind Designer und Texter, die schon seit mehreren Jahren im Beruf stehen. Hinzu kommen noch junge Talente und Studenten von den besten Universitäten und Hochschulen im deutschsprachigen Raum." Sicherlich wäre es ein vergeblicher und auch ausgesprochen dummer Versuch allein über Trawlix zu versuchen sein Leben zu finanzieren. Deswegen wäre es auch äußerst unlogisch mehr Arbeit in ein ausgeschriebenes Projekt zu stecken als wir später durch einen evtl. Gewinn rausholen können. Aber, wenn ich mir Qualität der Beiträge anschaue würde ich behaupten, dass dieser Logik nicht alle Teilnehmer folgen, und das ist auch gut so...vor allem für Trawlix ;) Wahrscheinlich sind wir deswegen ja auch Kreative weil die Initialzündung einen Großbrand in uns auslöst, den wir nicht so schnell stoppen können und wollen. Eine gute Idee brennt und muss gelöscht werden. In der realen Auftragssituation tut dies meist der Kunde selbst, indem er das Potenzial der Idee nicht erkennen will. Bei Trawlix darf ich an die Briefings noch etwas idealistischer rangehen und präsentiere meine Idee in reiner Form. Das ist auch gut so, denn ansonsten würde der Reiz an der Plattform komplett verloren gehen. Aber dahinter verbirgt sich doch ein wichtiger Gedanke. Es müssen Anreize existieren für die Teilnahme. Wir sind jetzt an einem Punkt an dem die ersten größeren Enttäuschungen (ich gehöre dazu) von User Seite thematisiert werden. Zusammenfassend kann man sagen, dass Problem ist in den meisten Fällen ist die Unnachvollziehbarkeit der Juryentscheidungen. Was bedeutet denn eigentlich nicht nachvollziehbar? Die Beiträge werden auf ein Briefing hin erstellt. Das heißt die Jury-Platzierungen müssten sich idealerweise durch das Briefing begründen lassen. Ich denke in den meisten Fällen trifft das zu. Aber des weiteren sollte die fachliche Qualität (Idee, Potenzial, Verwirklichung) mit in die Platzierung einbezogen werden. Hier sehe ich die große Lücke im Bewertungssytem und das Problem der Unnachvollziehbarkeit. Eine Entscheidung wird dann nicht mehr nachvollziehbar wenn ich das Gefühl habe die Platzierungen stimmen nicht mit meinen Erwartungen und Bewertungskriterien überein und die Jury missachtet die fachlichen Qualitäten der Beiträge. Konkret bedeutet das, da wir Jury&Kunde brauchen und das letzte Wort bei ihnen liegt (liegen muss), benötigen wir andere Anreize, um nicht an Motivation zu verlieren. Denn, nur um mein Portfolio mit guten Ideen zu füllen brauche ich keine Internetplattform. Ein Uservoting könnte ungemein helfen neue Anreize zu schaffen. Denn die verschiedenen Ausschreibungen zeigen, dass wir User&Designer eine gute und professionelle Arbeit von einer schlechten unterscheiden können. Ich freue mich darüber wenn ich ein Kommentar unter meiner Arbeit lese, das mich bestätigt. Es ist unheimlich viel Wert, wenn eine andere Person vom Fach lobt. Das ist unter Designern nicht immer üblich! Ein Uservoting wäre also, da wir alle das Briefing kennen (und keine zusätzlichen Informationen haben, wie die Jury) und die fachlichen Kompetenzen besitzen, eine ehrliche Auswertung. Es wäre also schön, wenn parallel zum Wettbewerb unter den Teilnehmern ein offenes Voting bestünde. Ich denke auch, dass die Gewinner des Votings honoriert werden müssten. Das könnten mit Sachpreisen (wie Phil schreibt) oder mit Awards geschehen. Für die Einführung von Awards wäre ich generell. Ein Award kann z.B. ein Signet sein, dass ich als glaubhafte Bescheinigung für die Erste, Zweite oder Dritte Platzierung im Kunden- oder Uservoting in mein Portfolio integriere. Trotzdem finde ich, wie Alle anderen Kommentatoren, auch die Jury muss ihre Entscheidung begründen. Laut Trawlix werden die Ideen "sortiert, strukturiert, qualitativ gefiltert und schließlich bewertet". D.h. es müsste also ein nachvollziehbarer Prozess stattfinden. Den Prozess deutlich zu machen wäre ein Schritt mehr in Richtung "aus Fehlern lernen" als "Lernen mit Enttäuschungen umzugehen". Letzteres führt dazu, dass das Kreativfeuer gar nicht mehr entfacht wird, weil ich mich ja daran verbrennen könnte.
Einen Kommentar schreiben:
Natürlich ist es immer "subjektiv", was eine vom Kunden installierte Jury, oder eben die Marketing-Abteilung des Kunden entscheidet. Allerdings ist es natürlich auch wie im richtigen Leben. Trotzdem würde ich es nicht schlecht finden, wenn man zusätzlich die Stimmung in der Community abfragen würden und hier ein "User voten User"-Modus mitanbieten würde. Sozusagen als "Publikums-Joker"
2 | IlluType posted at 28.03.10 02:10
die idee mit dem puplikums joker gefällt mir sehr gut, aber nur zusätzlich. damit das prinzip weiterhin funktioniert, ist es zwingend notwendig, dass der kunde weiterhin das schlusswort hat. nur kommt es eben vor (siehe den letzten allianz pitch), dass der kunde entscheidungen fällt, die von der community beim besten willen nicht nachzuvollziehen sind. deswegen wäre ich für ein erweiterndes feature, dass nicht nur zu den ersten drei plätzen ein statemant abgiebt, sondern auch allgemein ein paar worte dazu verloren werden, was allgemein gefallen hat, was an vorschlägen gefehlt hat, wie hoch die zufriedenheit ist etc... desweiteren fände ich es eine überlegung wert, ob man der vom kunden gewählten jury nicht noch jemand externes hinzufügt. in der "wilden agentur welt" gibt es kunden die einen recht guten geschmack zeigen und sich auch konzeptionell sehr geschickt anstellen und es gibt die horror kunden die von tuten und blasen keine ahnung haben und sich grundsätzlich immer für die schlechtest mögliche option entscheiden. jetzt hat man in einer agentur immernoch den verkaufs dialog mit dem kunden in dem man noch so einiges retten kann. das ist hier leider nicht der fall. deswegen würde ich vorschlagen zum schutz der community und vor allem zum schutz des kunden vor ihm selbst ein neutrales jury mitglied vom fach hinzuzuziehen um weiteres zu vermeiden.
3 | Thomas Klepits posted at 28.03.10 05:29
Ich teile großteils die Meinung von IlluType. Der Kunde ist letztendlich der Auftraggeber und sollte nach seinem subjektiven Geschmack entscheiden. Letztendlich muss er ja mit dem Sieger-Design "leben können". Genauere Erklärungen zum Design (Was hat gefallen, was weniger, warum letztendlich die Entscheidung für oder wider dem Entwurf) wären hilfreich für kommende Pitches. Summa Summarum wird die Suche nach einem rein objektiven Bewertungssystem aber kaum Resultate bringen, denn über Geschmack lässt sich ja bekanntlich nicht streiten. Dass mitunter einige Entscheidungen von Kunden nach dem selbst veröffentlichten Briefing kaum nachvollziehbar sind, ist nach meiner Erfahrung in der Werbebranche durchaus mal möglich. Selbst "neutrale" Jurymitglieder würden subjektiv nach deren Geschmack entscheiden.
4 | k-webdesign posted at 29.03.10 12:03
IlluType spricht mir aus der Seele. Ich hatte es kürzlich mit einem anderen Mitglied, das zum Allianz-Pitch etwas beigetragen hat, ebenfalls darüber, dass uns mehr Transparenz bei der Preisverleihung fehlt. Da man hier die eingesendeten Projekte nicht präsentiert, sondern sie für sich allein sprechen müssen, kann man nicht erklären bzw. verkaufen. Das ist sehr schwer für einen Designer, da doch viele Kunden nicht wissen, was für ein Aufwand hinter der geleisteten Arbeit steckt ("Kunden aus der Hölle" :)). Gerade deshalb würde ich mir sehr wünschen, dass für jede bewertete Einsendung vielleicht kurz 1-2 Sätze darüber verloren werden, was hier gut oder schlecht war. Dadurch kann man sich selbst verbessern und die Einsendung nochmal hinterfragen.
5 | Phil posted at 29.03.10 12:06
Gute Ideen, ich stimme zu was Illu gesagt hat. Ich fände es bei den Bewertungen zusätzlich besser, wenn noch etwas mehr "aufgedröselt" werden würde, wie sie zustande kommt. Ein Wert von 8,9 finde ich sagt einfach nichts aus. Wie setzt sich der Wert zusammen? Hauptsächlich aus der Idee? Oder doch die Umsetzung? Der Allianzpitch wurde ja schon mehrfach genannt, daher greif ich den auch einfach mal auf. Da waren halt teilweise Platzierungen mit "oben" dabei, wo ich mir echt etwas an die Stirn gefasst habe. Beispiel das Thema Überalterung. Die Idee war toll, die Umsetzung wie ich finde weniger. Oder beim Weihnachtspitch. Dort war der 1. Platz eine gegoogelte Uhr aus dem Internet. Ich frage mich hier einfach, wo der Schwerpunkt liegt, weil man teilweise an die Themen rangeht und sich z.b. für die Umsetzung viel einfallen lässt, im Endeffekt der Kunde aber nur "Ideen" wollte. Zum Thema Uservoting stehe ich zwiegespalten. Einerseits ist es immer gut, wenn "wir" noch gegenseitig jemanden pushen können, auf der anderen Seite besteht die Gefahr des "pushens", also dass andere User rekrutiert oder erpresst (ja, auch schon oft erlebt) werden, für XY zu stimmen. Eine exteren Wertung wäre auch noch denkbar, wo alle User abstimmen können, diese Wertung wäre allerdings nicht zu berücksichtigen, sondern dient einfach nur zur "Ah. So hätten die User entschieden" Bestätigung. Ein Uservoting sollte nur dann möglich sein, wenn der User selbst an dem Pitch teilnimmt und es sollte ggf. nur bei starken schwankungen (Kunde gibt 5,0 Wertung, 28 User haben aber für 8,9 gestimmt) herangezogen werden, oder z.b. in Verhältnis 1:3 gerechnet werden. Irgendwie sowas. Jedenfalls sollte, wie schon erwähnt bei Illu und Thomas, der Kunde das letzte Wort haben. Wie THomas so schön sagte: Er muss damit leben. :) Des Weiteren fände ich eine weitere Aufbröselung der Preise ganz interessant. Ich bin kein großer Webdesigner, würde gerne am Your-PA Contest mitmachen, aber sehe für mich nicht ein, große Effizienz zu investieren, wenn "nur" 3 Plätze vergeben werden. Wenn man jetzt wüsste, dass z.b. nicht nur das fertige Produkt sondern auch eine "Idee" stark in die Wertung einfliesst (siehe oben im Text), dann wäre vllt auch die Motivation für Leute höher mitzumachen, die ggf. Ideen aber nicht die nötige Erfahrung haben, ein "perfekts" Produkt abzuliefern. Da würde man sich z.b. schon über einen Gutschein über 5 Bilder auf Fotolia oder so freuen. Einfach ein kleines "Dankeschön" fürs mitmachen. Und sei es eine Packung Trawlix-Kekse ;-) Oft genug gibt es gute Ideen, die der Kunde vllt. auch will, die aber nie ans Tageslicht kommen, wenn die Fehlende Wertungstransparenz, bzw. "schlechte" Belohnungen vergeben werden. Hier ziehe ich noch das Beispiel mit e-Circle heran. Ein Key-Visiual mit gerade einmal 3 Plätzen, die was gewinnen können? Puh. Harter Tobak. :) Aber das schweift zu sehr vom Thema ab. Kurzum gesagt. Mehr Transparenz, ggf. ein Uservoting, das allerdings nur stark eingeschränkt zur Verfügung steht.
6 | Theodore Thonga posted at 01.04.10 05:59
Die Entscheidung (sowohl des Kundes als auch die der Community) für bzw. gegen bestimmte Entwürfe ist und bleibt immer subjektiv. Meines Erachtens wäre es schon hilfreich zu wissen, nach welchen Kriterien (z.B. Design / Kreativität / Usabiity / Content) letztendlich entschieden wird. Diese Kriterien könnten auch zu Beginn von Contests klar formuliert werden. So weiß man genauer worauf man achten sollte. Die Verteilung von Punkte in den definierten Kategorien müsste nachvollziehbar sein. Eine standardisierte Bewertung würde schon Klarheit bringen. Eine Bewertung durch die Community ist nicht haltbar: Zu große Gefahr der Bevorzugung von Personen, größere Subjektivität, Undurchschaubarkeit . Sollte es eine Bewertung der Community geben, muss diese auch geregelt sein.
7 | Paz posted at 02.04.10 12:04
Transparenz ist denke ich hier das entscheidende Stichwort. Für mich ist Trawlix keine Plattform für Profis sondern ein Ort an dem man sich ausprobieren und seinen kreativen Horizont erweitern kann. Obwohl die Qualität der Arbeiten teilweise beeindruckend ist, sind die Einsender doch wohl kaum professionell tätig. Wäre dies der Fall, würden die sich um ihre eigenen Kunden kümmern und hier nicht die beleidigte Leberwurst spielen, wenn sie mit der Bewertung nicht einverstanden sind und kundtun, dass ihre mühsam investierte Zeit nicht geschätzt würde. Die Wettbewerbssituation unterscheidet sich von einem realen Projekt insofern, dass man hier keinen Kontakt zum Kunden hat und das "Verkaufsgespräch" allein durch die Einsendung stattfindet. Das ist eine Herausforderung. Dennoch denke ich, dass gerade aufgrund dieser speziellen Gegebenheiten besseres Feedback bzw. ein effektiveres "debriefing" notwendig und fair wäre um den Teilnehmern einen maximalen Mehrwert für die investierte Zeit und Arbeit zu geben. Selbst wenn man nicht gewinnt, kann man somit doch etwas daraus mitnehmen. Hier muss Trawlix nachbessern. Für eine Community geht es noch zu wenig partizipativ zu. Es ist nahezu unmöglich, über neue Kommentare zu den Einsendungen auf dem Laufenden zu bleiben. Diskussionen kommen nur schwer in Gang, ebben recht schnell wieder ab und umfassen nur wenige Teilnehmer. Der Trawlix-Blog und Twitter-Account erscheinen nur sporadisch gepflegt. Als "Community-Mitglied" gewinnt man zunehmend den Eindruck, nicht auf dem Laufenden zu sein. Beispielsweise wurde der Meg Pfeiffer Wettbewerb entfernt ohne dass darüber ein Wort verloren wurde, auf Fragen aus der Community wurde nicht öffentlich eingegangen. Im Weihnachtspitch wurde der Gewinner bereits propagiert (über Twitter und Anzeigenwerbung) bevor der Wettbewerb überhaupt abgeschlossen war. Über die Gründe kann in solchen Fällen dann nur spekuliert werden, da hier die Transparenz fehlt. Als Teilnehmer fühlt man sich uninformiert oder gar hintergangen. Das kann so manchen frustrieren, der mit einer anderen Erwartung an die Sache herangeht. Wenn Trawlix eine Community sein will, müssen die Mitglieder mehr einbezogen werden. Partizipation muss nicht nur ermöglicht sondern auch gefördert werden. Die wichtigsten Zeitpunkte eines Projekts hier, an denen aktiver Input gefordert ist, sind nicht das Briefing und die Deadline sondern das Dazwischen, wenn die Teilnehmer an ihren Ideen feilen. Dieser Teil ist bisher gänzlich vernachlässigt worden. Eine andere Community mit vergleichbaren Zielen bekommt das beispielsweise sehr geschickt hin, man schaue sich einmal jovoto.com an. Vielleicht hat Trawlix aber auch garnicht den Anspruch oder die Motivation, eine Community zu sein. Dies muss den Teilnehmern klargemacht werden um Enttäuschungen zu vermeiden. Als Kreativer hätte ich dann von der Plattform (wie bisher) den Vorteil mit interessanten Marken zu arbeiten und mein Portfolio aufzupolieren mit der eventuellen Aussicht auf Belohnung durch einen Preis, sollte meine Arbeit den Kunden überzeugen. Nicht mehr und nicht weniger. Sorry, falls das alles zu kritisch klingt. Ich bin mit Trawlix bisher zufrieden und habe in der Zeit, die ich hier mitmache, gelernt worauf ich meine Erwartungen ausrichten kann. Es wäre dennoch schön, wenn Trawlix sich zum einen zu mehr Transparenz entschließt und sich zum anderen mehr in Richtung einer partizipativen "2.0" Community entwickelt. Ersteres ist sicherlich nur ein kleiner aber wichtiger Schritt, letzteres erfordert grundsätzliches Umdenken. Nur meine zwei Cent, ich hoffe ich hab jetzt nicht "Jehova" gesagt ;)
8 | Beni posted at 03.04.10 01:27
Super Diskussion. Ich stimme den Kommentatoren in den meisten Fällen unbedingt zu. Ich finde vor allem Paz's Einwand wichtig: "Wenn Trawlix eine Community sein will, müssen die Mitglieder mehr einbezogen werden[...]Die wichtigsten Zeitpunkte eines Projekts hier, an denen aktiver Input gefordert ist, sind nicht das Briefing und die Deadline sondern das Dazwischen". Du triffst den Nagel auf den Kopf. Als Community und für die persönliche Entwicklung wäre ein offener Dialog an den Beiträgen Gold wert. Das müsste aber bedeuten, dass Beiträge während der Phase zwischen Briefing und Voting veränderbar bleiben um auf die Kritik der anderen Teilnehmer reagieren zu können. So würde eine schöne Dynamik in der Community und vor allem eine höhere Qualität der Beiträge entstehen. Ich würde mir auch keine Sorgen machen, dass andere User versuchen würden die anderen Beiträge als Konkurrenz zu sehen, da sie dadurch nur lernen. Ich fände es toll und es ist in anderen Wettbewerben (digital Arts) Gang und Gebe. Siehe z.B. http://forums.cgsociety.org/showthread.php?f=304&t=854006. Hier beginnt der Beitrag mit einer groben Skizze und während der ganzen Laufzeit findet eine rege Diskussion über den Beitrag statt, bis er dann eingereicht wird. Worin ich Pat übrigens nicht zustimme, dass Trawlix keine Plattform für Profis sei. Ich vermute, dass der Großteil der User entweder in diesem Fachbereich studieren oder auch schon fertig sind (so wie ich) und mit "Design" ihren Lebensunterhalt verdienen. So beschreibt übrigens Trawlix den Querschnitt ihrer Teilnehmer: "Die meisten TRAWLIX-Mitglieder sind Designer und Texter, die schon seit mehreren Jahren im Beruf stehen. Hinzu kommen noch junge Talente und Studenten von den besten Universitäten und Hochschulen im deutschsprachigen Raum." Sicherlich wäre es ein vergeblicher und auch ausgesprochen dummer Versuch allein über Trawlix zu versuchen sein Leben zu finanzieren. Deswegen wäre es auch äußerst unlogisch mehr Arbeit in ein ausgeschriebenes Projekt zu stecken als wir später durch einen evtl. Gewinn rausholen können. Aber, wenn ich mir Qualität der Beiträge anschaue würde ich behaupten, dass dieser Logik nicht alle Teilnehmer folgen, und das ist auch gut so...vor allem für Trawlix ;) Wahrscheinlich sind wir deswegen ja auch Kreative weil die Initialzündung einen Großbrand in uns auslöst, den wir nicht so schnell stoppen können und wollen. Eine gute Idee brennt und muss gelöscht werden. In der realen Auftragssituation tut dies meist der Kunde selbst, indem er das Potenzial der Idee nicht erkennen will. Bei Trawlix darf ich an die Briefings noch etwas idealistischer rangehen und präsentiere meine Idee in reiner Form. Das ist auch gut so, denn ansonsten würde der Reiz an der Plattform komplett verloren gehen. Aber dahinter verbirgt sich doch ein wichtiger Gedanke. Es müssen Anreize existieren für die Teilnahme. Wir sind jetzt an einem Punkt an dem die ersten größeren Enttäuschungen (ich gehöre dazu) von User Seite thematisiert werden. Zusammenfassend kann man sagen, dass Problem ist in den meisten Fällen ist die Unnachvollziehbarkeit der Juryentscheidungen. Was bedeutet denn eigentlich nicht nachvollziehbar? Die Beiträge werden auf ein Briefing hin erstellt. Das heißt die Jury-Platzierungen müssten sich idealerweise durch das Briefing begründen lassen. Ich denke in den meisten Fällen trifft das zu. Aber des weiteren sollte die fachliche Qualität (Idee, Potenzial, Verwirklichung) mit in die Platzierung einbezogen werden. Hier sehe ich die große Lücke im Bewertungssytem und das Problem der Unnachvollziehbarkeit. Eine Entscheidung wird dann nicht mehr nachvollziehbar wenn ich das Gefühl habe die Platzierungen stimmen nicht mit meinen Erwartungen und Bewertungskriterien überein und die Jury missachtet die fachlichen Qualitäten der Beiträge. Konkret bedeutet das, da wir Jury&Kunde brauchen und das letzte Wort bei ihnen liegt (liegen muss), benötigen wir andere Anreize, um nicht an Motivation zu verlieren. Denn, nur um mein Portfolio mit guten Ideen zu füllen brauche ich keine Internetplattform. Ein Uservoting könnte ungemein helfen neue Anreize zu schaffen. Denn die verschiedenen Ausschreibungen zeigen, dass wir User&Designer eine gute und professionelle Arbeit von einer schlechten unterscheiden können. Ich freue mich darüber wenn ich ein Kommentar unter meiner Arbeit lese, das mich bestätigt. Es ist unheimlich viel Wert, wenn eine andere Person vom Fach lobt. Das ist unter Designern nicht immer üblich! Ein Uservoting wäre also, da wir alle das Briefing kennen (und keine zusätzlichen Informationen haben, wie die Jury) und die fachlichen Kompetenzen besitzen, eine ehrliche Auswertung. Es wäre also schön, wenn parallel zum Wettbewerb unter den Teilnehmern ein offenes Voting bestünde. Ich denke auch, dass die Gewinner des Votings honoriert werden müssten. Das könnten mit Sachpreisen (wie Phil schreibt) oder mit Awards geschehen. Für die Einführung von Awards wäre ich generell. Ein Award kann z.B. ein Signet sein, dass ich als glaubhafte Bescheinigung für die Erste, Zweite oder Dritte Platzierung im Kunden- oder Uservoting in mein Portfolio integriere. Trotzdem finde ich, wie Alle anderen Kommentatoren, auch die Jury muss ihre Entscheidung begründen. Laut Trawlix werden die Ideen "sortiert, strukturiert, qualitativ gefiltert und schließlich bewertet". D.h. es müsste also ein nachvollziehbarer Prozess stattfinden. Den Prozess deutlich zu machen wäre ein Schritt mehr in Richtung "aus Fehlern lernen" als "Lernen mit Enttäuschungen umzugehen". Letzteres führt dazu, dass das Kreativfeuer gar nicht mehr entfacht wird, weil ich mich ja daran verbrennen könnte.
Einen Kommentar schreiben:
