Follow my new blog

Sonntag, 28. Januar 2007

OOP 2007: Gedanken zu einem Niveauschema für Vorträge

In einem früheren Beitrag habe ich einen kritischen Blick zurück auf den .NET Tag der OOP 2007 geworfen. Trotzde grundsätzlicher Zufriedenheit mit den Vorträgen war bei mir ein Nachgeschmack geblieben. Das Niveau des Vortrags zum Thema Versionsverwaltung hatte nicht dem Kenntnisstand der Teilnehmer entsprochen. Wie lässt sich das in Zukunft vermeiden?

Vor dem Problem, Zielgruppenkenntnisniveau und Vortragsniveau in Übereinstimmung zu bringen, stehen Tech Chairs natürlich immer. Aber wie lösen sie es? Ich glaube, für eine systematische Lösung müssen zunächst zwei Szenarien unterschieden werden.

Das eine Szenario ist die "Ein Kessel Buntes"-Konferenz. Sie wird von einem groben Thema übertitelt, z.B. eine Technologe. Das ist der Fall für die TechEd oder die VSone oder auch die OOP. Dazu kommt noch eine ebenso grobe Beschreibung des generell angestrebten Niveaus der Veranstaltung. Die TechEd wendet sich Profis, die ADC an fortgeschrittene Profis.

Wer sich dann grundsätzlich angesprochen fühlt, der geht dann zur Veranstaltung und schaut, mit welchem Niveau die einzelnen Vorträge gekennzeichnet sind. Microsoft arbeitet mit den Niveaus 100, 200, 300, 400, die zunehmende Schwierigkeitsgrade/Tiefe anzeigen. Die Zuordnung zu einem Niveau nimmt gewöhnlich der Sprecher vor.

Das andere Szenario sind die Konzeptkonferenzen/-veranstaltungen wie die prio oder auch der .NET Tag. Das Gesamtthema ist sehr viel konkreter vorgegeben und die Vorträge folgen einem gewissen Programm, um in Summe ein größeres Ganzes zu ergeben. Teilnehmer haben hier weniger eine Wahl, sie springen weniger, sondern folgen dem vom Tech Chair gespannten Bogen. Sie können also weniger die Vorträge wählen, die ihrem Niveau entsprechen - die Vorträge müssen daher das zu erwartende Niveau der Teilnehmer eher antizipieren. Der Tech Chair muss sich dazu Gedanken machen und die den Sprechern kommunizieren.

Für die "Ein Kessel Buntes"-Veranstaltungen mögen nun wenige Schwierigkeitsstufen ausreichen, um Vorträge einzuordnen. Ich habe das zwar immer schon für zu pauschal gehalten, aber die Praxis scheint zu zeigen, dass die Teilnehmer damit leben können. Für Konzeptveranstaltungen glaube ich jedoch, dass das Niveauschema anders aussehen muss. Es geht nicht nur um Schwierigkeitsgrade, sondern auch die Form der Darstellung.

In der Zukunft werde ich es daher einmal anders probieren. Folgendes Niveauschema scheint mir praktikabel:

Theorie

100 - Impuls geben (Impulsvortrag)
Das Publikum ist mit dem Thema im Grunde nicht vertraut. Erst der Vortrag bringt es ihm nahe, er lässt es sozusagen über den Tellerrand schauen. Dem Publikum wird ein Impuls gegeben, die Augen offen zu halten und sich bei Gelegenheit einmal näher mit dem Thema zu beschäftigen.
Ziel: Zum Nachdenken anregen

200 - Awareness wecken (Motivationsvortrag)
Das Publikum hat vom Thema durchaus schon einmal gehört. Vielleicht haben einige sich daran schon einmal versucht, aber am Ende doch die Finger davon gelassen. Die Relevanz des Themas ist bisher für nicht so groß erachtet, als dass man es wirklich auf dem Zettel hätte. Der Vortrag stellt also das Thema nicht wirklich als Neu vor, sondern soll es nachhaltig in das Bewusstsein des Publikums heben. Er soll in ihm die Awareness wecken, dass das Thema wirklich relevant ist und Wert, sich damit einmal näher zu beschäftigen. Er zeigt Konsequenzen auf, was passiert, wenn man das Thema weiterhin nicht auf dem Zettel hat.
Ziel: Zur aktiven Beschäftigung mit einem Thema motivieren

300 - Orientierung bieten (Orientierungsvortrag)
Das Publikum kennt das Thema und hält es für relevant. Es möchte einen Einstieg in das Thema finden, es auf seinen Zettel nehmen. Der Vortrag gibt dem Publikum daher einen Überblick über das Thema, strukturiert es, macht sensibel für seine Terminologie. Er gibt dem Publikum eine erste Orientierungshilfe, damit es sich in der Literatur zum Thema zurecht finden kann.
Ziel: Zur eigenständigen Beschäftigung mit einem Thema befähigen

Praxisniveaus

400 - Einführung geben (Einführungsvortrag)
Das Publikum kennt das Thema und hat sich schon orientiert und möchte jetzt damit loslegen. Der Vortrag nimmt das Publikum deshalb an die Hand und führt es möglichst pragmatisch in ausgewählte Aspekte ein. Es sollen die Grundzüge des Umgangs mit dem Thema vermittelt werden.
Ziel: Zur Anwendung einfacher Aspekte auf den Projektalltag befähigen

500- Vertiefen (Vertiefungsvortrag)
Das Publikum hat das Thema schon in den Projektalltag integriert und die Grundzüge verstanden. Der Vortrag nimmt daher das Publikum an die Hand und führt es tiefer ins Thema ein. Es werden speziellere Aspekte behandelt, Sonderfälle vorgestellt, kompliziertere Sachverhalte gelöst. Der Vortrag wendet sich an ein schon erfahrenes Publikum.
Ziel: Zur Anwendung auch komplizierter und spezieller Aspekte auf den Projektalltag befähigen

600 - Best Practice demonstrieren (Best-Practice-Vortrag)
Das Publikum hat weitgehende Erfahrung mit dem Thema. Es sucht den Erfahrungsaustausch mit dem Experten und den Peers, um die Anwendung des Themas zu optimieren. Der Vortrag stellt Modelllösungen und Wege vor, die sich in der Praxis bewährt haben. Er wählt aus den Optionen der Konzepte und Werkzeuge des Themas, d.h. aus dem gesamten Raum des Möglichen bewusst nur eine Untermenge des Praktikablen aus. Solche Best Practices ergeben sich erst nach längerer Zeit des aktiven und breiten Einsatzes eines Themas und sind insofern ein Destillat des Machbaren.
Ziel: Zum meisterhaften, souveränen Einsatz im Projektalltag befähigen

700 - Kritik üben (Kritikvortrag)
Das Publikum ist intim mit dem Thema vertraut und stößt an seine Grenzen. Der Vortrag beleuchtet daher das Thema kritisch, macht Möglichkeiten und Grenzen explizit und deutet zumindest Wege an, wie die Grenzen überschritten werden können.
Ziel: Kritische Reflektion des Themas, um einen bewussteren Einsatz im Projektalltag zu fördern

Mit diesen aufeinander aufbauenden Niveaus für Vorträge fühle ich mich recht wohl. Die Zielgruppen und das Ziel für Vorträge auf jedem Niveau sind klar beschrieben. Sie beschreiben die Annäherung an ein Thema, dessen schrittweise Meisterschaft und schließlich auch den Übergang zu einem Thema, das darüber hinaus weist. Sie entsprechen damit sozusagen dem Lebenszyklus jedes Themas.

Natürlich lässt sich nun nicht jeder Vortrag in Zukunft 100%ig einem dieser Niveaus zuordnen. Motivation und Orientierung finden oft zusammen statt. Für den einen ist etwas noch einfach, der andere empfindet es schon als Vertiefung. Und kritische Elemente können auf jeder Ebene vorhanden sein.

Nichtsdestotrotz werde ich mich um möglichst klare Zuordnung in Zukunft bemühen, woimmer ich als Tech Chair arbeite. Und wenn ich einen Vortrag einreiche, dann klassifiziere ich ihn einfach auch mal nach diesem Schema. Vielleicht kann ich ja andere Tech Chairs davon überzeugen, es auch zu benutzen. Dann könnten wir über Veranstaltungsgrenzen hinweg für die Teilnehmer mehr Klarheit schaffen.

Zum Abschluss noch die nachträgliche Niveauzuordnung für die Vorträge des .NET Tags der OOP 2007:

200 - Softwareproduktion als Oberthema: Der .NET Tag sollte die Awareness in puncto automatischer Qualitätsüberwachung und Produktion heben

300 - Korrektheit gewährleisten, Rainer Grau: Der Vortrag hat einen Überblick über verschiedene Aspekte des automatischen Testens und produzierens gegeben. Die Teilnehmer können jetzt selbst den Einstieg in die für sie besonders relevanten Aspekte finden. Rainer Grau hat einen 300er Vortrag geliefert, ich hatte mir ursprünglich allerdings einen 400er vorgestellt.

400 - Betrieb überwachen, Holger Schwichtenberg: Holger hat konkret gezeigt, wie sich der Betrieb einer Software überwachen lässt. Damit kann das Publikum im Grunde sofort praktisch einsteigen. Aber Holger hat durch die Vielfalt der Technologien, die er gezeigt hat, auch einen Überblick gegeben. Insofern ist es ein 300-400 Vortrag gewesen.

300 - Varianten & Versionen verwalten, Holger Schwichtenberg: Holger hat einen Überblick über das Thema gegeben und im Grunde keine Praxis gezeigt. Das hat nicht dem Kenntnisstand des Publikums entsprochen. Ich hatte auch einen 500er oder 600er Vortrag erwartet. Hier ist die Planung also leider etwas daneben gegangen. Aber in Zukunft kann ich meine Erwartungen ja nun besser kommunizieren.

300 - Automatisch produzieren, Neno Loje: Das Publikum hatte zu diesem Aspekt wenig Erfahrung. Neno hat daher aus meiner Sicht mit einem 300er Vortrag das richtige Niveau getroffen. Ein 300er ist es gewesen, weil Neno im Grunde nicht mehr das Bewusstsein der Teilnehmer wecken musste, sondern anhand einiger Beispiel einen Überblick gegeben hat, wie sich das Thema im Projektalltag manifestieren lässt. Die Teilnehmer haben Werkzeuge gesehen und Zusammenhänge kennengelernt, so dass sie jetzt auch allein ins Thema praktisch einsteigen könnten.

200 - Qualität überwachen, Walter Bischofberger: Automatische Qualitätsüberwachung von Software mit Metriken oder Strukturanalyse ist für die meisten Teilnehmer bisher ein Buch mit sieben Siegeln gewesen. Dass das geht und nicht so schwierig ist, dass es sinnvoll ist und in keinem Projekt fehlen sollte, das sollte Walter dem Publikum vermitteln und hat es auch geschafft. Er hat vor allem Bewusstsein geschaffen, aber auch einen Überblick und praktischen Einblick gegeben.

Und jetzt... auf zur nächsten Konferenz und frisch das Niveauschema angewandt. Mal schauen, wie es mir bei der nächsten prio gelingt. Ich sehe es ja nicht nur als Mittel zur Kennzeichnung von dem, was da ist, sondern als Planungsinstrument.

Kommentare:

Stefan Tilkov hat gesagt…

Gutes Schema. Aber ist die 700 - die Kritik - nicht etwas, was mich schon interessiert, bevor ich ein Thema in meinen Projektalltag übernehme?

Ralf Westphal - One Man Think Tank hat gesagt…

@Stefan: Eine "kritische Darstellung" (im Sinne von gr. krinein: (unter)scheiden, trennen) ist natürlich grundsätzlich auf allen Niveaus angebracht.

Das, was ich mit Niveau 700 meine, geht aber darüber hinaus. Da soll es um mehr gehen, als darauf hinzuweisen, dass hier oder dort beim Thema etwas Vorsicht geboten ist.

Auf Nivau 700 steht die Kritik im Mittelpunkt. Es geht vor allem um das Aufzeigen von Grenzen.

Bei darunter liegenden Niveaus steht für mich die Motivation, der Optimismus im Vordergrund. Es soll gezeigt werden, was geht.

Auf dem Level 700 hingegen ist Motivation nicht mehr nötig. Das Publikum ist motiviert (gewesen) und erfahren im Thema. Nun geht es darum, das Thema kritisch zu betrachten und seine Grenzen ins Auge zu fassen. Es geht um eine Deckelung der Motivation/Euphorie. Es geht ganz klar um die Beschränkungen des Themas - und damit dann auch darum, wo die Alternativen zu suchen sind.

-Ralf

Neno hat gesagt…

Hi Ralf,
die technischen Level 100 bis 400 von Microsoft zielen in erster Linie auf die Vorkenntnisse ab und weniger auf die Tiefe des Inhaltes (wobei das alleine schon durch den Tatbestand, dass bei Microsoft sich auch niemand so recht sicher ist was diese genau aussagen, in Frage gestellt wird).

Eigentlich gibt es zwei Dimensionen.

A) Erwartetes Level an Vorkenntnisse.

B) Tiefgang des Vortrags.

Es kann z.B. durchaus einführende Vorträge über eine Technologie geben, die allerdings nicht für jedermann gedacht sind (was z.B. MS-Level 100 andeuten würde), sondern nur für Teilnehmer, die bereits intensiv mit der Vorgängertechnologie gearbeitet haben. Also A (Vorkenntnisse): 300-400 und B (Tiefgang): 100 - 200.

So könnte man viel zielgerichteter Aussagen was gemacht ist. Würde man nur eine Dimension zur Vergügung haben würde Level 100 die Leute abschrecken, weil erwartet wird, dass evtl. zu wenig Tiefgang besteht und verkaufen lässt sich Level 100 dann auch nur ganz schwer. Level 300 schreckt wiederrum alle ab, die nur mal einen Überblick bekommen wollten, obwohl es das vielleicht ja genau ist - nur eben mit bestimmten Vorkenntnissen.

Puh... was denkst Du?

-Neno

Ralf Westphal - One Man Think Tank hat gesagt…

@Neno: Danke für deinen Hinweis zur Bedeutung der Niveaukennzahlen bei Microsoft. Ich hatte sie bisher eigentlich als Angaben zum Vortrag interpretiert und nicht in Bezug auf die Teilnehmer. Hm... Ob die Microsofties sich selbst darüber klar sind...? ;-)

Du hast natürlich Recht, dass eine Niveauangabe zwei Seiten berücksichtigen sollte: die Teilnehmer und den Vortrag.

Ein Tupel als Niveauangabe wie (300,200) finde ich allerdings nicht so gut. Da gibt es zuviele Kombinationsmöglichkeiten bei je 4 Levels :-) Und ich halte es für schwer, eine Einschätzung zur Tiefe des Vortrags zu geben. Kann der Experte das wirklich?

Deshalb finde ich auch jetzt noch meinen Vorschlag für ein Niveauschema ganz gut. Aber angeregt durch dich würde ich ihn etwas mehr strukturieren.

Ein Niveauschema sollte zu jedem Level zwei Angaben machen:

1. Was ist die Erwartung an die Zuschauer? Wo stehen sie? Welche Vorkenntnisse sollten sie haben? Wie vertraut sollten sie mit dem Vortragsthema sein?

2. Was ist das Ziel des Vortrags? Wohin will der Vortrag die Zuschauer bringen? Was möchte er erreichen?

Beide Angaben macht mein Niveauschema. Die erste unterscheidet sich dabei nicht von Microsofts Levels.

Die zweite Angabe - die Zielformulierung - finde ich jedoch sinnvoller als ein weiteres Level. Zum einen kann ein Referent die Tiefe seines Vortrags schlecht in Bezug auf sein Publikum einschätzen; zum anderen finde ich es wichtig, dem Publikum eine Perspektive zu geben, was ihm ein Vortrag bringt. Wenn ich sage, der Vortrag hat die Tiefe 300, dann muss ein Interessent grübeln, was das für ihn bedeutet. Wenn ich ihm aber sage, der Vortrag wird dich einführen oder dir best-practices vermitteln oder dir einen überblick bieten, dann ist das viel besser verständlich.

Niveauangaben sollten sich also immer komplett auf das Publikum beziehen. Es ist unwichtig, für wie kompetent ein Referent sich hält oder wie tief oder flach er seinen Vortrag einschätzt. Viel wichtiger ist, dass das Publikum erfährt, welche Voraussetzungen es mitbringen sollte (Angabe 1) und was es am Ende vom Vortrag zu erwarten hat, was sein Ziel ist (Ziel 2). Mit einer solchen Zielangabe kann es am Ende auch besser bewerten, ob das Ziel erreicht wurde.

In Summe muss ein Vortrag damit für mich so beschrieben werden:

-Titel
-Inhaltsskizze
-Zielgruppe
-Niveau
---Erwarteteter Vorkenntnisstand der Zielgruppe
---Angestrebtes Ziel

Und da es nur relativ wenige sinnvolle Kombinationen von Vorkenntnisstand und Zielen gibt, können beide in einem Schema wie dem von mir vorgeschlagenen zusammengefasst werden. Ein weiterer Vorteil dieses Schemas: Es gibt dem Referenten eine gewisse Guideline für die Form seines Vortrags. Indem das Niveausschema explizit Vortragsarten wie Impulsvortrag oder Best-Practices-Vortrag definiert, um bestimmte Ziele zu erreichen, können sich Muster herausbilden (oder haben es schon), wie diese Vortragsarten am besten implementiert werden. Ein Impulsvortrag sieht dann wahrscheinlich und zurecht sehr anders als ein Best-Practice-Vortrag aus.

Überzeugt? ;-)

-Ralf

Ralf Westphal - One Man Think Tank hat gesagt…

@Neno: Upps, eines hatte ich noch vergessen:

Mit meinem Niveauschema bzw. der Zweiteilung der Niveauangabe in Vorkenntnisstand+Zielangabe gäbe es übrigens auch kein Problem mehr mit der Einschätzung von Vorträgen.

Indem nämlich klar gesagt wird, welche Vorkenntnisse man haben sollte, kann sich jeder Interessent überlegen, ob er sie mitbringt. Er kann sich dann darauf verlassen, dass der Referent diesen Vorkenntnisstand berücksichtigt.

Wer dann mehr weiß, als gefordert, kann sich nicht darüber beklagen, dass der Vortrag womöglich zu einfach/flach ist. Und wer weniger weiß, kann sich nicht beklagen, wenn er nicht alles versteht ;-)

Dazu kommt dann die Zielangabe als Orientierung. Ein Interessent kann sich dann prüfen, ob er bei seinem Vorkenntnisstand das beschriebene Ziel erreichen will. Hat er wenige Vorkenntnisse, will er dann einen Impulsvortrag? Ist ihm das genug? Oder sucht er eher eine Einführung? Hat er viele Vorkenntnisse, will er dann Best Practices oder Kritik oder Vertiefung?

Ich denke, die Zahl der Missverständnisse kann durch die Kombination von Vorkenntnisstand+Zielvorgabe/Vortragsart nur abnehmen.

-Ralf

Neno hat gesagt…

@Ralf:

Reden wir nicht über das selbe?

Ein Ziel impliziert doch auch die Tiefe! Es mag natürlich von Thema zu Thema varriieren, was tief bedeutet, aber Ziele wie "einen Überblick bieten" oder "Praxiswissen vermitteln" geben ein klares "Tiefenniveau" wieder. Ich sehe also in dieser Dimension keinen großen Unterschied zu dem, was ich schrieb - außer: es ist leichter in Zielen als Tiefernmetern zu denken (und den eigenen Vortrag einzuschätzen). ;-)

Ralf Westphal - One Man Think Tank hat gesagt…

@Neno: Hm... impliziert ein Ziel eine Tiefe? Ja, durchaus. Aber sie verstecken die Tiefe. Und das halte ich für wichtig. Denn Tiefe ist für mich kein sinnvolles Selektionskriterium.

Zum einen ist die Tiefe, die ein Referent seinem Vortrag beimisst, eine subjektive Einschätzung, die ein Teilnehmer nicht teilen muss. Da kommt es dann schnell zu einem Missverständnis. Das gilt es zu vermeiden.

Die Selbsteinschätzung eines Teilnehmers kann zwar auch daneben liegen (er hält sich für einen Experten, ist aber Anfänger ;-) - aber darum kommt man nicht herum. Man kann jedoch vermeiden, dieses Missverständnispotenzial nicht auch noch zu verstärken durch eine zweite Selbsteinschätzung.

Zum anderen passen zu Vorkenntnislevels wie Unbedarfter, Anfänger, Erfahrener, Experte jeweils nur wenige Tiefenstufen eines Vortrags. Einem unbedarften kann man keine Erfahrener- oder Experte-Tiefe zumuten. Und umgekehrt: Was soll ein Experte in einem Thema mit einer Darstellung für Anfänger? Vorträge können sich also nur ungefähr auf dem Niveau bewegen, auf dem sich das Publikum schon befindet. Einen Unbedarften kann ich mit Anfängerniveau konfrontieren, einen Erfahrenen mit einem Expertennievau - mehr geht aber nicht. Insofern wäre eine Tiefenangabe für den Inhalt sogar redundant. Darin sehe ich auch den Grund für das Missverständnis von Microsofts Levels: Zu einem Vorkenntnislevel von 200 gehört eigentlich auch eine Vortragstiefe von 200 (höchstens 300) usw.

Damit wären wir aber wieder bei nur einer Angabe und zwar einer sehr subjektiven. Das finde ich aber eben zuwenig, weil in einem Vorkenntnis- oder Vortragslevel keine Erwartung, kein Ziel darüber hinaus"kodiert" ist. Ein Level ist kein Ziel, stellt keinen Nutzen an sich dar.

Nutzen will das Publikum aber aus einem Vortrag ziehen. Deshalb finde ich wichtig, den Nutzen in Form eines Ziels zu formulieren. Was will der Referent erreichen? Was kann ich am Ende mitnehmen? Der Vortragende will mit Best-Practices vermitteln? Ich soll einen Impuls zum Nachdenken bekommen? Das (!) sind Ziele, an denen ich einen Vortrag messen kann.

Best Practices als Ziel stehen oft schon in den Titeln von Vorträgen als Ziel. Gut so! (Ob sie dann zu den Vorkenntnissen des Publikums passen, ist eine andere Frage. Und ob man Best Practices schon wenige Monate nach Vorstellung einer Technologien überhaupt kennen kann, ist auch eine andere Frage.)

Andere Ziele werden bisher aber kaum formuliert bzw. sind nicht standardisiert. Das halte ich auch für eine Lücke, die mein Schema schließt. Es folgt dem Lebenszyklus von Themen, an denen sich auch Referenten (und Tech Chairs) orientieren können.

Dass dann die Mehrheit der Vorträge zu einem Thema sich wohl im Bereich von 400..600 bewegt, macht ja nichts. Sie sind deshalb trotzdem via Niveauschema verständlich eingeordnet. Gerade für neue und sehr alte Themen bieten dann aber 100..300 und 700 klare Levels, um sie einzuführen oder zu verabschieden. Mit Einstufungen wie "100-Impulsvortrag" oder "200-Motivationsvortrag" kann ich viel einfacher feststellen, ob ich einen Vortrag besuchen will, als wenn ich nur wüsste "100/100" oder so.

-Ralf