Talk:From open assessment to shared understanding: practical experiences

Reviewer comments (revision 1)

Thank you for the opportunity to review this manuscript. This is an article of importance in a complex field, which is the decision-making. Using evidence-based information support and guide decision-makers to take rational societal decisions. Overall, the paper the way written is a bit confusing. Thus, my review will concentrate on minor and major suggestions that could help authors to improve the clarity of their manuscript.

----arg0857: . Thank you for the reviewer comments. They were very useful. The previous manuscript structure was based on an idea to present the different methods in a rough order in which they were invented or adopted. Based on the comments, this clearly was not successful. Now we have completely reorganised the text and rewritten every part of it to match a new structure that clearly separates the background, materials and methods used in this study, the results of this study, i.e. the evaluation of open policy practice, and finally discussion where the results and open policy practice are discussed from a wider perspective.

The new structure caused the following major changes to the manuscript:

• Some notes about the history of open policy practice is given in Background, as well a description about how methods within open policy practice were developed.
• The descriptions of open policy practice and its methods were located as a separate section after Background and before Methods. The description starts with an overview and then goes into details.
• Methods section contains the methods of the evaluation work performed in this study (as a reader would expect). The material used for the evaluation were the ca. 30 open assessments and policy processes that have utliised (at least in part) the methods of open policy practice. Literature reviews were performed before this study, and this is described in Background with appropriate references to the reviews.
• More material was added about Climate Watch, which is a web-workspace to manage the climate strategy of the City of Helsinki. This is the newest and largest implementation of open policy practice so far.
• The Results section is structured according to the properties of good policy support. Each method or tool within open policy practice is evaluated against these properties. As a result, the table in the Results section was completely rewritten.
• All evaluative texts were moved from the previous Open policy practice section to the current Results section.
• The minor revisions suggested by the reviewer were corrected. However, it is not possible to make references to every one of them, because the structure of and the text within the manuscript have changed so much. --Jouni (talk) 11:37, 18 February 2020 (UTC) (type: truth; paradigms: science: comment)

Minor revisions

Abstract

The abstract is a bit confusing. It's hard to understand the methods conducted and the results obtained from the review. Also the main purpose of the study is missing. I would like authors to review it.

----arg1496: . The structure of the manuscript will be modified and these things will be clarified. The method description of open policy practice is a separate section, and the methods of this study are described in the methods section. (Erotetaan OPP metodin kuvaus omaksi osakseen ja metodeihin kuvataan kirjallisuuskatsausta ja hyvyyden kriteereitä.) --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

The authors, in the methods, highlighted that they "give an overview of and describe practical experiences from the open policy practice method…". However, the methods the way presented is a bit confusing. The reader is not able to understand if authors are talking about their method conducted to realize the overview or they are describing the open online policy practice methods usually used for decision-making by the NIHW.

----arg1496: . Clarified, when the structure is improved. See comment above. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

I do believe they mentioned an overview, but an overview is an extensive review of the general evidence including internal documents and publications, based on a search strategy for internal and external evidence. So the process conducted is missing. How did you access the evidence? What kind of documents did you consult? Internal documents, reports, letters, publications? Any electronic documents consulted? Databases? What were the main concepts searched and extracted from each document? Any grid used for information selection? ----arg1496: . This will be described in the updated Methods section. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Background

"In this article, decision support means knowledge work that is performed during the whole decision process (assessing, deciding, implementing, and evaluating) and that aims to produce better decisions and outcomes", please consider adding a reference.

----arg1496: . A reference will be added. (Olisiko Knowledge practices -artikkeli?) --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Authors stated "open policy practice, a set of methods and tools for improving science-based policy making". Those methods and tools are platforms? Checklists?

----arg1496: . A table of methods and tools will be added, summarising the key properties of each method or tool. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

p. 4, Authors stated, "In this article, we will give…"; "We will also take a step…", please consider changing the future tense "will give" ; "we will discuss…", to present or past tense, the work is already done.

----arg1496: . The text was updated to present tense. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Also, in the last 2 paragraphs, from "In this article, we will give the first comprehensive, peer-reviewed description…" to "…of scientific information in societal decision making", we can understand indirectly the main aim and the underlying specific objectives of your study, however this wasn't clearly stated. Please consider revising and reformulating them in purpose and objective format in order to help readers to better understand and follow you.

----arg1496: . The purpose of the study will be reformulated. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Major revision

Methods

In the methods section, the reader isn't able to understand how the authors proceeded in their peer-review study to describe the methodology and tools of open policy practice, and how they evaluated the methods.

It would be more helpful if authors differentiate between the review methods conducted and the methods of open policy practice elaborated. I would like authors to provide more information about the search strategy used including databases searched, documents consulted (type of document), keywords used to search all the evidence and how the extraction of evidence have been conducted.

Also, the methods, the way presented, is a bit confusing. Are authors presenting here the different open practice policy methods? So the section 'methods' is a part of the background? If so, I would like authors to change the title of this section to for ex. Methods of the open practice policy and then to link this section with the background by adding few sentences introducing the different methods of the open practice policy used by the NIHW prior to detailing them.

Also it would be more helpful for readers if authors start by presenting the open practice policy and then the underlying methods.

----arg1496: . The updated methods section will answer the methodological comments above. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Authors stated "We will also take a step back and critically evaluate the methods used during the last 17 years…", How did authors evaluate the methods? Any checklist used? This should be well explained in the methods section to help readers better understand.

----arg1496: . The properties of good assessment were used. This will be clarified in the text. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

P.5, line 50, change "If they are not able make such…" to "If they are not able to make such…"

----arg1496: . Typo corrected. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Insight networks is what exactly? A website? Checklist? Concept map??? Organigram? More information is needed.

----arg1496: . This will be described in table ##. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

How drew chain such figure 1 can help decision-makers to decide clearly on specific idea / subject?

----arg1496: . A user example will be added to illustrate how insight networks may be useful. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

What are the advantages and disadvantages of each method/tool? What are the criteria that define the choice of each method to use? All the methods are still active and used? Can we combine between all these methods? In other terms can we use more than one method at the same time to be more informed on decisions?

----arg1496: . The new table ## will answer some of the questions. In addition, text will be added about this. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Why different methods were developed? Who decides on the choice of the appropriate method?

----arg1496: . The methods were developed for theoretical and/or practical needs, based on case study feedback. The decision on methods to include in the current version of open policy practice were done by the core development team (authors of this article). In practical case studies, the problem owner decides which methods to use. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Can anyone access this platform and use the methods?

----arg1496: . Yes. (Currently Opasnet accepts new users by invitation only, but should be open that now [and accept the risk of garbage bots]? Or should we recommend an Opasnet-independent approach to use the methods? Maybe.) --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

There is a need to evaluate the assessment work before, during, and after it is done. The criteria mentioned in the table are applied to assess the decision process? Which assessment work has to be evaluated as pointed by the authors?

----arg1496: . Not sure what this question means. Help, anyone? --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Also, authors are talking about assessment/evaluation (open assessment). How each criteria will be measured? Is there any score to calculate for each criteria and based on what a final decision will be taken? Or it's a yes/no checklist?

----arg1496: . The evaluation of properties of an assessment is qualitative and personal. Likert scales (very good, good,... very bad) or similar may be used to help summarise results. The key benefit is to help an evaluator to ask useful questions rather than to produce quantitative estimates. This idea will be added to the text. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Results

The results the way presented is a bit confusing. I would like authors to clarify better what are the results about presented in this section. Authors stated "Experiences from these assessments were used to evaluate the methods", are the results about the assessment of each method of the open policy practice or assessment of the results obtained from each project in which one method was used. Please consider adding more information in this regard.

----arg1496: . Literature review should help here. But ideas for clarifying this is needed. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Also, we don't clearly understand the impact of each support method on decisions. In the results section, we like to see how each method has contributed to the improvement of decision-making processes and how actions will be taken by decision-makers based on assessments.

----arg1496: . Since the submisison of the manuscript, we have gained experience from the Climate Neutral Helsinki 2035 project. Results will be presented from there. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Authors stated Experiences from these assessments were used to evaluate the methods. See Table 8. However, Table 8 shows some criteria to evaluate projects/articles/courses/?? Please explain.

----arg1496: . Table 8 does not contain criteria but lessons learned based on different criteria. Column headings were added to clarify this. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Discussion

It would be helpful for readers in general and decision makers in particular if authors consider discussing the different open policy practice tools and methods in terms of advantages and disadvantages.

----arg1496: . This will be added to the new table. --Jouni (talk) 12:05, 21 January 2020 (UTC) (type: truth; paradigms: science: comment)

Notes

These are notes from my phone, copied here directly without editing. They should be read and distilled into practical to-do list. They were named Oa2su (open assessment to shared understanding) 1-13 and written between January and March 2018.

Whats the big idea. Facilitate the most important part of scientific enterprise namely data sharin criticism and common pöatform for discussion. Idea is to have material gather around research questions rather than research data or articles.

The next big idea wass to facilitate the essence of decision making ie. The knowing what should be done. Acknowledging that knowing also has a crucial part of wanting.

Shared understanding is then broadened to what others than decision makers want. Ie to know what political pressures exist and what kind of opposition is to be expected.

How much would policy improve if parties were worced to understand other parties? This can be done if the parties are not doing it by themselves but by representatives whose task is to understand what the party wants. Ironically, that is exactly the purpose for which parties were invented in the first place. But because the practices cause bias in the system, better practices must be develpoed outside the system until they can be i ternalised.

Topicwise organisation of information woeks well. It helps to find information that uoy did not remwmber you peoduced in a previous project.

It is also ctiyical that the archi Al process is supported by the workspace. No need to copy infoe.ation from one repoItory to another.

Evaluation: it works but it is not a success. The hardest part is to motivate people to change their practices. To produce genuine cocreation. Many current practices are against the objectives of oa.

First innovation. Extended caysal diagrams. Not only for structuring a model but to structjre assessment work and discussion.

Second innovatiln. Knowledge crystal. For organising scientific work around a research question rather than a single dataset or an article about a single analysis. This lead to the idea that the answer keeps evolving not the question.

Nykyisin ei oikein ole tarjolla paikkaa jossa yhdistyisivät avoin aihepohjainen j kriittinen keakuatelu ja koneluettavat syntersit.

Edes osf ja muut avoimen tieteen työtilat eivät tue gätä.

Kysely ihmisille jotka ovT käyttäneet opasnettiä. Miksi et käytä enää? Hankala hyödytön muutkaan eivät käytä tms.

Monet tutkijat toimivat nykykäytäntöjen mukaisezgi ja vastustavat tieteen peeiaatteiden mukaisia käyntöjä. Esim avoimuutta vastustetaan ideavarkauksilla ja kritiikki nähdään asiana jota itse noudatetaan ennen julkaisemista jotta valmista lopullista työtä ei tarvigse kritisoida. Artikkelit nähdäänkin pysyvinä ja niihin harvoin tehtävät korjaukset ovat vakavia imagotappioita.

Lack of participation is a constant problem. Even when the topic is close to heart many people observe from beside and hope that solutions emerge from the assessment without own contributions. Assessment is not typically seen as a means of contribution. Instead, direct personal lobbying, writing opinion papers to newspapers or blogs are sseen as contributions.

It is maybe that assessments are seen as neutral so those who want to influence do not see it as a means to influence.

Showing on an assessment that someone is wrong is not rewarding if that person goes on spreading the faulty message publicly anyway. This would clearly change if decision makers paid more attention to assessments than public discussion.

John evans kirjoittajiin

main objective of open policy practice Decision support in

execution of decision support And decision process. The focus of this article is on scientific support but the scope covers thw entire decision process including impleme tation and evauation of outcomes

Here we use "assessmemt of impacts" for ex ante consideration about what would happen if a particulae decision is made, and "evaluation of outcomes" for ex post consideration about what did happen when the decision was made.

them, and guidance for participants. Figure 2

are brefly described here. Figure 3

It is needed to organise and synthesise the information Infrormation has to be collected organised and synthesised, and facilitators need to motivate and help people to share their information.

that may be in wide use in some areas Turha

focus should move from an assessment Target object in this wider context is not an assessment report but a decision option to be chosen and implemented.

The research question of an assessment guides Also the subattributes of an assessment scope help in this: question participants in assessment timing of assessment boundaries of the question users and intended use of the assessment. Decisions and scenarios Tähän myös selventävät kysymykset

Johdantokappale tUlukkoo 6

effective way to make public policy. Muita tarkoituksia: auttaa ihmisuä ymmärtämään asioita hyväksymään tehty päätös luottamaan päättäjiin mutta myös herättämään epäluottamusta tilanteissa joissa päättäjä toimii vastoin jaettua ymmärrystä. Nostamaan esille uudenlaisia ideoita. Saamaan koko kansan potentiaali pääätöksien tekemiseen parantamaan päätöksen perusteluja.

Maininta että jaettu ymmäärrys on ollut parhaiten ymmärretty ja omaksuttu ajatus päätöksenteossa. Se on saanut vastakaikua suomen valtionhallinnossa erityisesti vnk ssa ..

to find the truth directly, i Tähän ajatus että kun kainkien näkemyksiä tarkastellaan kriittisesti, löytyy väitteitä jotka eivät kestä ja jotka päättähä voi hylätä. Sen sijaan väitteen esittäjä saa pitää näkemyksensä eikä häntä tarvitse suostutella muuttamaan sitä (toisin kuin poliittisessa neuvottwlussa jossa vastapuoli koetetaan suostutella äänestämään oman vaihtoehdon puollesta.

Mutta koska näkemysten esittäminen on välttämäröntä jaetun ymmärryksen synnyttäniselle, on yhteisön suhtauduttava suopeasti niiden esittämiseen riippumatta niiden tieteelllisestä kestävyydestä. Tämä on psykologisesti ja virstinnällisesti haastavaa. Se edellyttää osallistujilta luottamusta siihen että heitä arvostetaan mielipiteistä riipoumatta.

Vielä on hyödyllistä huomata että keskiössä ovat ajatukset eivät ihmiset. Jos siis on jokin kestämätön ajatus, ei ole tarpeen saada jokaista sen kannattajaa osallistumaan vaan riittää yksi joka esittää ja perustelee näkemyksen. Silloin se saadaan mukaan jaettuun ymmärrykseen. On ofotettavissa että jotkut edustajat huomaavat oman näkemyksensä tulevan teilatuksi yhteisellä foorumilla ja siksi katsovat

Katsovat paremmaksi taistella jaetun hmmärryksen käytäntöjä vastaan.

describe the variety A

A and b Tässä diskutoitava sitä miten sallitaan ristiriitaiset näkemykset mutta näkemysten kokonaisuuteen voidaan soveltaa erilaisia päättelysääntöjä. Yksi on tieteen menetelmä, toinen on puolueen päättämä kanta muitakin voi kehittää. Kaikki kuitenkin hyödyntävät yhteistä tietopohjaa.

Jaettu ymmärrys auttaa löytämään ajatusvirheitä ja puutteellisia tietoja. Jo tämä vähentää vastakkainasettelua. Lisäksi se auttaa tunnistamaan välttämättömiä premissejä tietylle näkemykselle ja antaa siten työkaluja haastaa noita näkemyksiä. Se myös selkeyttää poliittisia jakolinjoja.

participants of the decision support or decision making process Lyhennä

Acceptability can be measured with a test Älä käytä acceptability sanaa tässä vaan vain test of su

Shared understanding is then broadened Sehän on jo kriteereissä. Eli ei lisäksi vaan on kirjoitettava auki

worced

Jaettu ymmärrys on liian laaja kirjoitettavaksi yhteen tekstiin kirjaksi ja liian monimutkainen ja muotoinen pilkottavaksi yhteen hierarkiarakenteeseen nettisivustoksi. Sen sijaan se voidaan kuvata avoimena linkatruna datana johon voidaan rakentaa useita rinnakkaisia hierarkioita linkityksiä ja hakutoimintoja. Työ tämän rakenteen luomiseksi on kesken mutta tässä esittelemme tämänhetkisen tilanteen.

Ora cources 2007-2009

Large number of knowledge crystal pages is not a problem. Google has shown that things can be effectively found among huga data masses.

Postpublishing peer revies. Physisists have shown that it works. Why does it not spread to other disciplines? There is no inhrrent pressure and the society is inactive although it is a major societal problem. Closed dta and publishing systems could be banned and some resdarch funders have done that.

The role of criticism in science is crucial but the actual practices are far from ideal. Systematic criticism occurs rarely mainly with reviews and that is not public. The attitude is that it is a failure if a published article is publicly ctiticised.

Päätöksenteon tukena Nimi myös englanniksk

it implies that Indicates

page in the Opasnet On

References And notes

Appendiksit

Assessment Määritelmä uusittava. Myös muut oliot

tool is depreciated As a formal object

Ensyclopedia

Topical information areas to app1+ kuva

App2 kuvaus paketista cranista

(S4 object) Sulut pois

The ovariable has seven A

X@slot Where X is the name of the ovariable in R code

index. In Monte Carlo Used in mc.

Rekursio selitettävä

Opasnet base. Ei viittauksia 1 versioon

We should talk more about high air pollution concentrations in developing countries. This is a hybrid sentence and substance and task should be separated to facilitate organisation.

Topical areas to opp.

Priority is given ro open source solutions and finnish examples

Arvostusta tarvitAn koska järjestelmä on julma ja saarraa teilata ihmisille rärkeitä ajatuksia Siksi sen kuitenkin on oltava lempeä eli osoitettava kunnioitusta kaikille kontribuutioim Lle sisällöstä riippumatta.

Jaetussa ymmärryksessä kuitenkin on ideana että monenlaiset näkemykset sallitaan ja erilaisia päätelmiä saa tehdä. Jos et hyväksy yhtä päättelysääntöä voit käyttää toosta. Mutta voita varautua siihen että monet käyttävät ensimmäistä.

Sekä arvot että päättelysäännöt ovat henkilökohtaisia. Mutta ihmiset voivat omaksua myös yhteisiä arvokokonIsuuksia käyttämällä arkkityyppejä jotka ovat lähimpänä olaa arvoprofiilia. Myös päättelysäännöissä on omanlaisiaan arkkipäättwlyitään tai logiikoitaan. Jälkimmäiselle on keksittävä hyvä nimi koska sitä ei vielä ole. Uskonto. Arkkipäättely. Öaradigma. Koulukunta. Ehkä oaradigma.

cann Huono lause

Su. Argumentaatio löysää ja epäselvälsi jää miksi toimii päätösvaihtoehtojen larsijana. Esitettä paradigmat ensin.

scrutined Kumma lause

encourages production Of more skillful producers

about what would happen Will

happen when the decision After

Jadttu ymmärrys vlidaan ajatella kahdella tavalla. Se voi olla yksinkdrtaisesti neuvo ihmisille keskistelun tavoitteesta, neuvo siitä missä hengessä asioiT putää keskuatella. Tai sitten se voidaan ajatella kifjaimellisesti ja todella pyrkiä systemaattisesti kuvaamaan kaikki olennai en ajatyelu. Jälkimmäinem rapa on tietysti vaileampi ja työläämpi ja vaatii aiemmin esitettyjä ohjeita tietorakengeista ja keskustelumenetwlmistä. Mutta se vaatii myös kaksi uutta konseptia joilla arvoja ja päättelyä voidaan operationalisoida. Ajattelun kuvaaminen on sen verran ttölästä että pitää pyrkiä yleispäteviin nuvauksiin zen sijaan että kuvataan joka kerta samat yksityiskohdag uudestaan.

Arkkityypit ja paradigmar.

Teoria sanoo että suosiotaan kasvattavat sellaiset arkkityypit jotka kuvastavat monille ihmisille tärkeitä perimmäisiä aevoja. Tällaisia voisucat olla turvallisuus koskemattomuus ja tasaarvo. Keskenään ristiriitaisista arvoista olettaisi ihmisten haluavan arkkityyppiin nimenomaan ne kaikkein tärkeimmät varmistamaan että ne nostetaan aina esille eri tilanteissa. Sen sijaan vähemmän tärkeät arvot eivät päädy arkkityyppiin koska ne harvoin määräävät preferenssejä. Ja silloin harvoin kun ne osoittautuvat vaaankieliarvoiksi, tämä asia voidaan ilmaista tapauskohtaisesti ilman arkkityyppiäkin.

Paradigmoista puolestaan suosituiksi noususivat ne jotka ovat selitysvoimaisia laajasti eikä vain jollain suppealla alalla. Siksi voisi olettaa että tieteen paradigma saavuttaisi suosiota vaikka nykypäivänä on aivan tavallista että yksittäisissä asioissa ihmiset päättelevät vastoin tieteen menetelmää. He esimerkiksi usein pyrkivät osoittamaan oikeaksi hypoteesinsa vaikka tieteen paradigman mukaan pitäisi todistaa vääräksi.

Tätä kuvastaa esimerkki jossa ihmisiä kadulla pyydrtään selvittämään minkä säännön mukaan on muodostettu kolme peräkkäistä lukua. Kun ensimmäinen esimerkki on 2 4 8 vastaajat tyypillisesti päättelivät että numerot kaksi kertaistuvat vasemmalta oikealle ja testasivat tätä sääntöä noudattavia kolmikoita. Mutt tällöin he eivät huomanneet että heidän hypoteesinsa vastaisetkin kolmikot kuten 1 3 7 täyttivät sen. Oikea säöntö nimittäin oli että luvut suurenevat. Kokeilun relevanssi tähän tilanteeseen on että vaikka ihmiset kovin usein haksahtivat käyttämään rehotonta paradigmaa, he selityksen kuultuaan auliisti myönsivät että tieteellinen paradigma olisi ollut parempi.

Ensin on selitettävä aevoprofiili ja sitten vasta arkkityyppi koska sehän on vain arvoprofiilin ryhmämuoto.

Kuvattava se että jaettu ymmärrys laajemmassa merkityksessä on haastava koska kaikkien osallistujien kaikki näkemykset pitäisi dokumentoida. Siijen tarvitaan lisää työkaluja.

Opp keskittyy päätöstilanteen kuvaamiseen. Su puolestaan purkii kattamaan kaikkien näkemykset laajasti mikä on vielä oma haasteensa.

as part of a wider perspective From a

increases distrust Deteriorate trust

inform, and make decisions. How well these purposes have been filfilled in practice will be discussed in reUlts.

thought process Es

Any problem that needs open policy practice is so complex that the description would be too detailed and long to memorise Turha

Quantitative assessment models Kökkö lause

reanalysise

share their values. Such applications are routinely developed by all major newspaper for every national election in Finland. However, these tools are not used to collect value profiles from the public between elections although such information could be used in decision support.

Archetypes aim to save effort in gathering value data from the public as not everyone needs to answer all possible questions.when archetypes are used. It also increases security when there is no need to handle individual people's answers but public value data instead.

conflict priorit

Pitää verrata uuden menetelmän vaikeutta nykytilanteeseen. Koko systeemiä ei tarvitse ottaa käyttöön heti tai ollenkaan vaan voi hyödyntää niitä osia jotka tuovat lisäarvoa.

On hyödyllistä tarkastella avoimuuden ulottuvuuksia ja kritiikkiä: jos haluan tarkastella päätösvaihtoehtoja tieteellisen kriittisesti , kuinka helppo minun on saada riittävän yksityiskohtaista tietoa? Vastaus on että harvoin. Harvoin edes päätösvalmistelussa ajatellaan että niin pitäisi toimia.

Reuse pohdittaca myös. Eli on illut työlästä saada yleiskäyttöisiä tietokiteitä mutta se on onnistunut ja konsepti on osoittautunut toimivaksi. Käyttöä rajoittaa markkinointi enemmän kuin jokin muu.

Periaatteet ovat osoittautuneet hyviksi mutta nykykäytännöt usein niizen vStaksiksi. Kritiikki ja avoimuus ovat tieteen kesneisinä periTTEIna yllättävän huonosti edusyettuna nykykäytännöissä. Toisaalta viimeisen viizen vipzen aikana on tapahtunut meekittävää edistymistä globaalisti joten suunnan voi toivoa jatkuvan.

Listaa projekeja tuloksia ja päätelmiä

Ajatus errä opp voisi olla menetelmä kaikelle tutkimustyölle ja myös kaikelle päätöksentekotyölle on olkut yksi kehityksen pohja. Se ei ole kuitenkaan lyönytvläpi ollenkaan.

Ihmisen toive että on jokin virallinen varmennettu totuus sotii yhteistuotantoa vastan. Kaikessa voi olla aina virheitä ja ni7npä rationaalinen toimija aina peilaa riedon luotettavuutta omaan käyttötilanteeseensa. Jos tämä tieto onkin virheellinen, koituuko sen käyttämisestä jotain vakavaa haittaa? Jos ei, tiedon käyttö in ongelmattomampaa.

Monet useimmat tutkimuskåytännöt eivät toteuta avoimuuden kritiikin ja uudelleenkäytettävyyden periaatteita. Monille tutkiboille tämä ei kuitenkaan näytä olevan ongelma vaan he ovat nykykäytäntöjen kannattajia. Heidän näkökulmastaan monet kåytännön ongelmat ja kitkatekijät näyttäytyvät

Tehokkuus. Avoin toiminta ei ole tehottomampaa kuin perinteinenkään uusiokåytön qvulla jopa tehokkaampaa. Mutta vawtassa on oppimiskäyriä ja lisätyötä ennen kuin hyödyt realisoituvat. Mutta arkistointi esim helpottuu eikä tätä hyötyä normaalityössä huomaa ennen kuin aivan looussa.

Onko tyypillistä mennä kovin syvålle yksityiskohtiin? Yleensä eri asiantuntijat toimivat varsin itsenäisesti ja tuottavat oman tietoblokkinsa tiettyyn muottiin valettuna. Tämä näkyy erityisesti työn organisoinnissa eli mitään ei ole nåkyvissä ennen kuin työ on vaomis ja sitten näkyvissä on tulos ja valikoitu kuvaus menetelmästå. Yhteiskehittämunen oman työryhmän ulkopuooella on harvinaista.

Oa as primary place for research is problematic because thrre is something researchers want to do another way. As a secondary place it is seen as nuisance because the traditional tools would produce reports etc as well.

Hiljaisten mahdollisuus osallistua paranee.

about the topic; a A particular

particular group of participant And with another group it would be different.

an ambition level Ambitious

have not been described yet. Not yet

majority of those with practical Most of people's thinking can be covered with a fairly small amount of a and p. As a comparison, there are usually two to a dozen parties in a democratic country rather than hundreds.

does not rely on artificial Not need to

the current situation Version

decentralised, linking Ei pilkkua

any piece of new Publication or other piece

This improves their usability and accessibility. Pois

safetyIn house Solu puuttuu

this phenomenon even Lack of critique

other people's work Even within a joint project

We don't think that the lack Lack of contributions limits the amount of new views and ideas that potentially could be identifies with open öarticipation. However, we

sources are still And analyses

incentives for doing so; Giving critique

Yhtäköyttä kokoemkuksia mukaan

Maahanmuuttoarviointi yhteiskirjoittaminen muuta

People stick to their original ideas. This is seen in polirixs jussila and experimentally concience? Article shared undetstanding may help in this as the original idea and theasons to reject it becomes more explicit and thus they can be affected more easily by the person itself and others.

argued that such freedom Osaksi efficacya

In conclusion we have demontrated that technically, open policy praxtice works as expected. Open assessments can be peeormed openly online. They do not fail due tp reasondäs many people think they eill, namely low quality contributions, malevolent ataätacks or chaos caused by too many uninformed participants. Dhared understanding has proved a useful concept that guides policy process toeard more collaborative approacj whose purpose is wider understanding rather than winning.

However, open policy practice has not been adopted in expert work or decision support. Key hindrances have been it offers little added quality of content or efficiency for a single task by an expert or a decision maker and the increast availability, acceptability and interassessment efficiency have not been recognised by the scientific or policy community.

Active facilitation, community building and improving the user-friendluness of the tools were identifies as key solutions in improving usability of the method in the future.

Jaetussa ymmärryksessä idwana on pureutua yksityiskohtiin joihin voidaan nrtissä käyttää niinbpaljon aikaa kuin selvittämiseen tarvitaan. Sitten tulokset ovat kaikkien liettavissa vähällä vaivalla.

Kaisa mäkelä

Matleena

Anne knol

Patrycja

Boundary object lisättävä resultteihun tai diskussioon.

Solved. Tutustu alustaan ja mieti käyttöä tai mainitse.

Fingertip. Suomalaisfirma jolla pystytään kuvaamaan koko prosessi ja näkyvää kuka teki mitä.

T sampo alusta. Suomalainenntutustu.

typically done in science. Appendix 4 lists some tools and websites that provide functionalities for open policy practice.

Appendix 1 Tarvitaanko? Ei tuo kovin paljon lisää tietoa.

Ajatus että kun korjataan tieto on heti kaikkien käytössä. Mainitaanko?

Kap9ale siitä miten voisi tapahtua päätöksenteko ja tieteenteko paremmin kuin nyt jos omizi fiorumi ideoiden heittelylle ja atvioinnille. Silloin saataisiin karsittua munimiin muut kuin idean hyvyyteen liitttvät tekijät. Säännöt muokattaisiin öamvelemaan nimenomaan hyvyyden arviointia.

Tämä oliisi meritokratiaa parhaimmillaan kosna idean esittämistä ei ennakolta estetä joten kuka vain voi sen esittää. Myöskin idean alasampumisen kriteerit ovat yksinomaan sen hyvyyteen liittyviä eikä esim nykyouolueiden antamaan suosioon peeustuvia.

Teoriassa on siis näin mutta tutkittavaksi jää millaisen suosion ja läöimenomahdollisuuden tämmöiset ideat saavat käytännössä.

Mainittava ehkä nodeal oreview ja muut julkaizemisen ja saatavuuden ongelmat. Uudessa systeemissä rahoitus voisi tulla suoraan yhteiskunnalta koska se myös tukee suoraan sen oäätöksentekoa.

Ehkä pitäänsanoa että kyt seuraa spekulatiivinen osuus ja asioita ei ole köytännössä testattu kokonaisuudessaan mutta yksittäisten asioiden testauksdt viittaavat siihen että toimisi.

Mieti koeaseteoma siitä miten päätöstukeen tehdään arvotusti avoimia arviointeja ja avointa keskustelua. Jos tuotetaan jaettu ymmärrys ja jaetaan se kaikilla niin mitä vaikutusta lopputulokseen? Voidaanko mitata tuotetusta tekstistä muutoksia? Voidaanko analysoida käytyjä keskusteluja netissä? Miten saataisiik samanlainen kontrasti kuin wikipediakokeessa? Pitäisi olla jokin selkeä tiedonvälityskanava jonka kautta vaikutettaisiin.

Asetelma on haastavampi koska siinä olennaisena osana on osallistaminen. Mutta jos tekis7 niik että joka keisissä osallistetaan jokin jounko opiskelijoita tms mutta ei varsinaisia sidosryhmiä. Siten osallistuminen ei vaikuttaisi vaan ainoastaan jaetun hmmärryksen tiedot ja sen välittyminen päätöksentekoon.

Mitä päätöksiä. Helsinni. Suomi. Pitäisi olla bokin jonka kokonaiskeskustelu olisi kattavasti seurattavissa.

Päättelysääntöjä voi kuvata relaatiolla siten että niitä voi kehittää erilaisia. Silloin voidaan luoda e3ilaisia päättelyavaruuksia kun säännöt ovat eri Matemaattisloogiset päättelyt ovat ehkä kaikkien hyväksyttävissä tai ainakin niihin kohdistuu vähän vastustusta. Mutta monet muut päättelysäännöt ovat harkinnanvaraisia ja siksi riitojen aiheena. Relaatiopäättely mahdollistaa erilaisten näkemusten tuottamisen samasta aineistosta. Se myös asettaa päättelyt eksplisiittisiksi ja mahdollistaa niiden kumoamisen käyttämällä niitä ad absurdum.

Kirjoita seuraava artikkeli: what is wrong wikth science and policy and how it have been solved. Ideana on yhdistää se mitä on opittu bridgewaterin principlesistä, osf n tieteen toistamisesta ja aptkn mwnetelmostä. Ideana on rakentaa ideaalin päälle toimintamalli josta karsitaan pois kaikki nykykäytäntöjen huonot osat kuten tieteelliset lehdet.

Tätä lähdetään toteuttamaan kuin vipurahatona joka lyö vetoa muita vastaan ja on oikeassa. Ratkaistava on liiketoimintamalli: miten tuloutetaan näiden vetojen voitot? Jostain pitäisi saada rahoitus järjestelmän ylläpitämiseen. Kuka siis on peeimmäinen asiakaa?

Yk? Ei uskottavaa koska sen tumot ovat poliittisia päätöksiä ja täasssä tallataan isoille varpaille. Valtiot? Ei koska ne ovat päättämässä mitä päätetään.

Pitäisi siis olla markkinat. Ongelmana on että päätöstuki elää kounterfaktuaalisessa maailmassa eli mkettii mitä tapahtuisi ehdolla päätös. Vipurahasto toimii oikeassa maailmassa ja ennustaa mitä tapahtuu oikeassa maailmassa. Tässä on rahoitusongelman ydin.

Voidaanko siis luoda futuureja jotka olisivat jotenkin ehdollisia sille mikä päätös tulee?

Vipurahaston tarkoitus ei ole muuttaa maailmaa vaan kerätä voitot olemassaolevista virhearvioista. Se voisi ennustaa yksittäisiä päätöksiä ja niiden lopputulemien paremmuutta. Mutta mistä voitot? Haluavatko ne maksaa jotka yrittävät futuurein suojautua tulevaisuuden epävarmuudelta?

Pitäisikö yrittää vaikuttaa päätöksiin vai ainoastaan kerätä rahaa omaan toimintaan päätösanalyysillä myymällä ennusteita halukkaille?

Miten saadaan välitöntä palautetta päätöksistä joiden vainutukset saattavat tulla vasta vuosien päästä? ...

Futuurithan hinnoittelevat tulevaisuuden nykyhetkeen ja voisivat toimia tässä. Nutta edelleen ongelmana on että mittarina on raha tai hinta eikä jokin yleishyödyllinen asia jossa ei välttämättä raha liiku. Tai tieteellinen tutkimustulos joka ei ehkä vielä tai koskaan tuota voittoa.

Palataan kysymykseen kuka maksaa ja saa koneiston pyörimään? Ja oitäisi maksaa mieluummin kuin vanhaa tiedettä tai päätöksentekoa. Löytyiskö joukkorahoituksella rahaa? Ei ehkä riittävästi.

Falsifikaatiossa kiinnitetään usein liian vähän huomiota siihen miten paljon in olemassa mahdollisia kausaalisia selityksiä eli kuinka pieni on yhden selityksen prioritodennäköisyys. Ihmoset eivät ajattele tätä vaan heillä tulee mieleen hksi asia ja sitten kaikki lisätieto suodattuu vahvistamaan sitä.

Auttaisiko tämmöinen priorilista konkretisoinaan keskustelua kausaalisuhteista? Asiathan eivät mene niin että mikä on todennänöisyys että tämä aiheuttaa asiaa x. Vaan miten seurauksen todennäköisyys muuttuu ehdolla potentiaalinen syy. Ja jos potentiaalisia syitä on tuhansia tarvitaan jotain fiksua dataa tai päättelyä nostamaan yksi esille.

Nyt pitäisi tarttua siihen mahdollisuuteen että hnh2035 sisältää riittävän määrän toimenpiteitä jotta ne voi arpoa kahteen interventioryhmään. Mutta mikä olisi interventio ja miten sen vaikutusta seurattaisiin?

Jos tehdään tai ei seurantasivu googleen ja kerätäån tiedot järjestelmällisesti toiesta ryhmästä. Sitten katsotaan miten niiden toteutus onnistuu. .mutta onko tämä ongelma jos tästä tulee oikea työskentelyväline niin ei toista puolta voi jättää työstämättä. Vai voiko? Jos nimittää tätä pilotiksi ja sanoo ettei ole reursseja seurata kaikkea. Sitten jos suosio yltyy niin voidaan todeta että pilitti oli menestys töiden järjestelyn kannalta ja ottaa tapa käyttöön kaikissa toimenpiteissä. Mutta silloin ei saa selville kuinka suuri vaikutus toimintatavalla on itse toimenpideiden vaikutukseen.

Tee suunnitelma toteutuksesta ennen 22.3. Sitä voisi esitellä sitrassa.

Aapo Rautiaimen luke. Metsähakkeen ilmastopäästöt.

Nimistöön myös tärkeimmät relAtiot.

Taulunon sijasta hierarkkinen sanalista. Termi bildilla.

Marginaali delitettävä paremmin

Knowledge crystal keywordseihin.

the 1970's, the focus was Sanamuotoa viilattava

so to complex policy For

Analysis (2002-2007) Cehra

both the scientific work about policy-related Kumma muotoilu

appendices 2–4. 2

describe issues rather than answer specific questions. Voisi verrata myös stackoverflowhun ja quoraan ja todeta että niissä vaatauksen paremmuus ratkaistaan äänrstämällä eikä kritiikillä.

As a research topic, open assessment attempts When open assessment method is studied as a research topic, this question is asked;

was chosen to be Thoughr

and unequivocal conclusion that the whole About whar should or should not be dose

causality, knowledge crystals, and reuse are Use of k.c.

more understanding and effort f More skills

is also part of A part

thread can be individually scrutinised. Example h1n1

Periaatteet boldilla

when a contribution Their

functionalities for them. Esimerkkinä jokin pisteidenkeruujärjestelmä esim stackoverflowsra.

Periaate: using knowledge crystals

Part of opp: producing sh.u.

report, model or summary ,

understood in a flexible rather Broader sense

usability typically decreases rapidly Onko usability

Päivitä opp flow kuva

Päivitä fig 3 shared info objects .. kn.c. Evaluation ei sisällä poga vaan evaluation criteria johon kuuluu poga dim ooenness etc Collaborative preparation principles. Vai oa pr?

execution of decision support Decision making/process

Decision process parts Osaksi sanastoa

see previous section The

for what purpose? Purposes. Myös who are.

but all categories are still in use. In practice

Table6 viite.

should approach shared Converge to

This requires trusted and secure information systems. If this data is to be collected and analysed for decision support. The current voting aid tools do not collect data from voter, only from candidates.

support an archetype in most issues Some ... som others

practical and accepted Acceptable

presented in a holy book. Tähän jokin konkreettinen esimerkki. Esim päätössääntö: utility vs maximin vs minimax vs muu.

used to get the critical issues precise and informative, and then apply these information objects in numerous practical cases. Descriptions precise... apply knowledge crystals...

are the "system" we refer to Tämä virkkeen alkuun

concepts that have not yet been described. We should emphsise here that value profiles, ....

Archetypes, paradigms and ontologies are only at a developing stage. They have not been used in practice in the way described in the next sections. However, we see it useful to describe them here to illustrate future development needs.

We suggest that in addition to all other Because of the problems described above, we

comples X

that are potentially emotive Have high monetary stakes and are...

contributors know the open source Are skillful with

Assessments are still Koko kappale on outo. Pitää fokusoida.

There are some comments about not being Voisi keskustella siitä että äkkinäiselle rakenne näyttää sekavalta mutta esim arviointisivujen kautt päösee alkuun.

public is unprecedented Often

process. For many, non-public lobbying, Uusi kappale

marginal group have S

conflict with many current practices. Scientific

produce high-quality content[46] And even influence new science. Wiki study.

The situation requires This?

Etsi ja kuvaa darm palautteet

Onko shu n tavoitteet täyttyneet? Kuvataanko niitä tuloksissa?

discussions and syntheses illuminating. Millä tavalla tämä on oolitical pressure against nonsubstantiated

Shared understanding can incorporate complex ideas from Kappaleen viesti on epäselvä

require some learning before they can be effectively used Voisi sanoa että nämä ovat ammattilaisten väliteitä. Ne ovat laajasti käytössä ja niitä käyttävät osaavat käyttää niitä tehokkaasti. Kuitenkin ensikertalaisilla on hankaluuksia päästä etwwnpäin.

often seen as an unreasonable By researchers

would do a better job Would ensure quality

maker is more likely to ignore them Reject

that it should be good in identifying Would/is

learning[1]; and as acquiescence . This is also seen as

One of the criteria for development of open policy practice was that it should be versatile Opp was designed to be versatile

expert or policy work. However, the , but... . The versatility was demonstrated when the prime

merit is a key motivation Motivator for a researcher

committees fulfil this purpose. To But open assessments not so much. Uuwi kpl. To

assessments seem to suffer a similar problem According to the criticism we have received, open

against the presented opinion. Indeed, in the organisational assessment table 8 we experienced personal attacks in discussions when we communautaire unpooular opinions of workers who did not eant to speak up themselves. Fortunately these 'shoot the messenger' events have been rare, and as mentioned before (missä) the focus on substance rather than individuals tends to alleviate personal attacks.

functionalities are far behind from R Much more advanced in R.

Consequently, the need for shared tools is often considered low. Expert models simply are not designed to be understood and used by outsiders.

applicability is wide and independent of the discipline. Wide across disciplines.

objective similar to with structured Approach similar to structured

done in science. All in all, Kappalejako

participation in co-creation online Onlune cocreation

Conclusions Megatrendit menevät opp.n viitoittamaan suuntaan.

aout

Arja moilanen ackn And all others during this journey

Ref 11. Goherr assessment link

Päivitä accessed 24 Jan

App1 Myös muut goherr kuvat Lisää relaatiot ja niiden luokay

then the piece is Of information

Tietokiteiden määrittelyt jo tekstiin. Katso päivitystarve. Vain vähemmän tärkeät joita ei selitetä tekstissä slitetään liitteeasä.

argumentationargument Parts. Attack etc

Opp. Phases. Principles. Evaluation criteria.

Steps in decision process Evaluation of outcomes

criterions Criteria

Answer. Output. Result. App1een. Selitetään kakkosessa

<h Pois

it is of type The name is

interpreted by OpasnetUtils/Interpret. For example, '5-15' means a uniform distribution between 5 and 15; and '6 +- 2' means a normal distribution with mean 6 abd standard deviation 2. Such disteibutions are sam9led as manu times as the Iter column determines.

the run key ( Is the identifier for a model run that has been saved to the Opasnet server for later retrieval.

...

newest run contains This makes it possible to update parts of a model without a need to update code of downstream variables.

Ob2 kirjoita myös r oliot tänne ikään kuin ne olisivat osa tietokanraa

Priority is given to open source solutions and Finnish examples Toistoa

Decision process Ahjo on prosessinseueantaväline eikä töiden jakamista varten. Siksi tänne.

launched by Members of Parliament or the Government. Gov or mp

accessed Feb 20 Päivitä

geographical data. And r for data management and statistics and visualisation

fields) ja And

Otakantaa, Facebook Otakantaa mainittava erikseen nimenomaan päätöskeskusteluista. Some loppuun.

co-editing tools Suosittelujärjestykseen

Organising systems for information Parempi nimi. Ontology systems?

StakeholdersExpert services Peer to patent yhdistämään osallistujia.

Yksityiskohtiin menevä analyysi politiikasta ei onnistu elleivät sekä tutkijat että päättäjät jaa paljon avlimemmin sitä mitä he tietävät. Lyhytaikaiset ja henkikökohtaiset intressit sotivat tällaista avlinta tarkaatelua vastaan. Emme pystynert tutkimaan olisivatko päätökset olleet parempia tällä tavalla kosla emme koskaan päässeet sellaiseen tilanteeseen. Mutta on syytä olettaa että ainakin huonojen päätösten teko vaikeutuu jos niitä voidaan ruotia perusteellisesti etukäteen. Viime kädessä kuitenkin poliittinen valta määrää sen, kuinka paljon päättäjä voi ajaa läpi omia näkemyksiään tosiasioista piittaamatta. Niinpä myös kansa pitäisi kehittää omaa herkkyyttään vaalia ja vaatua faktoja ja huolehtia että vallassaolijat ovat nöyriä tosiasiain edessä tai ovat pian entisiä vallassaolojoita.

The main innovation of shared understanding is that the political and scientific discourse can be separated from those who actually execute the ideas of the discourse. If a politician is not willimg or capable of considering their own political views critically, other people can do it for then into any level of zetail necessary.. and if a researcher is not intereseted in consizdring the political implications of their findings, others may do it for them. Having such analytical-deliberative discussion does not require the participants to be a highly skilled expert, after the ezpert has identified and documented the hypotheses and kdeas in a scientixic literature.

So, this discourse is not dependent the capablility of any single person to participate. But even more importantly, this analysis can be performed exactly once, and then the conclusions are available to everyone online, thus being highly usable for anyone who trusts that the open and critical process does indeed produce on average better conclusions than what what one is able to make oneself.

This could also be a great motivator for participation to anyone who thinks that the current shared understanding has missed an important point. Adding the pint to shared understanding immediately makes it usable for wveryone as long as it holds against the criticism and stays valid.

This is the same reason why politicians have to be much more active than researchers in convincing the public; researchers have the machinery of scientific publishing that facilitates the spreading of good ideas and hinders the spreading of bad ideas on a systematic level without the need for a researcher to run campaigns.

Shared undestanding is an attempt to offer good political ideas a similar system-level support, and create a system-level hindrance for bad ideas.