Laaturaportti 2019

PAS-palveluiden vuosi 2019

PAS-palveluilla tarkoitetaan kulttuuriperintöaineistojen ja tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettuja palveluita yhdessä. PAS-palvelut ovat jatkuvasti kehittyviä palveluita ja niiden kehittämistä jatketaan läheisessä yhteistyössä hyödyntävien organisaatioiden kanssa. Tavoitteena on, että Kulttuuriperintö-PAS-palvelussa merkittävimmät digitoidut ja alkujaan digitaaliset kulttuuriperintöaineistot säilyvät myös tuleville sukupolville ja että niiden pitkäaikainen hyödyntäminen on mahdollista. Vastaavasti tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettu Fairdata PAS-palvelu varmistaa digitaalisten tutkimusaineistojen saatavuuden ja pitkäaikaisen säilyvyyden. Molemmat palvelut käyttävät samaa PAS-ratkaisua, joka keskittyy PAS-palveluiden yhteisiin toiminnallisuuksiin, joita liittyy erityisesti aineistojen ns. bittitason säilytykseen.

Kulttuuriperintö-PAS-palvelussa aloitettiin kulttuuriperintöaineistojen säilyttäminen 2015 ja Fairdata PAS-palvelussa loppuvuodesta 2019. Ensimmäisen aineistopaketin pitkäaikaissäilytykseen tallentaminen hyödynsi laajasti Fairdata-palvelukokonaisuutta, mukaan lukien paketointipalvelun ja hallintaliittymän. Säilytettävän aineiston määrä on kasvanut tasaisesti uusien organisaatioiden liittyessä PAS-palvelun hyödyntäjiin. Vuoden 2019 aikana säilytyksessä olevien aineistojen määrä ylitti 580 teratavua.

Vuoden 2018 aikana käynnistetty PAS-sopimusmallin uudistaminen saatiin valmiiksi vuoden 2019 aikana. Sopimusmallin uudistamisen tarve tuli mm. KDK- ja ATT-hankkeiden päättymisestä, EU:n tietosuoja-asetuksesta (GDPR) ja tutkimusaineistojen säilyttämisen aloittamiseen valmistautumisesta. OKM:n ja CSC:n välinen PAS-sopimus allekirjoitettiin kesällä 2019 ja hyödyntävien organisaatioiden ja CSC:n välisten PAS-palvelusopimuksien allekirjoittaminen aloitettiin syksyllä 2019. Nämä sisältävät yhteisiä liitteitä (esim. palvelukuvaukset), joten sopimusten uudistamista tehtiin rinnakkain.

Vuoden 2019 aikana järjestettiin kolme kokopäivän koulutustapahtumaa. Kaksi näistä liittyivät aineistojen paketointiin ja yksi PAS-palveluiden rajapintojen käyttämiseen. Kaikkien koulutuksien teoriaosuuksiin oli mahdollista osallistua etäyhteydellä, mutta läsnä oleville tarjottiin myös käytännönläheisiä harjoituksia, joissa osallistujat pääsivät käytännössä harjoittelemaan koulutuksen aihepiiriä. Koulutuksiin osallistui yhteensä 70 henkilöä ja osallistujien palaute koulutuksista oli varsin positiivista.

PAS-yhteistyöryhmälle suunnattu asiakastyytyväisyys-kysely toteutettiin loppuvuodesta 2019. Tyytyväisyys PAS-palveluihin oli varsin positiivista (4,57/6) ja kaikki vastaajat kokivat, että organisaation datan säilytyksen tarpeet olivat tulleet huomioiduksi/kuulluiksi PAS-palveluissa. Lisäksi, organisaatiot olivat erityisen tyytyväisiä saamaansa asiakaspalveluun ja neuvontaan kokonaisuutena.

Alkuvuodesta 2019 CSC liittyi Open Preservation Foundationin (OPF) jäseneksi. Jäsenyys OPF:ssa avaa suoran keskusteluyhteyden moniin eurooppalaisiin PAS-palveluiden tuottajiin ja lisää näin kansallisten PAS-palvelujen näkyvyyttä niin kansallisesti kuin kansainvälisesti, sekä erityisesti tiivistää yhteistyötä kansainvälisten toimijoiden välillä.

Vuonna 2019 PAS-ratkaisu aloitti nauhatallennuksessa siirtymän kohti IBM:n LTO-8 nauhateknologiaa. Tähän johti Oraclen ilmoitus lopettaa nauhateknologian kehitys ja tuki. Lisäksi PAS-ratkaisun tallennuskapasiteetti nostettiin 1,6 petavuun aiemmasta 1,2 petavusta.

PAS-palveluita hyödyntävät organisaatiot

Vuoden 2019 loppuun mennessä OKM on myöntänyt seuraaville organisaatioille kapasiteettia PAS-palveluista:

Kulttuuriperintö-PAS-palvelua hyödyntävät organisaatiot
Organisaatio	Käyttötarkoitus	Kapasiteetti (TT)
Celia	Master-arkisto ja pitkäaikaisesti säilytettävät valitut uudet äänikirjat	80
Kansallinen audiovisuaalinen instituutti	Valikoitu osa kotimaisen elokuvan digitoitavista aineistoista	660
Kansallisarkisto	Kansallisarkiston vastaanottamat alkujaan digitaaliset valtionhallinnon asiakirjalliset aineistot	41
Kansallisarkisto	VAPA-järjestelmään siirretyt tietoaineistot	1
Kansallisgalleria	Kiasman mediataiteen teosten pitkäaikaissäilytys	20
Kansalliskirjasto	Kansalliskirjaston digitoimat kulttuuriperintöaineistot	175
Kansalliskirjasto	Kulttuuriaineistolain nojalla kerätyt aineistot	165
Kotimaisten kielten keskus Kotus	Kotuksen kielentutkimus- ja kulttuuriperintöaineistojen pitkäaikaissäilytys	60
Museovirasto	Kulttuuriympäristön tutkimusraportit	1
Musiikkiarkisto	Musiikkiarkiston pitkäaikaissäilytettävät aineistot	70
Svenska Litteratursällskapet SLS	SLS:n pitkäaikaissäilytettävät aineistot	50
Yhteiskuntatieteellinen tietoarkisto, FSD	Tietoarkiston arkistoimien tutkimusaineistojen kokoelman pitkäaikaissäilytys	1

Fairdata PAS-palvelua hyödyntävät organisaatiot (säilytyspäätökset)
Organisaatio	Käyttötarkoitus	Kapasiteetti (TT)
Geologian Tutkimuskeskus	GTK:n tomografialaitteen tuottamat tietoaineistot	12
Helsingin yliopisto	Helsingin yliopiston SMEAR-aineistojen valikoima meteorologisia - ja ilmanlaatumittauksia	2
Helsingin yliopisto	M. cinxia and C. melitaearum in the Åland metapopulation system	2
Jyväskylän yliopiston kiihdytinlaboratorio	250-Nobeliumin hajoamisspektroskopia	1
Oulun yliopisto, Sodankylän geofysikaalinen observatorio	Havaintoaineistot	30

Aineistokertymä vuonna 2019

Uusia aineistoja säilytykseen vastaanotettiin vuoden aikana noin 360 teratavua ja yhteensä säilytyksessä vuoden 2019 lopussa aineistoja oli yli 580 teratavua. Aineistojen kertymä vuoden 2019 aikana on esitetty alla olevassa kuvassa.

Vuonna 2019 aikana PAS-palvelut ottivat säilytysvastuun yli 160000 aineistopaketista ja vuoden 2019 lopussa aineistopaketteja oli säilytyksessä yli 1377000. Aineistopakettien kertymä vuoden 2019 aikana on esitetty alla olevassa kuvassa.

PAS-palvelun ylläpito

PAS-palveluiden tuottamiseksi tarvitaan monenlaisia toimia: ylläpidollista tehtäviä, menetelmien ja mallien kehittämistä, ohjelmistokehitystä, laiteinfrastruktuurin kehittämistä ja hallinnollista työtä. Tässä raportissa keskitytään erityisesti PAS-palveluiden ylläpidollisiin tehtäviin mukaillen IT-palveluiden tuotantotoiminnan laaturaportointia, joissa usein keskitytään tietyn ajanjakson tuotannolliseen toteumaan, poikkeustilanteisiin ja niistä toipumiseen.

PAS-palveluiden ylläpidon päätavoitteet ovat:

varmistaa säilytyksessä olevien säilytyspakettien eheys ja saatavuus
valvoa palvelun toimivuutta ja
tukea organisaatioita PAS-palvelun hyödyntämisessä (mm. vastaanotossa havaittujen virheellisten tai puutteellisten siirtopakettien korjaamisessa).

PAS-palveluiden valvonta

PAS-palveluiden valvonta on automatisoitu mahdollisimman pitkälle. Tämä valvonta tarjoaa ylläpidolle, mutta myös hyödyntäville organisaatioille, tila- ja tapahtumatietoa, jonka pohjalta asiantuntijat pystyvät päättelemään palvelun tilan ja ryhtyvät tarvittaviin toimenpiteisiin.

PAS-palveluissa valvotaan automattisesti tällä hetkellä seuraavia kohteita: laiteviat (kuten rikkoontuneet kiintolevyt), rikkoontuneet nauha-asemat, palvelimien saatavuus, levyalueiden täyttöaste, hajautettujen tallennusalueiden näkyvyys eri palvelimilla, virustarkastuksen virustietokannan ajantasaisuus, tallennuskerroksen eheys, nauhakirjastojen saatavuus, SSL-sertifikaattien elinkaari, ja edustapalvelimien SFTP-portin epäonnistuneet kirjautumisyritykset.

Lisäksi seuraavia kohteita valvotaan manuaalisesti: vastaanoton työjonon eteneminen, työjonoon jumiutuneiden siirtopakettien selvittely, säilytyspakettien eheyden tarkastus, hylättyjen siirtopakettien ongelmien analysointi, rikkoutuneiden medioiden replikointi ja pimeän arkiston kopioiden luonti.

Osana PAS-palveluiden kehitystyötä parannetaan myös palvelun valvontaa ja uusia osuuksia automatisoidaan. Tämä mahdollistaa palvelun kustannustehokkaan ylläpitämisen myös tulevaisuudessa, vaikka säilytettävän aineiston määrää kasvaa.

Säilytyksessä olevaan aineistoon kohdistuneet laatupoikkeamat vuonna 2019

PAS-palveluiden hyödyntäjien kanssa on yhdessä pohdittu mitä laatu aineistojen pitkäaikaisen säilyttämisen kannalta tarkoittaa. On päädytty yhteisymmärrykseen, että erityisen tärkeää on aineistojen eheys ja säilytyksen luotettavuus. Tällöin laatupoikkeamia ovat tilanteet, joissa aineistojen säilyminen on ollut uhattuna, eivätkä niinkään tilanteet, joissa esim. palvelun vastaanotto ei ole hetkellisesti saatavilla. Näistä lähtökohdista palvelun laadun raportointi on haasteellista, sillä totutut IT-ympäristöjen mittarit (esim. palvelun saavutettavuusprosentit) eivät osoita poikkeamia tai varsinaisia uhkia aineistojen säilyvyydessä. Uhkaavia tilanteita säilyvyyden varmistamiseksi ovat tilanteet, joissa säilytyspaketista on vähemmän kuin kolme varmasti eheää kopiota. Tyypillisesti tällaisista tilanteesta toivutaan toisella mediatyypillä olevan kopion avulla ja PAS-palveluiden ylläpito kykenee osana normaalia toimintaansa palauttamaan säilytyksen tilanteen normaaliksi.

Vuoden 2019 aikana kuudessa tapauksessa säilytyksessä olevista säilytyspaketeista puuttui yksi ehjä kopio; tapausten laajuus vaihteli muutaman sadan megatavun ongelmasta reilun 600 gigatavun tilanteeseen. Näistä tapauksista yksi johtui rikkoontuneista nauhamedioista ja viisi korruptoituneesta kopiosta kiintolevyllä. Kiintolevyillä korruptoituneet kopiot olivat yksittäistapauksia. Nauhamedian rikkoontuessa kaikki nauhalle kirjoitettu data tyypillisesti menetetään kokonaan; näissä tapauksissa kaikki rikkoontuneella nauhalla ollut data kirjoitettiin uudelle nauhalle toiselta mediatyypiltä. Kaikki tällaiset tapaukset eheytettiin onnistuneesti osana normaalia palvelutoimintaa.

Lisäksi vuoden 2019 aikana PAS-ratkaisun levytallennuksesta rikkoutui kolme kiintolevyä. Yksikään levyrikko ei vaarantanut säilytyksessä olevaa aineistoa, vaan levyjärjestelmissä olevat RAID-volyymit suojasivat säilytyksessä olevan datan korruptiolta.

Hyödyntäville organisaatioille tarjottava tuki

PAS-palvelut auttavat hyödyntäviä organisaatioita aineistojen pitkäaikaissäilytykseen liittyvissä kysymyksissä. Erityisesti tätä tukea tarjotaan PAS-palvelun käyttöönottoprosessin aikana, mutta organisaatiot voivat esittää palvelupyyntöjä myös muissa tilanteissa. Tukipyyntöjä vastaanotetaan PAS-palveluiden tukiosoitteella: pas-support@csc.fi.

Vuonna 2019 PAS-palveluita hyödyntäviltä organisaatioilta tuli yhteensä 101 palvelupyyntöä. Nämä käsittelivät erityisesti aineistojen paketointiin ja PAS-palveluiden vastaanoton toimintaan liittyviä kysymyksiä. Toinen merkittävä tekijä oli käyttöönottojen tuen antaminen. Palvelupyyntöjen lisäksi hyödyntävien organisaatioiden kanssa käydään keskustelua esimerkiksi PAS-yhteistyöryhmän kautta, joka kokoontuu vuosittain 3-4 kertaa.

PAS-palveluiden tapahtumista ja ajankohtaisista asioista tiedotettiin digitalpreservation.fi -sivustolla, Twitter kanavalla (@dpres_fi) ja tiedottamiseen tarkoitetulla sähköpostilistalla.