Laaturaportti 2020

PAS-palveluiden vuosi 2020

PAS-palveluilla tarkoitetaan kulttuuriperintöaineistojen ja tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettuja palveluita yhdessä. PAS-palvelut ovat jatkuvasti kehittyviä ja niiden kehittämistä jatketaan läheisessä yhteistyössä palveluita hyödyntävien organisaatioiden kanssa. Toiminnan tavoitteena on, että Kulttuuriperintö-PAS-palvelussa merkittävimmät digitoidut ja alkujaan digitaaliset kulttuuriperintöaineistot säilyvät myös tuleville sukupolville ja että niiden pitkäaikainen hyödyntäminen on mahdollista. Vastaavasti tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettu Fairdata PAS-palvelu varmistaa digitaalisten, tutkimukseen liittyvien aineistojen saatavuuden ja pitkäaikaisen säilyvyyden. Molemmat palvelut käyttävät samaa PAS-ratkaisua, joka keskittyy PAS-palveluiden yhteisiin toiminnallisuuksiin, joita liittyy erityisesti aineistojen bittitason säilytykseen.

Kulttuuriperintö-PAS-palvelussa aloitettiin kulttuuriperintöaineistojen säilyttäminen 2015 ja Fairdata PAS-palvelussa loppuvuodesta 2019. Fairdata PAS-palvelua käyttävät organisaatiot voivat hyödyntää myös laajemmin Fairdata-palvelukokonaisuutta, mukaan lukien paketointipalvelu ja hallintaliittymä. Fairdata PAS -toimintaa edistettiin hyvin vuoden 2020 aikana: keskeisenä uudistuksen kohteena julkaistiin syksyllä Fairdata PAS-palvelun hallintaliittymän uusi saavutettava versio.

Säilytettävän aineiston määrä kasvoi vuoden 2020 aikana merkittävästi uusien organisaatioiden liittyessä PAS-palvelun hyödyntäjiin ja pidempään palvelua hyödyntäneiden organisaatioiden jatkaessa aineistojen siirtoja. Vuoden 2020 aikana säilytyksessä olevien aineistojen määrä ylitti yhden petatavun, vuosittaisen kasvun ollessa noin 485 teratavua.

Vuoden 2020 poikkeukselliset ajat ja korona-pandemia vaikuttivat myös PAS-palveluiden toimintaan. Sekä hyödyntävien organisaatioiden kanssa työskenneltäessä, että PAS-palveluiden tuotanto- ja kehitystehtävissä siirryttiin mahdollisimman laajasti etätyöskentelyyn. Näin ollen esimerkiksi organisaatioille suunnattuja käytännönläheisiä koulutuksia ei voitu pitää, mutta webinaareja järjestettiin niin kansallisesti kuin kansainvälisesti. Poikkeuolosuhteilla oli loppujen lopuksi vain vähän vaikutuksia PAS-palveluiden laatuun, minkä osoittavat sekä säilytettävän aineistomäärän kasvu että hyödyntävien organisaatioiden tyytyväisyys palveluun kokonaisuutena.

PAS-yhteistyöryhmälle ja muille sidosryhmille suunnattu asiakastyytyväisyyskysely toteutettiin loppuvuodesta 2020. Tyytyväisyys PAS-palveluihin oli varsin positiivista (ka. 4,57/6) ja kaikki vastaajat kokivat, että organisaation datan säilytyksen tarpeet olivat tulleet huomioiduksi/kuulluiksi PAS-palveluissa. Lisäksi organisaatiot olivat erityisen tyytyväisiä saamaansa asiakaspalveluun ja neuvontaan kokonaisuutena. Poikkeusoloista huolimatta tyytyväisyys PAS-palveluihin pysyi vastaavalla tasolla kuin vuonna 2019.

Vuonna 2020 PAS-ratkaisu siirtyi LTO-8 nauhateknologiaan (laitevalmistajana IBM). Migraatio LTO8 nauhoille aloitettiin heinäkuussa. Muutos kesti kaikkiaan 84 vuorokautta ja kaikki migroidut säilytyspaketit havaittiin ehjiksi migraation yhteydessä. Lisäksi PAS-ratkaisun tallennuskapasiteetti nostettiin 1,8 petatavuun aiemmasta 1,6 petatavusta.

PAS-palveluita hyödyntävät organisaatiot

Vuoden 2020 loppuun mennessä opetus- ja kulttuuriministeriö (OKM) on myöntänyt seuraaville organisaatioille kapasiteettia PAS-palveluista:

Kulttuuriperintö-PAS-palvelua hyödyntävät organisaatiot
Organisaatio	Käyttötarkoitus	Kapasiteetti (TT)
Celia	Master-arkisto ja pitkäaikaisesti säilytettävät valitut uudet äänikirjat	80
Kansallinen audiovisuaalinen instituutti	Valikoitu osa kotimaisen elokuvan digitoitavista aineistoista	1200
Kansallisarkisto	Kansallisarkiston vastaanottamat alkujaan digitaaliset valtionhallinnon asiakirjalliset aineistot	41
Kansallisarkisto	VAPA-järjestelmään siirretyt tietoaineistot	1
Kansallisarkisto	Kansallisarkiston massadigitointi-hankkeen aineistot	24
Kansallisarkisto	Kansallisarkiston digitaaliarkistosta siirrettävät aineistot ja takautuvan digitoinnin aineistot	565
Kansallisgalleria	Kiasman mediataiteen teosten pitkäaikaissäilytys	20
Kansalliskirjasto	Kansalliskirjaston digitoimat kulttuuriperintöaineistot	175
Kansalliskirjasto	Kulttuuriaineistolain nojalla kerätyt aineistot	165
Kotimaisten kielten keskus Kotus	Kotuksen kielentutkimus- ja kulttuuriperintöaineistojen pitkäaikaissäilytys	60
Museovirasto	Kulttuuriympäristön tutkimusraportit	1
Musiikkiarkisto	Musiikkiarkiston pitkäaikaissäilytettävät aineistot	70
Svenska Litteratursällskapet SLS	SLS:n pitkäaikaissäilytettävät aineistot	50
Yhteiskuntatieteellinen tietoarkisto, FSD	Tietoarkiston arkistoimien tutkimusaineistojen kokoelman pitkäaikaissäilytys	1

Fairdata PAS-palvelua hyödyntävät organisaatiot (säilytyspäätökset)
Organisaatio	Käyttötarkoitus	Kapasiteetti (TT)
Geologian Tutkimuskeskus	GTK:n tomografialaitteen tuottamat tietoaineistot	12
Helsingin yliopisto	Helsingin yliopiston SMEAR-aineistojen valikoima meteorologisia - ja ilmanlaatumittauksia	2
Helsingin yliopisto	M. cinxia and C. melitaearum in the Åland metapopulation system	2
Jyväskylän yliopiston kiihdytinlaboratorio	250-Nobeliumin hajoamisspektroskopia	1
Oulun yliopisto, Sodankylän geofysikaalinen observatorio	Havaintoaineistot	30
Turun yliopisto	Historian, kulttuurin ja taiteiden tutkimuksen arkiston aineistot (HKT-arkisto)	20

Aineistokertymä 2020

Uusia aineistoja säilytykseen vastaanotettiin vuoden aikana noin 485 teratavua ja yhteensä säilytyksessä vuoden 2020 lopussa aineistoja oli yli 1 060 teratavua. Aineistojen kertymä vuoden 2020 aikana on esitetty alla olevassa kuvassa.

Vuonna 2020 aikana PAS-palvelut ottivat säilytysvastuun yli 60 000 aineistopaketista ja vuoden 2020 lopussa aineistopaketteja oli säilytyksessä yli 1 437 000. Aineistopakettien kertymä vuoden 2020 aikana on esitetty alla olevassa kuvassa.

PAS-palvelun ylläpito

PAS-palveluiden tuottamiseksi tarvitaan monenlaisia toimia: ylläpidollista tehtäviä, menetelmien ja mallien kehittämistä, ohjelmistokehitystä, laiteinfrastruktuurin kehittämistä ja hallinnollista työtä. Tässä raportissa keskitytään erityisesti PAS-palveluiden ylläpidollisiin tehtäviin mukaillen IT-palveluiden tuotantotoiminnan laaturaportointia, joissa usein keskitytään tietyn ajanjakson tuotannolliseen toteumaan, poikkeustilanteisiin ja niistä toipumiseen.

PAS-palveluiden ylläpidon päätavoitteet ovat:

varmistaa säilytyksessä olevien säilytyspakettien eheys ja saatavuus,
valvoa palvelun toimivuutta ja
tukea organisaatioita PAS-palvelun hyödyntämisessä (muun muassa vastaanotossa havaittujen virheellisten tai puutteellisten siirtopakettien korjaamisessa).

PAS-palveluiden valvonta

PAS-palveluiden valvonta on automatisoitu mahdollisimman pitkälle. Valvonta tarjoaa ylläpidolle, kuten myös hyödyntäville organisaatioille, tila- ja tapahtumatietoa, jonka pohjalta asiantuntijat pystyvät päättelemään palvelun tilan ja ryhtyvät tarvittaessa toimenpiteisiin.

PAS-palveluissa valvotaan automattisesti tällä hetkellä seuraavia kohteita:

laiteviat (kuten rikkoontuneet kiintolevyt),
rikkoontuneet nauha-asemat,
palvelimien saatavuus,
levyalueiden täyttöaste,
hajautettujen tallennusalueiden näkyvyys eri palvelimilla,
virustarkastuksen virustietokannan ajantasaisuus,
tallennuskerroksen eheys,
nauhakirjastojen saatavuus,
SSL-sertifikaattien elinkaari, ja
edustapalvelimien SFTP-portin epäonnistuneet kirjautumisyritykset.

Lisäksi seuraavia kohteita valvotaan manuaalisesti:

vastaanoton työjonon eteneminen,
työjonoon jumiutuneiden siirtopakettien selvittely,
säilytyspakettien eheyden tarkastus,
hylättyjen siirtopakettien ongelmien analysointi,
rikkoutuneiden medioiden replikointi ja
pimeän arkiston kopioiden luonti.

Osana PAS-palveluiden kehitystyötä parannetaan myös palvelun valvontaa ja uusia osuuksia automatisoidaan. Tämä mahdollistaa palvelun kustannustehokkaan ylläpitämisen myös tulevaisuudessa, vaikka säilytettävän aineiston määrää kasvaa.

Säilytyksessä olevaan aineistoon kohdistuneet laatupoikkeamat vuonna 2020

PAS-palveluiden hyödyntäjien kanssa on yhdessä pohdittu, mitä laatu tarkoittaa aineistojen pitkäaikaisessa säilyttämisessä. On päädytty yhteisymmärrykseen, että erityisen tärkeää on aineistojen eheys ja säilytyksen luotettavuus. Tällöin laatupoikkeamina voidaan pitää tilanteita, joissa aineistojen säilyminen on ollut uhattuna, mutta ei niinkään tilanteita, joissa esimerkiksi palvelun vastaanotto ei ole hetkellisesti saatavilla.

Näistä lähtökohdista palvelun laadun raportointi on haasteellista, sillä totutut IT-ympäristöjen mittarit (esimerkiksi palvelun saavutettavuusprosentit) eivät osoita poikkeamia tai varsinaisia uhkia aineistojen säilyvyydessä. Uhkaavia tilanteita säilyvyyden varmistamiseksi ovat tilanteet, joissa säilytyspaketista on vähemmän kuin kolme varmasti eheää kopiota. Tyypillisesti tällaisista tilanteesta toivutaan toisella mediatyypillä olevan kopion avulla ja PAS-palveluiden ylläpito kykenee osana normaalia toimintaansa palauttamaan säilytyksen tilanteen normaaliksi.

Vuoden 2020 aikana ei esiintynyt rikkoutuneita nauhatallennusmedioita. Myöskään levytallennuksen eheyden säännöllisessä tarkastuksessa ei esiintynyt korruptoituneita säilytyspaketteja.

Vuonna 2020 PAS-ratkaisun levytallennuksesta rikkoutui neljä kiintolevyä. Yksikään levyrikko ei vaarantanut säilytyksessä olevaa aineistoa, vaan levyjärjestelmissä olevat RAID-volyymit suojasivat säilytyksessä olevan datan korruptiolta.

Hyödyntäville organisaatioille tarjottava tuki

PAS-palvelut auttavat hyödyntäviä organisaatioita aineistojen pitkäaikaissäilytykseen liittyvissä kysymyksissä. Erityisesti tätä tukea tarjotaan PAS-palvelun käyttöönottoprosessin aikana, mutta organisaatiot voivat esittää palvelupyyntöjä myös muissa tilanteissa. Tukipyyntöjä vastaanotetaan PAS-palveluiden tukiosoitteella: pas-support@csc.fi.

Vuonna 2020 PAS-palveluita hyödyntäviltä organisaatioilta tuli yhteensä 60 palvelupyyntöä. Nämä käsittelivät erityisesti aineistojen paketointiin ja PAS-palveluiden vastaanoton toimintaan liittyviä kysymyksiä. Toinen merkittävä tekijä oli käyttöönottojen tuen antaminen. Palvelupyyntöjen lisäksi hyödyntävien organisaatioiden kanssa käydään keskustelua esimerkiksi neljä kertaa vuodessa kokoontuvan PAS-yhteistyöryhmän kautta. Ryhmän työskentelyssä vakiintuneiden rutiininen lisäksi, kuten PAS-palveluiden ohjelmistokehityksen säännöllinen seuranta, jatkettiin loogisen säilyttämisen vaatimusmäärittelytyötä, jolla päivitetään ja täsmennetään aikaisemmin laadittuja suunnitelmia ja kuvauksia PAS-palveluiden toiminnasta. Vuoden 2020 loppupuolella käynnistettiin myös virtuaaliset kuukausittaiset #PASkaffet, joiden tarkoituksena on mahdollistaa epävirallinen ja matalan kynnyksen keskustelu PAS-toiminnasta kiinnostuneiden tahojen välillä.

PAS-palveluiden tapahtumista ja ajankohtaisista asioista tiedotettiin digitalpreservation.fi sivustolla, Twitter-tilillä (@dpres_fi) ja tiedottamiseen tarkoitetulla sähköpostilistalla.