Laaturaportti 2017
PAS-palvelun ylläpidon vuosi 2017
Kansallisen digitaalisen kirjaston (KDK) pitkäaikaissäilytyspalvelussa aloitettiin kulttuuriperintöaineistojen säilyttäminen 2015. Säilytettävän aineiston määrä kasvaa tasaisesti uusien organisaatioiden liittyessä PAS-palvelun hyödyntäjiin. Vuoden 2017 lopussa KDK:n PAS-palvelun nimi muutettiin kulttuuriperintö-PAS-palveluksi ja tutkimusaineistojen PAS-palvelu huomioitiin määrityksissä. Molemmat palvelut käyttävät samaa PAS-ratkaisua, joka keskittyy PAS-palveluiden yhteisiin toiminnallisuuksiin, joita liittyy erityisesti aineistojen ns. bittitason säilytykseen. Osana hankkeiden yhdistämistä vuoden 2017 aikana perustettiin digitalpreservation.fi verkkopalvelu, johon jatkossa koostetaan kaikki näille kansallisille PAS-palveluille yhteiset asiat.
PAS-palvelut ovat jatkuvasti kehittyviä palveluita ja niiden kehittämistä jatketaan läheisessä yhteistyössä hyödyntävien organisaatioiden kanssa. Tavoitteena on, että kulttuuriperintö-PAS-palvelussa merkittävimmät digitoidut ja alkujaan digitaaliset kulttuuriperintöaineistot säilyvät myös tuleville sukupolville ja mahdollistaa aineistojen pitkäaikainen hyödyntäminen. Vastaavasti tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettu PAS-palvelu varmistaa tutkimuksen digitaalisten aineistojen saatavuuden ja pitkäaikaisen säilyvyyden.
PAS-palveluiden tuottamiseksi tarvitaan monenlaisia toimia: ylläpidollista tehtäviä, menetelmien ja mallien kehittämistä, ohjelmistokehitystä, laiteinfrastruktuurin kehittämistä ja hallinnollista työtä. Tässä raportissa keskitytään erityisesti PAS-palveluiden ylläpidollisiin tehtäviin mukaillen IT-palveluiden tuotantotoiminnan laaturaportointia, joissa usein keskitytään tietyn ajanjakson tuotannolliseen toteumaan, poikkeustilanteisiin ja niistä toipumiseen.
PAS-palveluiden ylläpidon päätavoitteet ovat:
- varmistaa säilytyksessä olevien säilytyspakettien eheys ja saatavuus
- valvoa palvelun toimivuutta ja
- tukea organisaatioita PAS-palvelun hyödyntämisessä (mm. vastaanotossa havaittujen virheellisten tai puutteellisten siirtopakettien korjaamisessa).
PAS-palvelua hyödyntävät organisaatiot
| Organisaatio | Käyttötarkoitus | Kapasiteetti (TT) |
|---|---|---|
| Kansallinen audiovisuaalinen instituutti | Valikoitu osa kotimaisen elokuvan digitoitavista aineistoista | 320 |
| Kansallisarkisto | Kansallisarkiston vastaanottamat alkujaan digitaaliset valtionhallinnon asiakirjalliset aineistot | 41 |
| Kansallisarkisto | VAPA-järjestelmään siirretyt tietoaineistot | 1 |
| Kansalliskirjasto | Kansalliskirjaston digitoimat kulttuuriperintöaineistot | 175 |
| Kansalliskirjasto | Kulttuuriaineistolain nojalla kerätyt aineistot | 165 |
| Kotimaisten kielten keskus Kotus | Kotuksen kielentutkimus- ja kulttuuriperintöaineistojen pitkäaikaissäilytys | 60 |
| Museovirasto | Kulttuuriympäristön tutkimusraportit | 1 |
| Svenska Litteratursällskapet SLS | SLS:n pitkäaikaissäilytettävät aineistot | 50 |
| Yhteiskuntatieteellinen tietoarkisto, FSD | Tietoarkiston arkistoimien tutkimusaineistojen kokoelman pitkäaikaissäilytys | 1 |
Aineistojen säilyttämisen kulttuuriperintö-PAS-palvelussa vuonna 2017 aloittivat uusina organisaatioina KAVI ja FSD. Vuonna 2017 kulttuuriperintö-PAS-palveluun tuotettiin laajennus, jolla Kansallisarkisto voi aloittaa alkujaan digitaalisten valtionhallinnon asiakirjallisten aineistojen vastaanottamisen ja säilyttämisen.
Aineistokertymä vuonna 2017
Aineistoja vastaanotettiin säilytykseen vuoden aikana noin 22 teratavua ja yhteensä säilytyksessä vuoden 2017 lopussa aineistoja oli yli 115 teratavua. Aineistojen kertymä vuoden 2017 aikana on esitetty alla olevassa kuvassa.
Vuonna 2017 aikana kulttuuriperintö-PAS-palvelu otti säilytysvastuun yli 174000 aineistopaketista ja vuoden 2017 lopussa aineistopaketteja oli säilytyksessä yli 1020000. Aineistopakettien kertymä vuoden 2017 aikana on esitetty alla olevassa kuvassa.
PAS-palvelun valvonta
PAS-palvelun valvonta on automatisoitu mahdollisimman pitkälle. Tämä valvonta tarjoaa ylläpidolle, mutta myös hyödyntäville organisaatioille, tila- ja tapahtumatietoa, jonka pohjalta asiantuntijat pystyvät päättelemään palvelun tilan ja ryhtyvät tarvittaviin toimenpiteisiin.
PAS-palvelussa valvotaan automattisesti tällä hetkellä seuraavia kohteita: Laiteviat (kuten rikkoontuneet kiintolevyt), rikkoontuneet nauha-asemat, palvelimien saatavuus, levyalueiden täyttöaste, hajautettujen tallennusalueiden näkyvyys eri palvelimilla, virustarkastuksen virustietokannan ajantasaisuus, tallennuskerroksen eheys, nauhakirjastojen saatavuus, SSL-sertifikaattien elinkaari, ja edustapalvelimien SFTP-portin epäonnistuneet kirjautumisyritykset.
Lisäksi seuraavia kohteita valvotaan manuaalisesti: Vastaanoton työjonon eteneminen, työjonoon jumiutuneiden siirtopakettien selvittely, säilytyspakettien eheyden tarkastus, hylättyjen siirtopakettien ongelmien analysointi, rikkoutuneiden medioiden replikointi ja pimeän arkiston kopioiden luonti.
Osana PAS-palvelun kehitystyötä parannetaan myös palvelun valvontaa ja uusia osuuksia automatisoidaan. Tämä mahdollistaa palvelun kustannustehokkaan ylläpitämisen myös tulevaisuudessa, vaikka säilytettävän aineiston määrää kasvaa.
Säilytyksessä olevaan aineistoon kohdistuneet laatupoikkeamat vuonna 2017
PAS-palvelun hyödyntäjien kanssa on yhdessä pohdittu mitä laatu aineistojen pitkäaikaisen säilyttämisen kannalta tarkoittaa. On päädytty yhteisymmärrykseen, että erityisen tärkeää on aineistojen eheys ja säilytyksen luotettavuus. Tällöin laatupoikkeamia ovat tilanteet, joissa aineistojen säilyminen on ollut uhattuna, eivätkä niinkään tilanteet, joissa esim. palvelun vastaanotto ei ole hetkellisesti saatavilla. Näistä lähtökohdista palvelun laadun raportointi on haasteellista, sillä totutut IT-ympäristöjen mittarit (esim. palvelun saavutettavuusprosentit) eivät osoita poikkeamia tai varsinaisia uhkia aineistojen säilyvyydessä. Uhkaavia tilanteita säilyvyyden varmistamiseksi ovat tilanteet, joissa säilytyspaketista on vähemmän kuin kolme varmasti eheää kopiota. Tyypillisesti tällaisista tilanteesta toivutaan toisella medialla olevan datakopion avulla ja PAS-palvelun ylläpito kykenee osana normaalia toimintaansa palauttamaan säilytyksen tilanteen normaaliksi.
Vuoden 2017 aikana oli viisi tilannetta, joissa muutamasta teratavusta aineistoa oli hetkellisesti vain kaksi kopiota. Neljä tapausta näistä johtui yksittäisen nauhamedian rikkoontumisesta ja tilanteista toivuttiin normaalina toimintana. Viides tapaus oli manuaalisen eheystarkastuksen yhteydessä havaittu viallinen levyllä ollut kopio, ns. ensimmäinen ”Bit-Rot” havainto. Tästä toivuttiin myös normaalina toimintana.
Muut laiterikot ja vastaavat eivät ole uhanneet säilyttämistä. Esimerkiksi kiintolevyjä järjestelmässä rikkoontui vuoden 2017 aikana seitsemän kappaletta, mutta kiintolevytallennuksessa ei tapahtunut varsinaisia säilytyspakettien vioittumista. Nämä rikkoontuneet kiintolevyt pystyttiin vaihtamaan ennen kuin RAID-ryhmien redundanssi tuli uhatuksi. Lisäksi molempien nauhakirjastojen robotiikka vioittui vuoden 2017 aikana, mutta nämä viat aiheuttivat ainoastaan viivästyksiä vastaanottotyövuon läpäisyssä.
Hyödyntäville organisaatioille tarjottava tuki
PAS-palvelu auttaa hyödyntäviä organisaatioita aineistojen pitkäaikaissäilytykseen liittyvissä kysymyksissä. Erityisesti tätä tukea tarjotaan PAS-palvelun käyttöönottoprosessin aikana, mutta organisaatiot voivat esittää palvelupyyntöjä myös muissa tilanteissa. Tukipyyntöjä vastaanotetaan PAS-palvelun tukiosoitteella: PAS-support@csc.fi.
Vuonna 2017 PAS-palvelua hyödyntäviltä organisaatioilta tuli yhteensä 116 palvelupyyntöä. Nämä käsittelivät erityisesti aineistojen paketointiin ja PAS-palvelun vastaanoton toimintaan liittyviä kysymyksiä. Toinen merkittävä tekijä oli käyttöönottojen tuen antaminen. Palvelupyyntöjen lisäksi hyödyntävien organisaatioiden kanssa käydään keskustelua esimerkiksi PAS-yhteistyöryhmän kautta.