Laaturaportti 2018
PAS-palveluiden vuosi 2018
PAS-palveluilla tarkoitetaan kulttuuriperintöaineistojen ja tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettuja palveluita yhdessä. PAS-palvelut ovat jatkuvasti kehittyviä palveluita ja niiden kehittämistä jatketaan läheisessä yhteistyössä hyödyntävien organisaatioiden kanssa. Tavoitteena on, että Kulttuuriperintö-PAS-palvelussa merkittävimmät digitoidut ja alkujaan digitaaliset kulttuuriperintöaineistot säilyvät myös tuleville sukupolville ja että niiden pitkäaikainen hyödyntäminen on mahdollista. Vastaavasti tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettu Fairdata PAS-palvelu varmistaa digitaalisten tutkimusaineistojen saatavuuden ja pitkäaikaisen säilyvyyden. Molemmat palvelut käyttävät samaa PAS-ratkaisua, joka keskittyy PAS-palveluiden yhteisiin toiminnallisuuksiin, joita liittyy erityisesti aineistojen ns. bittitason säilytykseen.
Kulttuuriperintö PAS-palvelussa aloitettiin kulttuuriperintöaineistojen säilyttäminen 2015. Säilytettävän aineiston määrä kasvaa tasaisesti uusien organisaatioiden liittyessä PAS-palvelun hyödyntäjiin. Vuoden 2018 aikana säilytyksessä olevien aineistojen määrä ylitti 220 teratavua.
Vuoden 2018 aikana käynnistettiin PAS-sopimusmallin uudistaminen ja työ tullaan viimeistelemään vuoden 2019 aikana. PAS-sopimusmallin uudistamisen tarve tuli mm. KDK- ja ATT-hankkeiden päättymisestä, EU:n tietosuoja-asetuksesta (GDPR) ja tutkimusaineistojen säilyttämisen (Fairdata PAS-palvelu) aloittamiseen valmistautumisesta. Uudistamisessa toiminnan perusluonne säilytetään samana.
Kansalliset pitkäaikaissäilytyspalvelut täyttivät kolme vuotta 5.11.2018. Sen kunniaksi järjestettiin kyseisenä päivänä seminaari otsikolla Yhteistyöllä kestävää digitaalista pitkäaikaissäilytystä. Seminaariin osallistui yli sata henkilöä viidestäkymmenestä eri organisaatioista. Seminaarissa esiteltiin PAS-palveluiden historiaa, toimintaa ja tulevaisuutta. Kolme kansainvälistä puheenvuoroa esittelivät eri digitaalisen pitkäaikaissäilytyksen yhteistyömuotoja verkostojen muodossa. PAS-palveluita hyödyntävät organisaatiot kertoivat PAS-palvelusta heidän näkökulmasta seminaarin paneelissa, tuoden esille haasteita, muutoksia ja vinkkejä PAS-palvelun hyödyntämisessä.
Vuonna 2018 PAS-ratkaisun levytallennusalusta saavutti viiden vuoden iän ja laaditun suunnitelman mukaisesti se korvattiin vuoden 2018 lopulla uudella levytallennusalustalla. Uudistuksen yhteydessä PAS-ratkaisun tallennuskapasiteetti nostettiin 1,2 petavuun aiemmasta 500 teratavusta. Samassa levytallennusalustan uudistuksen yhteydessä päivitettiin PAS-ratkaisun vastaanoton siirtopakettien validointitoteutus perustumaan aikaisempaa kertaluokkaa nopeampaan toteutukseen. Tällä varaudutaan takaamaan riittävä siirtopakettien validoinnin nopeus tuleviksi vuosiksi kasvavalle hyödyntävien organisaatioiden joukolle.
PAS-palveluita hyödyntävät organisaatiot
Vuoden 2018 loppuun mennessä OKM on myöntänyt seuraaville organisaatioille kapasiteettia PAS-palvelusta:
| Organisaatio | Käyttötarkoitus | Kapasiteetti (TT) |
|---|---|---|
| Celia | Master-arkisto ja pitkäaikaisesti säilytettävät valitut uudet äänikirjat | 80 |
| Kansallinen audiovisuaalinen instituutti | Valikoitu osa kotimaisen elokuvan digitoitavista aineistoista | 320 |
| Kansallisarkisto | Kansallisarkiston vastaanottamat alkujaan digitaaliset valtionhallinnon asiakirjalliset aineistot | 41 |
| Kansallisarkisto | VAPA-järjestelmään siirretyt tietoaineistot | 1 |
| Kansalliskirjasto | Kansalliskirjaston digitoimat kulttuuriperintöaineistot | 175 |
| Kansalliskirjasto | Kulttuuriaineistolain nojalla kerätyt aineistot | 165 |
| Kotimaisten kielten keskus Kotus | Kotuksen kielentutkimus- ja kulttuuriperintöaineistojen pitkäaikaissäilytys | 60 |
| Museovirasto | Kulttuuriympäristön tutkimusraportit | 1 |
| Musiikkiarkisto | Musiikkiarkiston pitkäaikaissäilytettävät aineistot | 70 |
| Svenska Litteratursällskapet SLS | SLS:n pitkäaikaissäilytettävät aineistot | 50 |
| Yhteiskuntatieteellinen tietoarkisto, FSD | Tietoarkiston arkistoimien tutkimusaineistojen kokoelman pitkäaikaissäilytys | 1 |
PAS-palvelun ylläpidon vuosi 2018
PAS-palveluiden tuottamiseksi tarvitaan monenlaisia toimia: ylläpidollista tehtäviä, menetelmien ja mallien kehittämistä, ohjelmistokehitystä, laiteinfrastruktuurin kehittämistä ja hallinnollista työtä. Tässä raportissa keskitytään erityisesti PAS-palveluiden ylläpidollisiin tehtäviin mukaillen IT-palveluiden tuotantotoiminnan laaturaportointia, joissa usein keskitytään tietyn ajanjakson tuotannolliseen toteumaan, poikkeustilanteisiin ja niistä toipumiseen.
PAS-palveluiden ylläpidon päätavoitteet ovat:
- varmistaa säilytyksessä olevien säilytyspakettien eheys ja saatavuus
- valvoa palvelun toimivuutta ja
- tukea organisaatioita PAS-palvelun hyödyntämisessä (mm. vastaanotossa havaittujen virheellisten tai puutteellisten siirtopakettien korjaamisessa).
Aineistokertymä vuonna 2018
Uusia aineistoja säilytykseen vastaanotettiin vuoden aikana noin 107 teratavua ja yhteensä säilytyksessä vuoden 2018 lopussa aineistoja oli yli 222 teratavua. Aineistojen kertymä vuoden 2018 aikana on esitetty alla olevassa kuvassa.
Vuonna 2018 aikana Kulttuuriperintö-PAS-palvelu otti säilytysvastuun yli 195000 aineistopaketista ja vuoden 2018 lopussa aineistopaketteja oli säilytyksessä yli 1215000. Aineistopakettien kertymä vuoden 2018 aikana on esitetty alla olevassa kuvassa.
PAS-palvelun valvonta
PAS-palvelun valvonta on automatisoitu mahdollisimman pitkälle. Tämä valvonta tarjoaa ylläpidolle, mutta myös hyödyntäville organisaatioille, tila- ja tapahtumatietoa, jonka pohjalta asiantuntijat pystyvät päättelemään palvelun tilan ja ryhtyvät tarvittaviin toimenpiteisiin.
PAS-palvelussa valvotaan automattisesti tällä hetkellä seuraavia kohteita: laiteviat (kuten rikkoontuneet kiintolevyt), rikkoontuneet nauha-asemat, palvelimien saatavuus, levyalueiden täyttöaste, hajautettujen tallennusalueiden näkyvyys eri palvelimilla, virustarkastuksen virustietokannan ajantasaisuus, tallennuskerroksen eheys, nauhakirjastojen saatavuus, SSL-sertifikaattien elinkaari, ja edustapalvelimien SFTP-portin epäonnistuneet kirjautumisyritykset.
Lisäksi seuraavia kohteita valvotaan manuaalisesti: vastaanoton työjonon eteneminen, työjonoon jumiutuneiden siirtopakettien selvittely, säilytyspakettien eheyden tarkastus, hylättyjen siirtopakettien ongelmien analysointi, rikkoutuneiden medioiden replikointi ja pimeän arkiston kopioiden luonti.
Osana PAS-palvelun kehitystyötä parannetaan myös palvelun valvontaa ja uusia osuuksia automatisoidaan. Tämä mahdollistaa palvelun kustannustehokkaan ylläpitämisen myös tulevaisuudessa, vaikka säilytettävän aineiston määrää kasvaa.
Säilytyksessä olevaan aineistoon kohdistuneet laatupoikkeamat vuonna 2018
PAS-palvelun hyödyntäjien kanssa on yhdessä pohdittu mitä laatu aineistojen pitkäaikaisen säilyttämisen kannalta tarkoittaa. On päädytty yhteisymmärrykseen, että erityisen tärkeää on aineistojen eheys ja säilytyksen luotettavuus. Tällöin laatupoikkeamia ovat tilanteet, joissa aineistojen säilyminen on ollut uhattuna, eivätkä niinkään tilanteet, joissa esim. palvelun vastaanotto ei ole hetkellisesti saatavilla. Näistä lähtökohdista palvelun laadun raportointi on haasteellista, sillä totutut IT-ympäristöjen mittarit (esim. palvelun saavutettavuusprosentit) eivät osoita poikkeamia tai varsinaisia uhkia aineistojen säilyvyydessä. Uhkaavia tilanteita säilyvyyden varmistamiseksi ovat tilanteet, joissa säilytyspaketista on vähemmän kuin kolme varmasti eheää kopiota. Tyypillisesti tällaisista tilanteesta toivutaan toisella mediatyypillä olevan kopion avulla ja PAS-palvelun ylläpito kykenee osana normaalia toimintaansa palauttamaan säilytyksen tilanteen normaaliksi.
Vuoden 2018 aikana seitsemässä tapauksessa säilytyksessä olevista säilytyspaketeista puuttui yksi ehjä kopio; tapausten laajuus vaihteli muutamasta sadasta megatavusta vajaaseen kolmeen teratavuun. Näistä tapauksista kaksi johtui rikkoontuneista nauhamedioista ja viisi korruptoituneesta kopiosta kiintolevyllä. Kiintolevyillä korruptoituneet kopiot olivat yksittäistapauksia. Nauhamedian rikkoontuessa kaikki nauhalle kirjoitettu data tyypillisesti menetetään kokonaan; näissä tapauksissa kaikki rikkoontuneella nauhalla ollut data kirjoitettiin uudelle nauhalle toiselta mediatyypiltä. Kaikki tällaiset tapaukset eheytettiin onnistuneesti osana normaalia palvelutoimintaa.
Lisäksi vuoden 2018 aikana PAS-ratkaisun levytallennuksesta rikkoutui 26 kiintolevyä. Yksikään levyrikko ei vaarantanut säilytyksessä olevaa aineistoa, vaan levyjärjestelmissä olevat RAID-volyymit suojasivat säilytyksessä olevan datan korruptiolta.
Hyödyntäville organisaatioille tarjottava tuki
PAS-palvelu auttaa hyödyntäviä organisaatioita aineistojen pitkäaikaissäilytykseen liittyvissä kysymyksissä. Erityisesti tätä tukea tarjotaan PAS-palvelun käyttöönottoprosessin aikana, mutta organisaatiot voivat esittää palvelupyyntöjä myös muissa tilanteissa. Tukipyyntöjä vastaanotetaan PAS-palvelun tukiosoitteella: pas-support@csc.fi.
Vuonna 2018 PAS-palvelua hyödyntäviltä organisaatioilta tuli yhteensä 93 palvelupyyntöä. Nämä käsittelivät erityisesti aineistojen paketointiin ja PAS-palvelun vastaanoton toimintaan liittyviä kysymyksiä. Toinen merkittävä tekijä oli käyttöönottojen tuen antaminen. Palvelupyyntöjen lisäksi hyödyntävien organisaatioiden kanssa käydään keskustelua esimerkiksi PAS-yhteistyöryhmän kautta, joka kokoontuu vuosittain 3-4 kertaa.