Laaturaportti 2021
PAS-palveluiden vuosi 2021
Yleistä
PAS-palveluilla tarkoitetaan kulttuuriperintöaineistojen ja tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettuja palveluita yhdessä. PAS-palvelut ovat jatkuvasti kehittyviä ja niiden kehittämistä jatketaan läheisessä yhteistyössä palveluita hyödyntävien organisaatioiden kanssa. Toiminnan tavoitteena on, että Kulttuuriperintö-PAS-palvelussa merkittävimmät digitoidut ja alkujaan digitaaliset kulttuuriperintöaineistot säilyvät myös tuleville sukupolville ja että niiden pitkäaikainen hyödyntäminen on mahdollista. Vastaavasti tutkimusaineistojen pitkäaikaissäilyttämiseen tuotettu Fairdata PAS-palvelu varmistaa digitaalisten, tutkimukseen liittyvien aineistojen saatavuuden ja pitkäaikaisen säilyvyyden. Molemmat palvelut käyttävät samaa PAS-ratkaisua, joka keskittyy PAS-palveluiden yhteisiin toiminnallisuuksiin, joita liittyy erityisesti aineistojen bittitason säilytykseen.
Kulttuuriperintö-PAS-palvelussa aloitettiin kulttuuriperintöaineistojen säilyttäminen 2015 ja Fairdata PAS-palvelussa loppuvuodesta 2019. Fairdata PAS-palvelua käyttävät organisaatiot voivat hyödyntää myös laajemmin Fairdata-palvelukokonaisuutta, mukaan lukien paketointipalvelu ja hallintaliittymä.
Vuoden keskeiset tulokset
Säilytettävän aineiston määrä kasvoi vuoden 2021 aikana merkittävästi uusien organisaatioiden liittyessä PAS-palvelun hyödyntäjiin ja pidempään palvelua hyödyntäneiden organisaatioiden jatkaessa aineistojen siirtoja. Vuoden 2021 aikana säilytyksessä olevien aineistojen määrä ylitti 1,6 petatavun, vuosittaisen kasvun ollessa noin 583 teratavua, joka on suurin vuosittainen kasvu PAS-palveluiden historiassa. Säilytyspakettien määrä ylitti 2 000 000 vuoden 2021 aikana.
Keväällä 2021 julkaistiin ”loogisen tason säilyttämisen vaatimusmäärittely”. Vaatimusmäärittelyssä esitetään PAS-palveluita hyödyntävien organisaatioiden tämän hetken käsitys tarpeista loogisen säilyttämisen palveluille osana kansallisia PAS-palveluita. Dokumentti tuotettiin osana PAS-yhteistyöryhmän työskentelyä. Dokumentin tavoitteena on tunnistaa loogiseen säilyttämiseen liittyvät vaatimukset, kuvata niihin liittyvät tehtävät ja velvollisuudet niin PAS-palveluille kuin hyödyntäville organisaatiolle.
Vuoden 2021 jatkuneet poikkeukselliset ajat ja korona-pandemia vaikuttivat myös PAS-palveluiden toimintaan. Sekä hyödyntävien organisaatioiden kanssa työskenneltäessä, että PAS-palveluiden tuotanto- ja kehitystehtävissä käytettiin mahdollisimman laajasti etätyöskentelyä. Näin ollen esimerkiksi organisaatioille suunnattuja käytännönläheisiä koulutuksia ei voitu pitää, mutta muutamia työpajoja kuitenkin järjestettiin etänä. Poikkeusolosuhteilla oli loppujen lopuksi vain vähän vaikutuksia PAS-palveluiden laatuun, minkä osoittavat sekä säilytettävän aineistomäärän kasvu että hyödyntävien organisaatioiden tyytyväisyys palveluun kokonaisuutena.
PAS-yhteistyöryhmälle ja muille sidosryhmille suunnattu asiakastyytyväisyyskysely toteutettiin loppuvuodesta 2021. Tyytyväisyys PAS-palveluihin oli varsin positiivista (ka. 5,5/6). Lisäksi organisaatiot olivat erityisen tyytyväisiä saamaansa asiakaspalveluun ja neuvontaan kokonaisuutena (ks. 5,0/6).
Vuonna 2021 PAS-ratkaisussa toteutettiin tallennuskapasiteetin laajentaminen 1,8 petatavulla, joka nosti tallennuskapasiteetin 3,6 petatavuun.
PAS-palveluita hyödyntävät organisaatiot
Vuoden 2021 loppuun mennessä opetus- ja kulttuuriministeriö (OKM) on myöntänyt seuraaville organisaatioille kapasiteettia PAS-palveluista:
| Organisaatio | Käyttötarkoitus | Kapasiteetti (TT) |
|---|---|---|
| Celia | Master-arkisto ja pitkäaikaisesti säilytettävät valitut uudet äänikirjat | 110 |
| Kansallinen audiovisuaalinen instituutti | Valikoitu osa kotimaisen elokuvan digitoitavista aineistoista | 1200 |
| Kansallisarkisto | Kansallisarkiston vastaanottamat alkujaan digitaaliset valtionhallinnon asiakirjalliset aineistot | 41 |
| Kansallisarkisto | VAPA-järjestelmään siirretyt tietoaineistot | 1 |
| Kansallisarkisto | Kansallisarkiston massadigitointi-hankkeen aineistot | 114 |
| Kansallisarkisto | Kansallisarkiston digitaaliarkistosta siirrettävät aineistot ja takautuvan digitoinnin aineistot | 805 |
| Kansallisarkisto | Kansallisarkiston yksinomaan digitaalisessa muodossa olevat yksityisarkistoaineistot | 27 |
| Kansallisgalleria | Kiasman mediataiteen teosten pitkäaikaissäilytys | 20 |
| Kansalliskirjasto | Kansalliskirjaston digitoimat kulttuuriperintöaineistot | 175 |
| Kansalliskirjasto | Kulttuuriaineistolain nojalla kerätyt aineistot | 355 |
| Kotimaisten kielten keskus Kotus | Kotuksen kielentutkimus- ja kulttuuriperintöaineistojen pitkäaikaissäilytys | 60 |
| Museovirasto | Kulttuuriympäristön tutkimusraportit | 1 |
| Musiikkiarkisto | Musiikkiarkiston pitkäaikaissäilytettävät aineistot | 70 |
| Svenska Litteratursällskapet SLS | SLS:n pitkäaikaissäilytettävät aineistot | 50 |
| Yhteiskuntatieteellinen tietoarkisto, FSD | Tietoarkiston arkistoimien tutkimusaineistojen kokoelman pitkäaikaissäilytys | 1 |
| Organisaatio | Käyttötarkoitus | Kapasiteetti (TT) |
|---|---|---|
| Geologian Tutkimuskeskus | GTK:n tomografialaitteen tuottamat tietoaineistot | 12 |
| Helsingin yliopisto | Helsingin yliopiston SMEAR-aineistojen valikoima meteorologisia - ja ilmanlaatumittauksia | 2 |
| Helsingin yliopisto | M. cinxia and C. melitaearum in the Åland metapopulation system | 2 |
| Itä-Suomen yliopisto | SENSOTRA | 1 |
| Jyväskylän yliopiston kiihdytinlaboratorio | 250-Nobeliumin hajoamisspektroskopia | 1 |
| Oulun yliopisto, Sodankylän geofysikaalinen observatorio | Havaintoaineistot | 30 |
| Tampereen yliopisto | Yhteiskuntatieteiden tiedekunnan Kansanperinteen arkiston A-K-kokoelma | 2 |
| Turun yliopisto | Historian, kulttuurin ja taiteiden tutkimuksen arkiston aineistot (HKT-arkisto) | 20 |
Aineistokertymä vuonna 2021
Uusia aineistoja säilytykseen vastaanotettiin vuoden aikana noin 583 teratavua ja yhteensä säilytyksessä vuoden 2021 lopussa aineistoja oli yli 1 650 teratavua. Aineistojen kertymä vuoden 2021 aikana on esitetty alla olevassa kuvassa.
Vuonna 2021 aikana PAS-palvelut ottivat säilytysvastuun yli 568 000 aineistopaketista ja vuoden 2021 lopussa aineistopaketteja oli säilytyksessä yli kaksi miljoonaa. Aineistopakettien kertymä vuoden 2021 aikana on esitetty alla olevassa kuvassa.
PAS-palvelun ylläpito
PAS-palveluiden tuottamiseksi tarvitaan monenlaisia toimia: ylläpidollista tehtäviä, menetelmien ja mallien kehittämistä, ohjelmistokehitystä, laiteinfrastruktuurin kehittämistä ja hallinnollista työtä. Tässä raportissa keskitytään erityisesti PAS-palveluiden ylläpidollisiin tehtäviin mukaillen IT-palveluiden tuotantotoiminnan laaturaportointia, joissa usein keskitytään tietyn ajanjakson tuotannolliseen toteumaan, poikkeustilanteisiin ja niistä toipumiseen.
PAS-palveluiden ylläpidon päätavoitteet ovat:
- varmistaa säilytyksessä olevien säilytyspakettien eheys ja saatavuus,
- valvoa palvelun toimivuutta ja
- tukea organisaatioita PAS-palvelun hyödyntämisessä (muun muassa vastaanotossa havaittujen virheellisten tai puutteellisten siirtopakettien korjaamisessa).
PAS-palveluiden valvonta
PAS-palveluiden valvonta on automatisoitu mahdollisimman pitkälle. Valvonta tarjoaa ylläpidolle, kuten myös hyödyntäville organisaatioille, tila- ja tapahtumatietoa, jonka pohjalta asiantuntijat pystyvät päättelemään palvelun tilan ja ryhtyvät tarvittaessa toimenpiteisiin.
PAS-palveluissa valvotaan automaattisesti tällä hetkellä seuraavia kohteita:
- laiteviat (kuten rikkoontuneet kiintolevyt),
- rikkoontuneet nauha-asemat,
- palvelimien saatavuus,
- levyalueiden täyttöaste,
- hajautettujen tallennusalueiden näkyvyys eri palvelimilla,
- virustarkastuksen virustietokannan ajantasaisuus,
- tallennuskerroksen eheys,
- nauhakirjastojen saatavuus,
- SSL-sertifikaattien elinkaari, ja
- edustapalvelimien SFTP-portin epäonnistuneet kirjautumisyritykset.
Lisäksi seuraavia kohteita valvotaan manuaalisesti:
- vastaanoton työjonon eteneminen,
- työjonoon jumiutuneiden siirtopakettien selvittely,
- säilytyspakettien eheyden tarkastus,
- hylättyjen siirtopakettien ongelmien analysointi,
- rikkoutuneiden medioiden replikointi ja
- pimeän arkiston kopioiden luonti.
Osana PAS-palveluiden kehitystyötä parannetaan myös palvelun valvontaa ja uusia osuuksia automatisoidaan. Tämä mahdollistaa palvelun kustannustehokkaan ylläpitämisen myös tulevaisuudessa, vaikka säilytettävän aineiston määrää kasvaa.
Säilytyksessä olevaan aineistoon kohdistuneet laatupoikkeamat vuonna 2021
PAS-palveluiden hyödyntäjien kanssa on yhdessä pohdittu, mitä laatu tarkoittaa aineistojen pitkäaikaisessa säilyttämisessä. On päädytty yhteisymmärrykseen, että erityisen tärkeää on aineistojen eheys ja säilytyksen luotettavuus. Tällöin laatupoikkeamina voidaan pitää tilanteita, joissa aineistojen säilyminen on ollut uhattuna, mutta ei niinkään tilanteita, joissa esimerkiksi palvelun vastaanotto ei ole hetkellisesti saatavilla.
Näistä lähtökohdista palvelun laadun raportointi on haasteellista, sillä totutut IT-ympäristöjen mittarit (esimerkiksi palvelun saavutettavuusprosentit) eivät osoita poikkeamia tai varsinaisia uhkia aineistojen säilyvyydessä. Uhkaavia tilanteita säilyvyyden varmistamiseksi ovat tilanteet, joissa säilytyspaketista on vähemmän kuin kolme varmasti eheää kopiota. Tyypillisesti tällaisista tilanteesta toivutaan toisella mediatyypillä olevan kopion avulla ja PAS-palveluiden ylläpito kykenee osana normaalia toimintaansa palauttamaan säilytyksen tilanteen normaaliksi.
Vuoden 2021 aikana yksi LTO-8 nauhamedia todettiin rikkoontuneeksi. Kaikki 23 säilytyspakettia tältä nauhamedialta kopioitiin uudelle nauhamedialle. Säännöllisessä eheyden tarkastuksessa paikallistettiin 10 nauhatallennuksen eheyden osalta poikkeavaa säilytyspakettia, kaikki kopioitiin eheää säilytyskopiota käyttäen uusille nauhamedioille.
Vuonna 2021 PAS-ratkaisun levytallennuksesta rikkoutui viisitoista kiintolevyä. Yksikään levyrikko ei vaarantanut säilytyksessä olevaa aineistoa, vaan levyjärjestelmissä olevat RAID-volyymit suojasivat säilytyksessä olevan datan korruptiolta.
Ohjelmistokehityksen uudet ominaisuudet
Kulttuuriperintö-PAS-palvelussa ja PAS-ratkaisussa maantieteellisen hajautuksen sekä levytallennuksen laajentamisen vaatimat arkkitehtuurimuutokset, erityisesti automaattinen eheydentarkastus huomioiden, saatiin valmiiksi. REST-rajapintaan lisättiin usean taustajärjestelmätunnuksen tuki samalle sopimustunnisteelle sekä jakelupaketin poistotoiminto. Verkkoarkistoaineiston ARC/WARC-migraatiotyökalusta tuotettiin ensimmäinen toimiva versio, ja tilastointitoiminnon laajentaminen eri aikajaksoihin eteni pitkälle. Lisäksi toteutettiin määritysmuutoksien vaatimia ohjelmistokehitysmuutoksia, tiedostomuotovalidoinnin korjauksia mm. erikoismerkkeihin ja PDF-muotoihin liittyen, sekä muita pienempiä bugikorjauksia ja optimointeja. Myös Python3-ohjelmistokehityssiirtymä eteni hyvin.
Fairdata PAS-palvelussa paketointipalvelu siirrettiin uuteen laitealustaan, ja koko sovelluskerros siirtyi Python3-ympäristöön. Liittyvälle organisaatiolle lisättiin mahdollisuus demoympäristöön, jossa voi harjoitella PAS-vientiä ennen varsinaiseen tuotantoon siirtymistä. Fairdata PAS-palvelussa tehtiin myös laaja integraatiopäivitys muihin Fairdata-palveluihin, ja siirryttiin yhteiseen kirjautumiskäytäntöön. Paketointipalveluun tuotettiin tuki kaikille PAS-ratkaisun päässä toteutetuille tiedostomuodoille, sekä lisättiin luokitteluominaisuus eri tiedostomuodoille ja AVI-tiedostomuototuki. Fairdata PAS-palvelussa tuotettiin myös rajapintakomponentti PAS-palvelun REST-rajapinnan automaattiseen hyödyntämiseen. Lisäksi graafiset ympäristöt aineistojen lähettämiseen sekä noutoon hallintaliittymän kautta etenivät hyvin.
Hyödyntäville organisaatioille tarjottava tuki
PAS-palvelut auttavat hyödyntäviä organisaatioita aineistojen pitkäaikaissäilytykseen liittyvissä kysymyksissä. Erityisesti tätä tukea tarjotaan PAS-palvelun käyttöönottoprosessin aikana, mutta organisaatiot voivat esittää palvelupyyntöjä myös muissa tilanteissa. Tukipyyntöjä vastaanotetaan PAS-palveluiden tukiosoitteella: pas-support@csc.fi.
Vuonna 2021 PAS-palveluita hyödyntäviltä organisaatioilta tuli yhteensä 62 palvelupyyntöä. Nämä käsittelivät erityisesti aineistojen paketointiin ja PAS-palveluiden vastaanoton toimintaan liittyviä kysymyksiä. Toinen merkittävä tekijä oli käyttöönottojen tuen antaminen. Palvelupyyntöjen lisäksi hyödyntävien organisaatioiden kanssa käydään keskustelua esimerkiksi neljä kertaa vuodessa kokoontuvan PAS-yhteistyöryhmän kautta. Ryhmän työskentelyssä vakiintuneiden rutiininen lisäksi, kuten PAS-palveluiden ohjelmistokehityksen säännöllinen seuranta, jatkettiin loogisen säilyttämisen vaatimusmäärittelytyötä, jolla päivitetään ja täsmennetään aikaisemmin laadittuja suunnitelmia ja kuvauksia PAS-palveluiden toiminnasta. Vuonna 2020 käynnistettyjä virtuaalisia kuukausittaisia #PASKaffet jatkettiin myös vuonna 2021. Lisäksi vuoden 2021 aikana käynnistettiin #PASKlinikka toiminta. #PASKlinikat ovat PAS-palveluita hyödyntäville, tai siitä kiinnostuneille, organisaatioille suunnattuja matalan kynnyksen keskustelutilaisuuksia, joissa organisaatio saa vain itselleen varatun keskusteluajan PAS-palvelun asiantuntijoiden kesken.
PAS-palveluiden tapahtumista ja ajankohtaisista asioista tiedotettiin digitalpreservation.fi sivustolla, Twitter-tilillä (@dpres_fi) ja tiedottamiseen tarkoitetulla sähköpostilistalla.