Lisätietoja

Asioita, jotka sinun on tiedettävä

 

** Proxy virheitä **

Joskus pyyntö ERDDAP™ Palauta Proxy Error, HTTP 502 Bad Gateway Error tai vastaava virhe. Apachen tai Tomcatin tekemät virheet eivät ERDDAP™ itse.

• Jos jokainen pyyntö aiheuttaa nämä virheet, varsinkin kun olet aloittamassa ERDDAP™ Sitten se on todennäköisesti välitys- tai huono porttivirhe, ja ratkaisu on todennäköisesti korjattava. ERDDAP Proxy-asetukset . Tämä voi olla myös ongelma, kun vakiintunut ERDDAP™ Yhtäkkiä alkaa heittää virheitä jokaiseen pyyntöön.
• Muuten "proxy"-virheet ovat yleensä Apachen tai Tomcatin aiheuttamia virheitä. Jopa silloin, kun ne tapahtuvat suhteellisen nopeasti, Apachen tai Tomcatin vastaus on jonkinlainen. ERDDAP™ Se on erittäin kiireinen, muistirajoitettu tai rajoitettu jollakin muulla resurssilla. Näissä tapauksissa, katso alla olevat ohjeet käsitellä ERDDAP™ Vastaa hitaasti .

Pyynnöt pitkälle aikavälille (30 aikapistettä) verkosta saadut tiedot ovat alttiita ajoissa ulos epäonnistumisia, jotka usein näkyvät Proxy Errors, koska se vie merkittävää aikaa. ERDDAP™ Avaa kaikki tiedostot yksi kerrallaan. Jos ERDDAP™ Muussa tapauksessa ongelma on todennäköisempi. Jos tietoaineiston tiedostot on pakattu, ongelma on todennäköisempi, vaikka käyttäjän on vaikea määrittää, onko tietoaineiston tiedostot pakattu. Ratkaisu on tehdä useita pyyntöjä, joista jokaisella on pienempi aikaväli. Kuinka pieni aikaväli? Suosittelen aloittamaan todella pienen (30 aikapistettä?) sitten (noin) kaksinkertaistaa aikavälin, kunnes pyyntö epäonnistuu, sitten kaksinkertaistaa. Tee sitten kaikki pyynnöt (Jokainen eri ajanhuippu) Piti saada kaikki tiedot. Yksi ERDDAP™ Järjestäjä voi vähentää tätä ongelmaa lisäämällä Apache Timeout -asetukset .

Seuranta

Haluamme, että tietopalvelumme löytävät yleisönsä ja että niitä käytetään laajasti, mutta joskus myös ERDDAP™ Voidaan käyttää liikaa, mikä aiheuttaa ongelmia, mukaan lukien erittäin hidas vastaus kaikkiin pyyntöihin. Suunnitelmamme ongelmien välttämiseksi on:

• Seuranta ERDDAP™ kautta Tila.html verkkosivut . Siinä on paljon hyödyllistä tietoa. Jos näet valtavan määrän pyyntöjä tulossa tai tonnia muistia käytetään tai tonnia epäonnistuneita pyyntöjä, tai jokainen suuri LoadDatasets kestää kauan, tai nähdä mitään merkkejä siitä, että asiat sidotaan alas ja vastata hitaasti, niin katso ERDDAP > log.txt-tiedosto Katsotaan, mitä tapahtuu.

On myös hyvä huomioida, kuinka nopeasti status-sivu reagoi. Jos se reagoi hitaasti, se on tärkeä indikaattori. ERDDAP™ on hyvin kiireinen.

• Seuranta ERDDAP™ kautta Päivittäinen raportti sähköpostia.  
• Varo ajantasaisia tietoaineistoja Perusta /erddap/outOfDateDatasets.html Sivusto, joka perustuu valinnaiseen testOutOfDate Globaali attribuutti.  

Ulkopuoliset tarkkailijat

Edellä luetellut menetelmät ovat ERDDAP Seuraa itseään. On myös mahdollista tehdä tai käyttää ulkoisia järjestelmiä seuraamaan ERDDAP . Yksi projekti tähän on Axiomin erddap-metrinen projekti . Näillä ulkoisilla järjestelmillä on joitakin etuja:

• Ne voidaan mukauttaa antamaan haluamasi tiedot, jotka näkyvät haluamallasi tavalla.
• Ne voivat sisältää tietoa ERDDAP™ että ERDDAP™ ei pääse helposti tai ollenkaan (esimerkiksi CPU-käyttö, levyn vapaa tila, ERDDAP™ käyttäjän näkökulmasta katsottuna, ERDDAP™ Ylös,
• He voivat antaa hälytyksiä (Sähköpostit, puhelut, tekstit) kun ongelmat ylittävät jonkin rajan.  

Monipuolinen samanaikainen Pyynnöt

• Blacklist-käyttäjät tekevät useita samanaikaisia pyyntöjä. Jos on selvää, että käyttäjä tekee useampaa kuin yhtä samanaikaista pyyntöä toistuvasti ja jatkuvasti, lisää sitten IP-osoite. ERDDAP [ ]<Pyydä musta lista » (Docs/server-admin/datasets#requestblacklist Näytä tarkat tiedot) sinun sisälläsi datasets.xml tiedosto. Joskus pyynnöt ovat peräisin yhdestä IP-osoitteesta. Joskus ne ovat peräisin useista IP-osoitteista, mutta selvästi sama käyttäjä. Voit myös mustalle listalle ihmisiä, jotka tekevät tonnia mitättömiä pyyntöjä tai tonnia mielenkiinnottomia pyyntöjä.

jokaisesta pyynnöstä, jonka he tekevät, ERDDAP™ Palautus:

HTTP ERROR 403 - Access Forbidden --
Your IP address is on this ERDDAP's request blacklist.
Did you often submit more than one request at a time?
Did you often submit identical requests in a short period of time?
Did you submit a large number of invalid requests?
If you are ready to avoid these problems, please email \[ERDDAP™ administrator's email address\] to request to be taken off of the blacklist.

Toivottavasti käyttäjä näkee tämän viestin ja ottaa sinuun yhteyttä selvittääkseen, miten korjata ongelma ja poistaa musta lista. Joskus ne vain vaihtavat IP-osoitteita ja yrittävät uudelleen.

Se on kuin hyökkäävien ja puolustusaseiden välinen tasapaino. Tässä puolustusaseet ( ERDDAP ) on kiinteä kapasiteetti, jota rajoittavat CPU: n ytimien määrä, levyn käyttökaistanleveys ja verkon kaistanleveys. Hyökkäävät aseet (käyttäjät, erityisesti käsikirjoitukset) rajoittamaton kapasiteetti:

• Yksi pyyntö tietoihin monesta ajankohdasta voi aiheuttaa ERDDAP Avaa valtava määrä tiedostoja (Sekvenssissä tai osittain multi-threaded) . Äärimmäisissä tapauksissa yksi "yksinkertainen" pyyntö voi helposti sitoa RAIDin. ERDDAP™ minuutti, joka estää muiden pyyntöjen käsittelyn.  
• Yksi pyyntö voi kuluttaa suuren muistin (Vaikka ERDDAP™ on koodattu suurten pyyntöjen käsittelyyn tarvittavan muistin minimoimiseksi.) .  
• Paralleloituminen - Älykkään käyttäjän on helppo rinnastuttaa iso tehtävä tuottamalla paljon lankoja, joista jokainen lähettää erillisen pyynnön. (jotka voivat olla suuria tai pieniä) . Tietotekniikan yhteisö kannustaa tätä käyttäytymistä tehokkaana keinona ratkaista suuri ongelma. (Yhteensopivuus on tehokasta muissa olosuhteissa) . Sota-analogiaan palaaminen: käyttäjät voivat tehdä olennaisesti rajoittamattoman määrän samanaikaisia pyyntöjä, kunkin pyynnön kustannukset ovat pohjimmiltaan nolla, mutta kunkin pyynnön kustannukset tulevat. ERDDAP™ voi olla suuri ja ERDDAP ”Vastauskyky on rajallinen. selkeästi, ERDDAP™ häviää tämän taistelun, ellei ERDDAP™ Järjestelmänvalvoja mustalle listalle käyttäjät, jotka tekevät useita samanaikaisia pyyntöjä, jotka ovat harhaanjohtavia muita käyttäjiä.  
• Useita kirjoituksia - Mieti, mitä tapahtuu, kun on olemassa useita älykkäitä käyttäjiä, jotka toimivat rinnakkain. Jos yksi käyttäjä voi luoda niin paljon pyyntöjä, että muut käyttäjät ovat täynnä, useat käyttäjät voivat luoda niin monia pyyntöjä, että ERDDAP™ Se on ylikuormitettu ja tuntuvasti epävastuullinen. Se on tehokkaasti DDOS-hyökkäys Jälleen ainoa puolustus ERDDAP™ Blacklist-käyttäjille, jotka tekevät useita samanaikaisia pyyntöjä, jotka ovat epäreilusti täynnä muita käyttäjiä.  
• täytetyt odotukset - Tässä suurten teknologiayritysten maailmassa (Amazon, Google, Facebook) Käyttäjät odottavat olennaisesti rajoittamattomia ominaisuuksia. Koska nämä yritykset ovat rahankeruutoimintaa, sitä enemmän käyttäjiä heillä on, sitä enemmän tuloja heidän on laajennettava IT-infrastruktuuriaan. Heillä on varaa laajaan IT-infrastruktuuriin pyyntöjen käsittelyyn. Ne rajoittavat käyttäjien pyyntöjen ja kustannusten määrää rajoittamalla käyttäjien pyyntöjä, jotta yksittäinen pyyntö ei olisi raskas, eikä koskaan ole syytä. (tai tapa) Käyttäjille useita samanaikaisia pyyntöjä. Näillä yrityksillä voi olla paljon enemmän käyttäjiä kuin ERDDAP™ Heillä on paljon enemmän resursseja ja älykkäitä tapoja rajoittaa pyyntöjä jokaiselta käyttäjältä. Tämä on hallittavissa oleva tilanne suurille yrityksille. (He rikastuvat!) mutta ei ERDDAP™ asennuksia. Jälleen ainoa puolustus ERDDAP™ Blacklist-käyttäjille, jotka tekevät useita samanaikaisia pyyntöjä, jotka ovat epäreilusti täynnä muita käyttäjiä.  

Käyttäjät: Älä tee useita samanaikaisia pyyntöjä tai olet musta lista.  

On selvää, että palvelimella on paljon ytimiä, paljon muistia. (Voit jakaa paljon muistia ERDDAP™ enemmän kuin koskaan tarvitsee) korkea kaistanleveys Internet-yhteys. Muisti on harvoin tai ei koskaan rajoittava tekijä, mutta verkon kaistanleveys on yleisempi rajoittava tekijä. Koska yhtäaikaisia pyyntöjä on enemmän ja enemmän, tietyn käyttäjän nopeus vähenee. Tämä luonnollisesti hidastaa pyyntöjen määrää, jos jokainen käyttäjä lähettää vain yhden pyynnön kerrallaan.

ERDDAP™ Tietoja kolmesta

Jos sinun ERDDAP™ Saat joitakin sen tietoja sivustollasi olevasta THREDDS-tiedostosta, on joitakin etuja tehdä kopio THREDDS-tiedostoista. (Ainakin suosituimpiin tietoihin) Toisella kierroksella, joka ERDDAP™ on pääsy siihen, että ERDDAP™ Tiedot voidaan toimittaa suoraan tiedostoista. At ERD Teemme sen suosituimmille tietokannoillemme.

• ERDDAP™ Voit saada tiedot suoraan eikä sinun tarvitse odottaa, että THREDDS lataa tietoaineiston uudelleen tai...
• ERDDAP™ voi havaita ja sisällyttää uusia tiedostoja välittömästi, joten sen ei tarvitse pesteroida THREDDS-tiedostoja usein nähdäkseen, onko tietoaineisto muuttunut. Näet [<Päivitä kaikki ns. (Docs/server-admin/datasets#updateeverynmillis) .
• Kuorma on jaettu kahden RAIDS- ja 2-palvelimen välillä sen sijaan, että pyyntö olisi vaikea molemmissa. ERDDAP™ ja kolme.
• Vältät ongelman, joka johtuu siitä, että sinulla on pieni (Oletuksena) Suurin pyyntökoko. ERDDAP™ on järjestelmä, joka käsittelee virheitä, mutta ongelman välttäminen on parempi.
• Sinulla on varmuuskopio tiedoista, joka on aina hyvä idea.

Älä koskaan juokse kolmea ja ERDDAP™ samassa Tomcatissa. Käytä niitä erillisillä Tomcat-palvelimilla tai paremmin erillisillä palvelimilla.

Huomaamme, että 3DS tulee säännöllisesti tilaan, jossa pyynnöt vain ripustetaan. Jos sinun ERDDAP™ Tietoja saa kolmesta ja kolme on tässä tilassa. ERDDAP™ Hänellä on puolustus (THREDDS-pohjainen tietoaineisto ei ole käytettävissä) mutta se on edelleen vaikeaa ERDDAP™ Koska koska ERDDAP™ On odotettava, kunnes aika on joka kerta, kun se yrittää ladata tietoaineiston uudelleen ripustettujen THREDDS. Joitakin ryhmiä (mukaan lukien ERD ) Vältä tätä käynnistämällä toistuvasti 3D:tä (Esimerkki: Yöllinen kroonisessa työssä) .

Vastaa hitaasti

• Jos ERDDAP™ Vastaa hitaasti jos vain tietyt pyynnöt vastaavat hitaasti, Voit selvittää, onko hitaus kohtuullinen ja tilapäinen. (esimerkiksi käsikirjoitusten tai WMS Käyttäjät) Jos jokin on selittämättömän väärin ja sinun täytyy Sulje ja käynnistä Tomcat uudelleen ERDDAP™ .

Jos ERDDAP™ Vastaa hitaasti, katso alla olevat neuvot selvittääksesi syyn, joka toivottavasti auttaa sinua korjaamaan ongelman. Sinulla voi olla erityinen lähtökohta (Esimerkki URL-osoitteesta) Epämääräinen lähtökohta (esim. ERDDAP™ Hidas on) . Saatat tuntea käyttäjän (Esim. koska he lähettivät sinulle) Tai ei. Sinulla voi olla muita vihjeitä tai ei. Koska kaikki nämä tilanteet ja kaikki mahdolliset syyt ongelmiin hämärtyvät, alla olevat neuvot yrittävät käsitellä kaikki mahdolliset lähtökohdat ja kaikki mahdolliset hitaisiin vastauksiin liittyvät ongelmat.

• **Etsi vihjeitä sisään ERDDAP Lokitiedostot ** ( isovanhemmat Tekijät/log.txt) . \[ Harvoissa tapauksissa on vihjeitä Tomcatin lokitiedosto ( Tom Lähde: Catalina.out) . \]
  Etsi virheilmoituksia. Etsi useita pyyntöjä, jotka tulevat yhdestä (tai muutama) Käyttäjät ja ehkä paljastavat palvelimen resursseja (muisti, CPU-aika, levyn käyttö, internetin kaistanleveys) .

Jos ongelma on sidottu Yksi käyttäjä Saat usein vihjeen siitä, kuka käyttäjä on verkkopalveluiden kautta. https://whatismyipaddress.com/ip-lookup jotka voivat antaa sinulle käyttäjän IP-osoitteeseen liittyviä tietoja (josta löydät ERDDAP > log.txt tiedostotiedosto) .

• Jos käyttäjä näyttää olevan Bot käyttäytyä huonosti (hakukone, joka yrittää täyttää ERDDAP™ kaikki mahdolliset sisäänpääsyarvot) Varmista, että olet määrittänyt palvelimen asianmukaisesti Robotit.txt tiedosto.
• Jos käyttäjä näyttää olevan **Käsikirjoitus (s) ** joka tekee useita samanaikaisia pyyntöjä, ota yhteyttä käyttäjään, selitä, että ERDDAP™ rajalliset resurssit (esimerkiksi muisti, CPU-aika, levyn käyttö, internetin kaistanleveys) Pyydä heitä harkitsemaan muita käyttäjiä ja tekemään yksi pyyntö kerrallaan. Saatat myös mainita, että mustalle listalle ne, jos ne eivät palaa.
• Jos käyttäjä näyttää olevan Käsikirjoitus tehdä paljon aikaa vieviä pyyntöjä, pyydä käyttäjää harkitsemaan muita käyttäjiä asettamalla pieni tauko. (2 sekuntia?) Käsikirjoituksessa pyyntöjen välillä.
• ** WMS Asiakasohjelmisto** voi olla hyvin vaativa. Yksi asiakas pyytää usein kuusi räätälöityä kuvaa kerrallaan. Jos käyttäjä näyttää olevan WMS Asiakas, joka tekee oikeutettuja pyyntöjä, voit:
• Jätä huomiotta. (Suosittelen, koska he liikkuvat pian)
• Sammuta palvelimesi WMS Palvelun kautta ERDDAP Asennus.html-tiedosto. (Ei suositella)
• Jos pyynnöt näyttävät tyhmä, hullu, liiallinen tai haitallinen, tai jos et voi ratkaista ongelmaa millään muulla tavalla, harkitse käyttäjän IP-osoitteen väliaikaista tai pysyvää lisäämistä.<Pyydä musta lista » datasets.xml tiedosto) (Docs/server-admin/datasets#requestblacklist Näytä tarkat tiedot) .  
• Yritä kaksinkertaistaa ongelma itse, tietokoneeltasi.
  Selvitä, onko ongelma yhden tietoaineiston tai kaikkien tietoaineistojen, yhden käyttäjän tai kaikkien käyttäjien, vain tiettyjen pyyntöjen jne. kanssa. Jos ongelma voidaan kaksinkertaistaa, yritä vähentää ongelmaa. Jos ongelmaa ei voi kaksinkertaistaa, ongelma voi olla sidottu käyttäjän tietokoneeseen, käyttäjän internetyhteyteen tai laitoksen Internet-yhteyteen.  
• Jos vain Yksi data reagoi hitaasti (Ehkä vain Yksi pyyntö Yhden käyttäjän) Ongelma voi olla:
  • ERDDAP « Tietoaineiston lähdetietojen käyttöoikeus (erityisesti suhteellisista tietokannoista, Cassandrasta ja etätietokannoista) Ne voivat olla väliaikaisesti tai pysyvästi hitaita. Tarkista lähteen nopeus riippumattomana ERDDAP . Jos se on hidasta, voit ehkä parantaa sitä.
  • Onko pyyntöön tai yleiseen pyyntöön liittyvä ongelma? Mitä suurempi pyydetty tietoaineiston osajoukko, sitä todennäköisemmin pyyntö epäonnistuu. Jos käyttäjä tekee suuria pyyntöjä, pyydä käyttäjää tekemään pienempiä pyyntöjä, jotka todennäköisemmin saavat nopean ja onnistuneen vastauksen.

Lähes kaikki tietojoukot ovat parempia käsittelemään tiettyjä pyyntöjä kuin muut pyynnöt. Esimerkiksi, kun tietoaineisto tallentaa eri aikavälilehtiä eri tiedostoihin, pyynnöt tietojen valtava määrä aikapisteitä voi olla hyvin hidas. Jos nykyiset pyynnöt ovat vaikeita, harkitse näiden pyyntöjen kannalta optimoidun tietoaineiston muunnelmaa. Kerro käyttäjälle, että kyseinen pyyntö on vaikeaa ja aikaa vievää ja pyydä kärsivällisyyttä.

• Tietoaineistoa ei voida optimaalisesti määrittää. Voit tehdä muutoksia tietoaineistoon datasets.xml Chunk auttaa ERDDAP™ Käsittele aineistoa paremmin. Esimerkiksi,

  • EDDGrid FromNcFiles-tietoaineistot, jotka käyttävät painetuista nc4/hdf5-tiedostoista saatuja tietoja, ovat hitaita koko maantieteellisen alueen tietojen saannissa. (Esimerkki: Maailmankartta) Koska koko tiedosto on masennettava. Voit muuntaa tiedostot pakkaamattomiksi tiedostoiksi, mutta levytilan tarve on paljon, paljon suurempi. On parempi hyväksyä, että nämä tiedot ovat hitaita tietyissä tilanteissa.
  • Perustaminen [< subsetVariables > (Docs/server-admin/datasets#subsetvariables Näytä tarkat tiedot) Tagilla on suuri vaikutus siihen, miten ERDDAP™ käsittelee EDDTable-tietoaineistoja.
  • Saatat pystyä lisäämään EDDTableFromDatabase nopeus Dataa.
  • Monet EDDTable-tietokannat voivat vauhdittaa tallentaa kopio tiedoista NetCDF Ragged Array -tiedostot mikä ERDDAP™ osaa lukea hyvin nopeasti.

Jos haluat auttaa nopeuttamaan tiettyä tietoaineistoa, sisällytä kuvaus ongelmasta ja aineiston ruumis. datasets.xml Katso meidän Lisätuen saaminen .  

• Jos Kaikki kaikessa Sisällä ERDDAP™ on Aina aina aina Hidas, ongelma voi olla:
  • tietokone, joka toimii ERDDAP™ Ei ehkä ole tarpeeksi muistia tai prosessointia. On hyvä juosta ERDDAP™ moderni, monikäyttöinen palvelin. Raskaassa käytössä palvelimella tulee olla 64-bittinen käyttöjärjestelmä ja 8 Gt tai enemmän muistia.
  • tietokone, joka toimii ERDDAP™ Saatat käyttää myös muita sovelluksia, jotka kuluttavat paljon järjestelmiä. Jos näin on, voit saada oman palvelimen ERDDAP ?? Esimerkiksi esimerkiksi (Tämä ei ole hyväksyntä) Voit saada neliydin Mac Mini Server 8 Gt muistia ~ 1100.  
• Jos Kaikki kaikessa Sisällä ERDDAP™ on tilapäisesti Hidasta, katso ERDDAP > ** /erddap/status.html Sivusivu sivu sivu sivu** selaimessasi.
  • tekee ERDDAP™ Sivu ei lataudu? Jos näin on, uudelleenkäynnistys ERDDAP™ .
  • tekivät ERDDAP™ Sivun lataus hitaasti (> 5 sekuntia) ?? Se on merkki siitä, että kaikki ERDDAP™ Juokse hitaasti, mutta se ei välttämättä ole ongelma. ERDDAP™ Voi olla todella kiireinen.
  • ”Vastaus epäonnistui” (Viimeisimmät LoadDatasets) Onko n = suuri määrä? Tämä osoittaa, että viime aikoina on tehty paljon epäonnistuneita pyyntöjä. Se voi olla ongelma tai vaikeuksien alku. Epäonnistumisen mediaaniaika on usein suuri (210 000 ms) , mikä tarkoittaa, että oli (Onko?) Paljon aktiivisia ketjuja. jotka sitovat paljon resursseja (kuin muisti, avoimet tiedostot, avoimet sukat,) , joka ei ole hyvä.
  • "Vastaus onnistunut aika" (Viimeisimmät LoadDatasets) Onko n = suuri määrä? Tämä osoittaa, että viime aikoina on tehty paljon onnistuneita pyyntöjä. Tämä ei ole ongelma. Se tarkoittaa vain sinun ERDDAP™ Siitä tulee raskasta käyttöä.
  • Onko "ei-tomcat-odottavia lankoja" kaksinkertainen tyypillinen arvo? Tämä on usein vakava ongelma, joka aiheuttaa ERDDAP™ hidastua ja lopulta jäätyä. Jos tämä jatkuu useita tunteja, voit haluta ennakoivasti. uudelleenkäynnistys ERDDAP™ .
  • Luettelossa "Memory Use Summary" on viimeinen "Memory: tällä hetkellä käytössä" arvo erittäin korkea? Tämä voi tarkoittaa vain suurta käyttöä tai se voi olla merkki ongelmasta.
  • Katso lista ketjuista ja niiden tilasta. Onko epätavallinen määrä tehdä jotain epätavallista?  
• on instituution Internet-yhteys Tällä hetkellä hidasta? Etsi internet "internet-nopeustesti" ja käytä yhtä ilmaisista online-testeistä, kuten https://www.speakeasy.net/speedtest/ . Jos yrityksesi internetyhteys on hidas, yhteydet ERDDAP™ etätietolähteet ovat hitaita ja yhteys ERDDAP™ Käyttäjä on hidas. Joskus voit ratkaista tämän lopettamalla tarpeettoman internetin käytön. (esimerkiksi videoiden suoratoistoa tai videoneuvottelupuheluita katselevat henkilöt) .  
• on Käyttäjän Internet-yhteys Tällä hetkellä hidasta? Käyttäjä hakee Internetiä "internet-nopeustestiin" ja käyttää yhtä ilmaisista online-testeistä, kuten https://www.speakeasy.net/speedtest/ . Jos käyttäjän internetyhteys on hidas, se hidastaa heidän pääsyään. ERDDAP . Joskus he voivat ratkaista tämän lopettamalla tarpeettoman internetin käytön laitoksessa. (esimerkiksi videoiden suoratoistoa tai videoneuvottelupuheluita katselevat henkilöt) .  
• Stuck?
  Katso meidän Lisätuen saaminen .

Sulje ja käynnistä uudelleen

• **Miten lopettaa ja käynnistää Tomcat ERDDAP™ **
  Sinun ei tarvitse sulkea ja käynnistää Tomcat. ERDDAP jos ERDDAP™ Hidas, hidas jostain syystä (kuin paljon pyyntöjä käsikirjoituksista tai WMS Käyttäjät) tai tehdä muutoksia datasets.xml tiedosto.

Sinun täytyy sulkea ja käynnistää Tomcat uudelleen. ERDDAP™ jos haluat muuttaa asennus.xml-tiedostoa tai jos ERDDAP™ Jäädytä, ripustaa tai lukitsee. äärimmäisissä olosuhteissa, Java Se voi jäätyä minuutiksi tai kahdeksi, kun se tekee täyden roskakeräyksen, mutta sitten toipua. On hyvä odottaa minuutti tai kaksi. Java // ERDDAP™ Se on todella jäädytetty tai jos se tekee vain pitkän roskakorin. (Jos roskat on yleinen ongelma, Lisää muistia Tomcatiin .)

En suosittele Tomcat Web Application Managerin käyttämistä Tomcatin aloittamiseen tai lopettamiseen. Jos et ole täysin suljettu ja käynnistys Tomcat, ennemmin tai myöhemmin sinulla on PermGen muistiongelmia.

Tomcatin sulkeminen ja käynnistäminen ERDDAP :

• Jos käytät Linuxia tai Macia: (Jos olet luonut Tomcat-käyttäjän, esimerkiksi Tomcat, muista tehdä seuraavat vaiheet.)
   
  1. cd Tom /B  
  2. Käytä ps -ef | Greep Tomcat löytää Java / Tomcat prosessi ID (Toivotaan, että vain yksi prosessi listataan.) jota me kutsumme JavaProcess alhaalla.  
  3. Jos ERDDAP™ jäädytetty / lukittu, käytä tappaa -3 JavaProcess kertomaan Java (Mikä on Tomcat) Tomcat-lokitiedostoon tehtävä thread dump: Tom Katalina.out. Kun olet aloittanut, voit diagnosoida ongelman löytämällä thread dump -tiedot. (ja muita hyödyllisiä tietoja sen yläpuolella) Sisällä Tom /logs/catalina.out ja myös lukemalla olennaisia osia ERDDAP™ Lokiarkisto . Jos haluat, voit sisällyttää nämä tiedot ja katsoa Lisätuen saaminen .  
  4. Käytä ./shutdown. Säv.  
  5. Käytä ps -ef | Tomcat toistuvasti, kunnes java/tomcat-prosessi ei ole listattu.

Java/tomcat -prosessi kestää jopa kaksi minuuttia. Syy on: ERDDAP™ lähettää viestin taustasäikeilleen, jotta ne voivat pysähtyä, mutta joskus se vie nämä langat pitkään päästäkseen hyvään pysähdyspaikkaan.

6. Jos minuutin jälkeen java/tomcat ei pysähdy itsestään, voit käyttää tappaa -9 JavaProcess
   Pakottaa java/tomcat-prosessin pysähtymään välittömästi. Jos mahdollista, käytä sitä vain viimeisenä keinona. 9-kytkin on voimakas, mutta se voi aiheuttaa monia ongelmia.  
7. käynnistää uudelleen ERDDAP™ Käytä ./startup.sh  
8. Näkymä ERDDAP™ Selaimessasi tarkistaa, että uudelleenkäynnistys onnistui. (Joskus sinun täytyy odottaa 30 sekuntia ja yrittää ladata. ERDDAP™ Selaimessasi, jotta se onnistuisi.)
    

• Jos käytät Windowsia:  
  1. cd Tom /B  
  2. Käytä shutdown.bat
      
  3. Voit halutessasi/tarpeessasi käyttää Windows Task Manageria (Lähde: Ctrl Alt Del) varmistaa, että Java /Tomcat/ ERDDAP™ Prosessi/sovellus on täysin pysähtynyt. Välillä prosessi/hakemus kestää jopa kaksi minuuttia. Syy on: ERDDAP™ lähettää viestin taustasäikeilleen, jotta ne voivat pysähtyä, mutta joskus se vie nämä langat pitkään päästäkseen hyvään pysähdyspaikkaan.  
  4. käynnistää uudelleen ERDDAP™ Käytä startup.batia  
  5. Näkymä ERDDAP™ Selaimessasi tarkistaa, että uudelleenkäynnistys onnistui. (Joskus sinun täytyy odottaa 30 sekuntia ja yrittää ladata. ERDDAP™ Selaimessasi, jotta se onnistuisi.)
      

Usein jäädytettyjä tai risteytettyjä

Jos ERDDAP™ Hidastuu, kaatuu tai jäätyy, jotain on vialla. Katso sisään ERDDAP Lokitiedostot yrittää selvittää syyn. Jos et voi, ota yhteys yksityiskohtiin ja katso meidän Lisätuen saaminen .

Yleisin ongelma on ongelmallinen käyttäjä, joka käyttää useita käsikirjoituksia kerralla ja / tai joku, joka tekee paljon mitättömiä pyyntöjä. Jos näin tapahtuu, sinun on todennäköisesti mustalle listalle. Kun musta listattu käyttäjä tekee pyynnön, vastauksen virheilmoitus rohkaisee heitä lähettämään sinulle sähköpostia ongelmien selvittämiseksi. Sitten voit rohkaista heitä juoksemaan vain yhden käsikirjoituksen kerrallaan ja korjaamaan käsikirjoituksen ongelmat. (esim. etätietoaineiston tietojen pyytäminen, joka ei voi vastata ennen ajan päättymistä) . Näet [<Pyydä musta lista » datasets.xml tiedosto) (Docs/server-admin/datasets#requestblacklist Näytä tarkat tiedot) .

äärimmäisissä olosuhteissa, Java Se voi jäätyä minuutiksi tai kahdeksi, kun se tekee täyden roskakeräyksen, mutta sitten toipua. On hyvä odottaa minuutti tai kaksi. Java // ERDDAP™ Se on todella jäädytetty tai jos se tekee vain pitkän roskakorin. (Jos roskat on yleinen ongelma, Lisää muistia Tomcatiin .)

Jos ERDDAP™ Hidastuu tai jäätyy, eikä ongelma ole ongelmallinen käyttäjä tai pitkä roskakokoelma, voit yleensä ratkaista ongelman. Uudelleenkäynnistys ERDDAP™ . Kokemukseni on, että ERDDAP™ Se voi kestää kuukausia ilman, että tarvitset uudelleenkäynnistystä.  

Seuranta

Voit seurata ERDDAP "Station, katsomalla /erddap/status.html Sivusivu sivu sivu sivu erityisesti yläosan tilastot. Jos ERDDAP™ hidastuu tai jäätyy ja ongelma ei ole vain erittäin raskas käyttö, voit yleensä ratkaista ongelman. Uudelleenkäynnistys ERDDAP™ . Prometheus-integraatiolla /erdap/metricsillä on muita mittareita.

Kokemukseni on, että ERDDAP™ Se voi kestää kuukausia ilman, että tarvitset uudelleenkäynnistystä. Sinun tarvitsee vain käynnistää se uudelleen, jos haluat tehdä joitakin muutoksia, joita olet tehnyt. ERDDAP asennus.xml tai jos haluat asentaa uusia versioita ERDDAP™ , Java Tomcat tai käyttöjärjestelmä. Jos haluat aloittaa uudelleen ERDDAP™ Usein jokin on väärin. Katso sisään ERDDAP Lokitiedostot yrittää selvittää syyn. Jos et voi, ota yhteys yksityiskohtiin ja katso meidän Lisätuen saaminen . Väliaikaisena ratkaisuna voit yrittää Monimutkainen seurata sinun ERDDAP™ Käynnistetään tarvittaessa uudelleen. Voit tehdä työpaikan uudelleenkäynnistettäväksi ERDDAP™ (aktiivisesti) säännöllisesti. Se voi olla hieman haastavaa kirjoittaa käsikirjoitus automatisoida seuranta ja käynnistää uudelleen. ERDDAP . Joitakin vinkkejä, jotka voivat auttaa:

• Voit yksinkertaistaa testausta, jos Tomcat-prosessi on edelleen käynnissä käyttämällä -c-kytkintä grepillä: ps. Tom Käyttäjä | Esiintyjät: C Java Tämä vähentää tulosta "1", jos tomcat-prosessi on vielä elossa tai "0" jos prosessi on pysähtynyt.  
• Jos olet hyvä gawkin kanssa, voit poistaa prosessitunnuksen tuloksista. ps. Tom Käyttäjä | java ja käyttää prosessitunnusta muissa käsikirjoituksen riveissä.  

Jos perustat Monit- tai cron-työn, olisi hienoa, jos voisit jakaa yksityiskohdat, jotta muut voisivat hyötyä näkemästämme. Lisätuen saaminen johon voit jakaa.

Permgen

Jos käytät Tomcat Manageria toistuvasti (Lopeta ja aloita) ERDDAP™ , ERDDAP™ Ei voi alkaa ja heittää Java.langia. OutOfMemory Virhe: PermGen. Ratkaisu on ajoittain (Tai joka kerta?) Sulje ja käynnistä Tomcat uudelleen ERDDAP™ Sen sijaan, että vain ladattaisiin ERDDAP . \[ Päivitys: Tämä ongelma on minimoitu tai korjattu ERDDAP™ versio 1.24. \]
 

Log

• ** log.txt **
  Jos ERDDAP™ ei käynnisty tai jos jokin ei toimi odotetulla tavalla, on erittäin hyödyllistä tarkastella virheitä ja diagnostisia viestejä. ERDDAP™ Lokitiedosto.
• Lokitiedosto on isovanhemmat Tekijät/log.txt ( isovanhemmat on määritelty Asennus.xml ) . Jos ei ole lokia. Txt-tiedosto tai loki. txt-tiedostoa ei ole päivitetty sen jälkeen, kun se on aloitettu uudelleen ERDDAP™ Katso sisään Tomcat Log -tiedostot Katsotaan onko siellä virheilmoitus.
• Lokitiedoston diagnostisten viestien tyypit:
  • Sanaa "virhe" käytetään, kun jokin meni niin väärin, että menettely ei onnistunut. Vaikka on ärsyttävää saada virhe, virhe pakottaa sinut käsittelemään ongelman. Ajatus on, että on parempi heittää virhe kuin olla. ERDDAP™ Harjoittele, toimi tavalla, jota et odottanut.
  • Sanaa "varoitus" käytetään, kun jokin meni pieleen, mutta menettely oli valmis. Ne ovat melko harvinaisia.
  • Kaikki muu on vain informatiivinen viesti. Voit määrittää, kuinka paljon tietoa on kirjattu [...]<logiikka > (Docs/server-admin/datasets#loglevel) datasets.xml .
  • Reloads ja käyttäjän vastaukset, jotka kestävät > 10 sekuntia (onnistuneesti tai epäonnistuneesti) on merkitty " (> 10.) ". Näin voit etsiä tämän lauseen log.txt-tiedoston löytääksesi tietoaineistot, jotka olivat hitaita ladattavaksi tai pyynnön numeron, joka oli hidas loppuun. Voit sitten katsoa korkeammalle log.txt-tiedostossa nähdäksesi, mikä tietoaineiston ongelma oli tai mitä käyttäjän pyyntö oli ja kuka se oli. Nämä hidas dataset-kuormat ja käyttäjän pyynnöt verotetaan joskus ERDDAP . Lisätietoa näistä hakemuksista voi auttaa tunnistamaan ja ratkaisemaan ongelmia.
• Tiedot on kirjoitettu levyaseman lokitiedostoon melko suurissa kiekoissa. Etu on se, että se on erittäin tehokas - ERDDAP™ Älä koskaan estä tietojen kirjoittamista lokitiedostoon. Haittapuolena on, että loki päättyy lähes aina osittaiseen viestiin, jota ei saa päätökseen ennen kuin seuraava naarmuunnos on kirjoitettu. Voit tehdä sen ajan tasalla (hetkeksi) katsomalla sinun ERDDAP Tilan verkkosivuillahttps://your.domain.org/erddap/status.html (tai tai http:// jos https ei ole sallittua) .
• Kun log.txt-tiedostot ovat 20 Mt, Tiedosto on nimetty uudelleen. txt.previous ja uusi log.txt-tiedosto luodaan. Lokitiedostot eivät keräänny.

Asennuksessa.xml voit määrittää log-tiedoston maksimikoon MegaBytesissä. Minimi sallittu on 1 (MB) . Suurin sallittu on 2000 (MB) . Oletusarvo on 20 (MB) . Esimerkiksi:

        <logMaxSizeMB>20</logMaxSizeMB>

• Aina kun aloitat uudelleen ERDDAP™ , ERDDAP™ Tekee arkiston kopion log.txt ja log. txt. aiemmat tiedostot, joissa on aikaleima tiedoston nimessä. Jos on ollut ongelmia ennen uudelleenkäynnistystä, voi olla hyödyllistä analysoida näitä arkistoituja tiedostoja vihjeitä siitä, mikä ongelma oli. Voit poistaa arkistotiedostot, jos niitä ei enää tarvita.  

Löydä log.txt

ERDDAP "Kirkko. Txt-tiedostoa ei ole suunniteltu pirsaamiseen (Vaikka saatat pystyä luomaan säännöllisiä ilmaisuja, jotka sisältävät haluttua tietoa.) . Se auttaa ihmistä ymmärtämään, mikä menee pieleen, kun jokin menee pieleen. Kun lähetät vika- tai ongelmailmoituksen ERDDAP™ Kehittäjät, jos mahdollista, sisällytä kaikki tiedot log.txt-tiedostosta, joka liittyy ongelmalliseen pyyntöön.

tehokkuussyistä, ERDDAP™ Kirjoita vain tietoa kirjautumiseen. Txt, kun suuri tietokanta on kertynyt. Jos käyt lokissa. txt heti virheen tapahtumisen jälkeen virheeseen liittyviä tietoja ei ehkä ole vielä kirjoitettu log.txtiin. Jotta saat täydellisesti ajantasaista tietoa log.txt-palvelusta, käy osoitteessa ERDDAP > Lähde: HTML . Milloin ERDDAP™ Prosesseja, jotka pyytävät, se vaimentaa kaikki vireillä olevat tiedot log.txt.

For For ERDDAP™ Käyttötilastot, käytä Apache ja/tai Tomcat-lokitiedostot Sen sijaan ERDDAP log.txt. Huomaa, että ERDDAP > Lähde: HTML (jotkut) ja Päivittäinen raportti (Lisää enemmän) sinulla on suuri määrä käyttötilastoja, jotka on ennalta laskettu.

Tomcat-lokit

Jos ERDDAP™ ei käynnisty, koska virhe tapahtui hyvin varhain ERDDAP käynnistys, virheilmoitus näkyy Tomcatin lokitiedostoissa ( Tom Katalina / Katalina Tänään tänään .log tai Tom Lähde: Catalina.out) Ei sisään ERDDAP log.txt-tiedosto .

Käyttötilastot: Suurin osa tiedoista, joita ihmiset haluavat kerätä lokitiedostosta (esimerkiksi käyttötilastot) Käytä Apache- ja/tai Tomcat-lokitiedostoja. He ovat hyvin muotoiltuja ja heillä on tällaisia tietoja. Niiden analysoinnissa on useita työkaluja, esimerkiksi Häpeät , ElasticSearch Kibana ja JMe Etsi verkko löytääksesi oikean työkalun tarkoituksiin.

Huomaa, että lokitiedostot tunnistavat käyttäjät vain IP-osoitteina. On olemassa verkkosivustoja, jotka auttavat sinua saamaan tiettyyn IP-osoitteeseen liittyviä tietoja, esim. Mikä on Et yleensä löydä käyttäjän nimeä.

Myös, koska DHCP Tietyn käyttäjän IP-osoite voi olla erilainen eri päivinä tai eri käyttäjillä voi olla sama IP-osoite eri aikoina.

Vaihtoehtoisesti voit käyttää jotain Google Analytics . Mutta varo: kun käytät ulkoisia palveluja, kuten Google Analytics, luovut käyttäjien yksityisyydestä antamalla Googlelle täyden pääsyn heidän toimintaansa sivustollasi. (Ja muut?) Pystyy pysymään ikuisesti ja käyttämään mihin tahansa tarkoitukseen. (Ei ehkä teknisesti, mutta käytännössä.) . Käyttäjäsi eivät ole suostuneet tähän eivätkä todennäköisesti ole tietoisia siitä, että heitä seurataan verkkosivustollasi, aivan kuten he eivät todennäköisesti tiedä, missä määrin heitä seurataan lähes kaikilla verkkosivustoilla. Nykyään monet käyttäjät ovat hyvin huolissaan siitä, että kaikki mitä he tekevät verkossa on näiden suurten yritysten seurantaa. (Google, Facebook jne.) ja hallitusten kautta, ja tämä on perusteeton tunkeutuminen heidän elämäänsä. (Kirjassa, 1984) . Tämä on saanut monet käyttäjät asentamaan tuotteita, kuten Yksityisyys Badger minimoida seuranta, käyttää vaihtoehtoisia selaimia, kuten Tor Browser (tai sammuta seuranta perinteisissä selaimissa) käyttää vaihtoehtoisia hakukoneita, kuten Duck Go . Jos käytät Google Analyticsin kaltaista palvelua, dokumentoi sen käyttö ja seuraukset muuttamalla sitä.<StandardPrivacyPolicy> -tunnus ERDDAP > \[ Tom \] /webapps/erddap/WEB-INF/classes/gov/noaa/pfel/erddap/util/viestejä.xml-tiedosto.

E-Mail Log

• SähköpostiLogyear-MM-DD.txt
  ERDDAP™ Kirjoitat aina kaikki sähköpostiviestit nykypäivän sähköpostiin Logyear-MM-DD.txt-tiedosto isovanhemmat /logit ( isovanhemmat on määritelty Asennus.xml ) .
• Jos palvelin ei voi lähettää sähköpostiviestejä tai jos olet määrittänyt ERDDAP™ Älä lähetä sähköpostiviestejä tai jos olet vain utelias, tämä tiedosto on kätevä tapa nähdä kaikki sähköpostiviestit, jotka on lähetetty.
• Voit poistaa aiempien päivien sähköpostilokitiedostot, jos niitä ei enää tarvita.  

Päivittäinen raportti

Päivittäisellä raportilla on paljon hyödyllistä tietoa – kaikki tiedot ERDDAP > /erddap/status.html Sivusivu sivu sivu sivu ja enemmän.

• Se on täydellinen yhteenveto sinun ERDDAP > status.
• Muiden tilastojen joukossa on luettelo aineistoista, jotka eivät latautuneet ja niiden tuottamista poikkeuksista.
• Se syntyy, kun aloitat ERDDAP™ (jälkeen ERDDAP™ Lataa kaikki tietoaineistot) Se syntyy lähiaikoina kello seitsemän jälkeen joka aamu.
• Aina kun se syntyy, se on kirjoitettu ERDDAP log.txt-tiedosto .
• Aina kun se luodaan, se on sähköpostia<Sähköpostiviestit > ja<Sähköposti kaikki > (jotka on määritelty Asennus.xml ) jos olet luonut sähköpostijärjestelmän (Asennus.xml) .

Tilasivut

Voit katsoa tilasi ERDDAP™ mistä tahansa selaimesta menemällä<Perusta > /erddap/status.html

• Tämä sivu luodaan dynaamisesti, joten sillä on aina ajantasaiset tilastot. ERDDAP .
• Se sisältää tilastoja pyyntöjen määrästä, muistin käytöstä, langan pino jälkiä, tehtäväThread, jne.
• Koska sivuston voi katsoa kuka tahansa, se ei sisällä yhtä paljon tietoa kuin Päivittäinen raportti .  

Lisätiedot / Muutokset

ERDDAP™ Yleensä lukeminen datasets.xml Jokainen jokainen Lataa DatasetsMinMinutes (määritelty Asennus.xml ) . Voit tehdä muutoksia datasets.xml milloin tahansa, vaikka ERDDAP™ Juoksen. Uusi tietoaineisto havaitaan pian, yleensä sisällä Lataa DatasetsMinMinutes . Muutettu aineisto ladataan, kun se on Lataa kaikki minuutit Vanha vanha vanha (Kuten on määritelty datasets.xml ) .

Lippu

• ** Lipputiedosto Kertoja ERDDAP™ Kokeile ladata tietoja mahdollisimman pian**

• ERDDAP™ ei huomaa muutoksia tietoaineiston asennukseen datasets.xml kunnes ERDDAP™ palauttaa tietoaineiston.  

• kertomaan ERDDAP™ tietojen lataaminen mahdollisimman pian (ennen tietoaineistoa)<Reload "EveryNMinutes" aiheuttaisi sen lataamisen, laita tiedosto sisään. isovanhemmat /flag ( isovanhemmat on määritelty Asennus.xml ) Sillä on sama nimi kuin aineiston datasetID . Tämä kertoo ERDDAP™ Yritä ladata tämä ASAP. Tietoaineiston vanha versio säilyy käyttäjien saatavilla, kunnes uusi versio on saatavilla ja vaihdetaan atomisesti. For For EDDGrid Files ja EDDTable Files, uudelleenlataava tietoaineisto etsii uusia tai muutettuja tiedostoja, lukea niitä ja sisällyttää ne tietoaineistoon. Aika ladata riippuu uusien tai muuttuneiden tiedostojen määrästä. Jos aineisto on aktiivinen = "väärä", ERDDAP™ poistaa aineiston.  

Bad Files -lippu

• Yksi variantti /flag hakemisto on /badFilesFlag hakemisto. (Lisätty ERDDAP™ 2.12.)
  Jos laitat tiedoston isovanhemmat BadFilesFlag-hakemisto, jossa on datasetID tiedoston nimi (tiedostojen sisällöllä ei ole väliä) niin pian kuin ERDDAP™ Näytä pahat fiilikset Lipputiedosto, ERDDAP™ Will:

  1. Poista pahanlaatuinen tiedosto.
  2. Poista pahat fiilikset .nc tiedostotiedosto (Jos on yksi) Tämä on luettelo huonoista tiedostoista kyseiseen tietoaineistoon. Tietokannat kuten EDDGrid SideBySide, jolla on lapsiDatasets, poistaa myös huonot fiilikset .nc Kaikkien lasten tietoaineistot.
  3. Lataa ASAP-tiedot.

Tämä aiheuttaa ERDDAP™ Yritä uudelleen työskennellä tiedostojen kanssa aiemmin (virheellisesti?) merkitty huonoksi.  

Kova lippu

• Toinen hakemiston /flag-hakemisto on /hardFlag-hakemisto. (Lisätty ERDDAP™ v1.74.)
  Jos laitat tiedoston isovanhemmat HardFlag, jossa on datasetID tiedoston nimi (tiedostojen sisällöllä ei ole väliä) niin pian kuin ERDDAP™ Näet kovan Lipputiedosto, ERDDAP™ Will:

  1. Poista kova lipputiedosto.
  2. Poistaa aineiston ERDDAP .
  3. poistaa kaikki tiedot, jotka ERDDAP™ tallennettu tähän tietoaineistoon. For For EDDGrid Files ja EDDTable Filesin alaluokat poistavat sisäisen tietokannan tiedostoista ja niiden sisällöstä. Tietokannat kuten EDDGrid SideBySide, jolla on lapsiDatasets, poistaa myös tietotiedostojen sisäisen tietokannan ja niiden sisällön kaikkien lasten tietoaineistojen osalta.
  4. Lataa tiedostot uudelleen. For For EDDGrid Files ja EDDTable Files subclasses, tämä ERDDAP™ Reread Kaikki kaikki tiedostoista. Reload-aika riippuu aineiston tiedostojen kokonaismäärästä. Koska aineisto on poistettu ERDDAP™ Kun kiintolevy havaittiin, aineistoa ei ole saatavilla, kunnes aineisto ladataan uudelleen. Ole kärsivällinen. Katso sisään log.txt Jos haluat nähdä, mitä tapahtuu.

HardFlag-versio poistaa tietoaineiston tallennetut tiedot, vaikka aineistoa ei tällä hetkellä ladata. ERDDAP .

Kovaa Liput ovat erittäin hyödyllisiä, kun teet jotain, joka aiheuttaa muutoksen ERDDAP™ lukee ja tulkitsee lähdetietoja esimerkiksi asentamalla uuden version ERDDAP™ jos olet tehnyt muutoksen tietoaineiston määritelmään datasets.xml

• Lipun sisältö, huonot FilesFlag ja hardFlag-tiedostot ovat merkityksettömiä. ERDDAP™ Katso tiedoston nimi saadaksesi datasetID .  
• suurten aineistojen välissä, ERDDAP™ Näyttää jatkuvasti lipun, huono-FilesFlag ja hardFlag-tiedostoja.  
• Huomaa, että kun tiedostot ladataan uudelleen, kaikki tiedostot isovanhemmat // Cash // * datasetID * Hakemisto on poistettu. Tämä sisältää .nc Kuvatiedostot, jotka on yleensä kiinnitetty ~ 15 minuuttia.  
• Huomaa, että jos aineiston xml sisältää Aktiivinen = "väärä" lippu saa tietoaineiston toimimaan passiivisesti (Jos se on aktiivinen) ja joka tapauksessa ei ladattu.  
• milloin tahansa ERDDAP™ käyttää LoadDatasets tehdä suuri lataus (aikaistettu uudelleenlataus ohjataan<loadDatasetsMinMinutes>) tai pieni lataus (ulkoisen tai sisäisen lipun seurauksena) , ERDDAP™ Lue kaikki<masentunut CacheMaxGB><masentunut CacheMaxMinutesOld ><käyttäjä >,<Blacklist >,<hidastaa troubleMillis > ja<TilausEmailBlacklist>-tunnisteet ja siirtyminen uusiin asetuksiin. Voit käyttää lippua keinona saada ERDDAP™ Huomaa muutokset näissä ASAP-tunnuksissa.

Aseta datan lippu

• ERDDAP™ on verkkopalvelu, jotta liput voidaan asettaa URL-osoitteen kautta.

  • Esimerkiksi, https://coastwatch.pfeg.noaa.gov/erddap/setDatasetFlag.txt?datasetID=rPmelTao&flagKey=123456789
    (Tämä on väärennetty lippu Keskeinen) Määritä lippu rPmelTao-tietokantaan.
  • Jokaiselle on erilainen lippu datasetID .
  • Hallinnoitsijat voivat nähdä luettelon lippu-URL-osoituksista kaikkiin tietoaineistoihin tarkastelemalla niiden pohjaa. Päivittäinen raportti sähköpostia.
  • Hallinnoitsijoiden on kohdeltava näitä URL-osoitteita luottamuksellisina, koska he antavat jollekin oikeuden palauttaa tietoaineisto halutessaan.
  • Jos luulet, että lippu on pudonnut jonkun käsiin, joka käyttää niitä väärin, voit muuttua.<Lippukiekko » Asennus.xml uudelleenkäynnistys ERDDAP pakottaa ERDDAP™ luoda ja käyttää erilaisia lippuja.
  • Jos vaihdat<LippuKeyKey>, poista kaikki vanhat tilaukset (Katso lista päivittäisessä raportissasi) Muista lähettää uudet URL-osoitteet ihmisille, joita haluat saada.

Lippujärjestelmä voi toimia tehokkaamman mekanismin perustana. ERDDAP™ Kun lataat tietoaineiston uudelleen. Voit esimerkiksi määrittää tietoaineiston<Reload "Kaikki minuutit" suureen määrään (10080 = 1 viikko) . Kun tiedät, että aineisto on muuttunut (Ehkä siksi, että olet lisännyt tiedoston tietoaineiston hakemistoon) Lataa lippu niin, että aineisto ladataan uudelleen mahdollisimman pian. Liput näkyvät yleensä nopeasti. Mutta jos LoadDataset-lanka on jo kiireinen, se voi olla aikaa ennen kuin se on käytettävissä lipussa. Lippujärjestelmä on paljon responsiivisempi ja tehokkaampi kuin asettaminen.<Lataa EveryNMinutes > pieneen määrään.

Tietojen poistaminen

Jos aineisto on aktiivinen ERDDAP™ haluat poistaa sen väliaikaisesti tai pysyvästi:

1. Sisällä datasets.xml aineistoon, asetettu Aktiivinen = "väärä" Dataset tag.
2. Odottaa ERDDAP™ poistaa tiedot seuraavan suuren latauksen aikana tai Aseta lippu aineiston kerrottavaksi ERDDAP™ Huomaa tämä muutos mahdollisimman pian. Kun teet tämän, ERDDAP™ Se ei heittele mitään tietoja, joita se on tallentanut tietoaineistosta, eikä varmasti tee mitään todellisille tiedoille.
3. Sitten voit jättää aktiivisen = "väärin" tiedon datasets.xml tai poistaa sen.  

Milloin tietoaineistot ladataan?

RunLoadDatasets-niminen lanka on master-lanka, joka ohjaa, kun tietoaineistot ladataan uudelleen. RunLoad Tiedot pysyvät:

1. RunLoadDataset huomioi ajan.

2. RunLoadDatasets aloittaa LoadDatasets-langan ”majorLoad”. Voit nähdä tietoja nykyisestä / aiemmasta päälyijystä yläosassa. ERDDAP > /erddap/status.html Sivusivu sivu sivu sivu (esimerkiksi Esimerkki sivusta ) .

   1. LoadDatasets tekee kopion datasets.xml .
   2. LoadDatasets lukee kopion kautta datasets.xml kunkin aineiston osalta katsotaan, onko tietoaineiston (Re) ladattu tai poistettu.
      • Jos a Lippu tiedosto on olemassa tätä tietoaineistoa varten, tiedosto poistetaan ja tietoaineisto poistetaan, jos aktiivinen = "väärä" tai (Re) aktiivinen = "totuus" (Tietoaineiston iästä riippumatta) .
      • Jos aineiston dataset.xml chunk on aktiivinen = "väärä" ja aineisto on tällä hetkellä ladattu (aktiivisen aktiivisen aktiivisen) Se on purkamaton (Poistettu) .
      • Jos aineisto on aktiivinen = "tosi" ja aineistoa ei ole jo ladattu, se ladataan.
      • Jos tietokanta on aktiivinen = "todellinen" ja tietoaineisto on jo ladattu, tiedot ladataan uudelleen, jos tietoaineiston ikä (Viimeisen kuorman jälkeen) suurempi kuin sen<Reload Kaikki minuutit » (Oletusarvo = 10080 minuuttia) Muuten aineisto jää yksin.
   3. LoadDatasets päättyy

RunLoadDatasets-lanka odottaa LoadDatasets-langan valmistumista. Jos LoadDatasets kestää pidempään kuin loadDatasets Minuutit (asennus.xml) RunLoadDatasets keskeyttää LoadDatasets-langan. Ihannetapauksessa LoadDatasets huomaa keskeytyksen ja päättymisen. Mutta jos se ei huomaa keskeytystä minuutissa, RunLoadDatasets kutsuu loadDatasets. Pysäytä () mikä on toivomatonta. 3. Vaikka viimeksi mainitun levyn alkamisaika on pienempi kuin loadDatasets. Minuutit (asennus.xml, esim. 15 minuuttia) RunLoadDatasets etsii toistuvasti Lippu tiedostot sisällä isovanhemmat Flag-hakemisto. Jos yksi tai useampi lipputiedosto löytyy, ne poistetaan, ja RunLoadDatasets aloittaa LoadDatasets-langan tehdäkseen "minorLoad" (Lead = väärä) . Et voi nähdä pieniä tietoja ERDDAP > /erddap/status.html Sivusivu sivu sivu sivu .

1. LoadDatasets tekee kopion datasets.xml .
2. LoadDatasets lukee kopion kautta datasets.xml ja jokaisesta tiedostosta, johon oli lipputiedosto:
   • Jos aineiston dataset.xml chunk on aktiivinen = "väärä" ja aineisto on tällä hetkellä ladattu (aktiivisen aktiivisen aktiivisen) Se on purkamaton (Poistettu) .
   • Jos aineisto on aktiivinen = "totuus", tietoaineisto on (Re) iästä riippumatta. Ei-liputettuja tietoaineistoja ei huomioida.
3. LoadDatasets päättyy
4. RunLoad Tiedot palaavat vaiheeseen 1.

Huomautuksia:

• Startup Kun aloitat uudelleen ERDDAP™ Jokainen aineisto, jossa on aktiivinen = "tosi" on ladattu.

• Cash Kun aineisto on (Re) Kuormitettu, kätkö (tiedostot ja/tai kuvatiedostot) on tyhjentynyt.

• Paljon aineistoja Jos sinulla on paljon tietoja ja/tai yksi tai useampi tietoaineisto on hidas. (Re) Kuorma, LoadDatasets-lanka voi kestää kauan työnsä loppuun saattamiseen, ehkä jopa pidempään kuin loadDatasets Minuutteja.

• LoadDatasets Thread Koskaan ei ole enemmän kuin yksi LoadDatasets lanka käynnissä kerralla. Jos lippu asetetaan, kun LoadDatasets on jo käynnissä, lippua ei todennäköisesti huomaa tai toimi, kunnes LoadDatasets-lanka päättyy. Saatat sanoa: "Se on tyhmää. Miksi et vain aloita joukkoa uusia lankoja ladataksesi tietoaineistoja? Mutta jos sinulla on paljon tietoja, jotka saavat tietoja yhdestä etäpalvelimesta, yksikin LoadDatasets-lanka aiheuttaa huomattavaa stressiä etäpalvelimelle. Sama pätee, jos sinulla on paljon tiedostoja, jotka saavat tietoja yhdestä RAID-tiedostosta. On nopeasti vähentynyt tuotto on enemmän kuin yksi LoadDatasets lanka.

• Lippu = ASAP Lipun asettaminen vain signaaleja siitä, että aineiston tulisi olla (Re) mahdollisimman pian, ei välttämättä heti. Jos LoadDataset-lanka ei ole käynnissä, tietoaineisto alkaa ladata uudelleen muutamassa sekunnissa. Mutta jos LoadDataset-lanka on käynnissä, tietoaineistoa ei todennäköisesti ladata uudelleen, ennen kuin LoadDatasets-lanka on valmis.

• Lipputiedosto poistettu Yleensä, jos laitat lipputiedoston isovanhemmat /erddap/flag-hakemisto (Käymällä aineiston lipussa Url tai laittaa todellinen tiedosto siellä) Tiedostot ladataan yleensä pian sen jälkeen, kun lipputiedosto poistetaan.

• Flag Versus Small Reload Jokainen minuutti Jos sinulla on ulkoinen tapa tietää, milloin tietoaineisto on ladattava uudelleen ja jos se sopii sinulle, paras tapa varmistaa, että tietoaineisto on aina ajan tasalla, on ladata sen uudelleen. Jokainen minuutti suureen määrään (10080?) Aseta lippu (Käsikirjoituksen kautta?) aina kun se on ladattava. Tämä on järjestelmä, joka EDDGrid FromErddapin ja EDDTableFromErddapin käyttö vastaanottaa viestejä, joita tietoaineisto on ladattava uudelleen.

• Näytä log.txt Paljon asiaankuuluvia tietoja on kirjoitettu isovanhemmat /logs/log.txt-tiedosto. Jos asiat eivät toimi niin kuin odotat, katso kirjaa. Txt antaa sinun diagnosoida ongelman selvittämällä, mitä ERDDAP™ teki.

  • Etsi "majorLoad=true" alkuun suuri LoadDataset lanka.

  • Etsi "majorLoad=false" pienten LoadDataset-lankojen alkuun.

  • Etsi tiettyjä tietoja datasetID Tietoa siitä, että on (Re) ladattu tai kysely.

     

Katkaistu vastaus

yleisesti, ERDDAP™ Ei kätköjä (Tavaratalo) Vastaukset käyttäjäpyyntöihin. Suurin osa hakemuksista olisi hieman erilaisia, joten välimuisti ei olisi kovin tehokas. Suurimmat poikkeukset ovat kuvatiedostojen pyynnöt (jotka on kiinnitetty selaimiin ja ohjelmiin, kuten Google Earth Usein toistuvat kuvat) ja pyynnöt .nc tiedostoja (Koska niitä ei voi luoda lennolla) . ERDDAP™ tallentaa jokaisen tietoaineiston välimuistitiedostot toiseen hakemistoon: isovanhemmat /Cache/ * datasetID * Koska yhdellä välimuistihakemistolla voi olla valtava määrä tiedostoja, jotka voivat olla hitaita. Tiedostot poistetaan kätköstä yhdestä kolmesta syystä:

• Kaikki tiedostot tässä välimuistissa poistetaan, kun ERDDAP™ on aloitettu uudelleen.
• Ajoittain tiedostoja enemmän kuin<CacheMinutes > Vanha (Kuten on määritelty Asennus.xml ) poistetaan. tiedostojen poistaminen iän perusteella (Ei vähiten käytetty) Varmista, että tiedostot eivät pysy kätkössä kovin pitkään. Vaikka pyynnön pitäisi aina palauttaa sama vastaus, se ei pidä paikkaansa. Esimerkiksi a tabledap pyyntö, joka sisältää & Time > jotkut Aika-aika Muuttuu, jos tietoaineistoon saapuu uusia tietoja. pyyntö, joka sisältää \[ Viimeinen viimeinen \] Aikamitta muuttuu, jos tietoaineistoon saapuu uusia tietoja.
• Kuvat, jotka osoittavat virheellisiä olosuhteita, mutta vain muutaman minuutin ajan. (Se on vaikea tilanne) .
• Joka kerta, kun tietoaineisto ladataan uudelleen, kaikki tietoaineiston välimuistin tiedostot poistetaan. Koska pyynnöt voivat olla "last" Verkkotietoaineiston indeksi, välimuistin tiedostot voivat muuttua mitättömiksi, kun tietoaineistoa ladataan uudelleen.  

Tallennettu tietoaineisto

kaikentyyppisille aineistoille, ERDDAP™ kerää paljon tietoa, kun tietoaineisto on ladattu ja pitää sen muistissa. Tämä mahdollistaa ERDDAP™ vastata hyvin nopeasti hakuihin, tietoaineistoluetteloiden pyyntöihin ja tietoaineistoa koskeviin tietopyyntöihin.

Muutamia tiedostoja varten (erityisesti EDDGrid Kopioi, EDDTableCopy EDDGrid From XXXXXX Tiedostot ja EDDTableFrom XXXXXX Tiedostot) , ERDDAP™ tallentaa levylle joitakin tietoja aineistosta, jota käytetään uudelleen, kun aineisto ladataan uudelleen. Tämä nopeuttaa huomattavasti reloading-prosessia.

• Osa tiedostoista on ihmisen luettavaa .json tiedostot ja ne tallennetaan isovanhemmat /Dataase/ *Last2LettersOfDatasetID/ datasetID * .
• ERDDAP™ poistaa nämä tiedostot vain epätavallisissa tilanteissa, esimerkiksi jos lisäät tai poistat muuttujan tietoaineistosta. datasets.xml Chunk.
• Suurin osa muutoksista tietoaineistoon datasets.xml Chunk (muun muassa globaalin attribuutin tai muuttuvan ominaisuuden muuttaminen) Älä vaadi, että poistat nämä tiedostot. Säännöllinen tietojen lataaminen käsittelee tällaisia muutoksia. Voit kertoa ERDDAP™ Reload "ASAP" asettamalla Lippu aineiston osalta.
• Tietotiedostojen lisääminen, poistaminen tai muuttaminen käsitellään myös silloin, kun ERDDAP™ palauttaa tietoaineiston. Mutta kuitenkin ERDDAP™ Huomaat tämän tyyppisen muutoksen pian ja automaattisesti, jos tietoaineistoa käytetään.<Päivitä kaikki ns. (Docs/server-admin/datasets#updateeverynmillis) järjestelmä.
• Näiden tiedostojen poistaminen on harvoin välttämätöntä. Yleisin tilanne, jossa sinun täytyy pakottaa ERDDAP™ poistaa tallennetut tiedot (koska se on vanhentunut/epäkorrekti eikä sitä korjata automaattisesti. ERDDAP ) Kun teet muutoksia tietoaineistoon datasets.xml Chunk, joka vaikuttaa ERDDAP™ tulkitsee tietoja lähdetiedostoissa, esimerkiksi muuttaa aikamuuttujan muotomerkkijonoa.
• poistaa tietoaineiston tallennetut tietotiedostot yhdestä ERDDAP™ Se juoksee (Vaikka aineistoa ei tällä hetkellä ladata) Aseta A kovaa kovaa Lippu tätä dataa varten. Muista, että jos tietoaineisto on koossa suuri määrä tiedostoja, tietojen lataaminen voi kestää huomattavasti aikaa.
• poistaa tietoaineiston tallennetut tietotiedostot, kun ERDDAP™ ei juokse, juokse Dasds Tätä dataa (mikä on helpompaa kuin kuvaus, jossa hakemisto sijaitsee ja poistaa tiedostot käsin) . Muista, että jos tietoaineisto on koossa suuri määrä tiedostoja, tietojen lataaminen voi kestää huomattavasti aikaa.  

Muistitila

ERDDAP™ Älä koskaan kaadu tai jäädytä. Jos näin on, yksi todennäköisimmistä syistä on riittämätön muisti. Voit seurata muistin käyttöä katsomalla status.html-verkkosivua, joka sisältää muun muassa

0 gc-puhelut, 0 pyyntöä ja 0 vaarallista Sähköposteja viimeisimmistä LoadDataseteista

(Nämä ovat vähitellen vakavampia tapahtumia)
MB InUse ja GC Calls sarakkeet tilastotaulukossa. Voit määrittää, miten muistisi stressaa ERDDAP™ Katsomalla näitä numeroita. Korkeammat luvut osoittavat enemmän stressiä.

• MB:n käyttö on aina alle puolet \-XMX-muistiasetukset . Suuremmat numerot ovat huono merkki.
• GC-puhelut kertovat, kuinka monta kertaa ERDDAP™ kutsutaan roskat keräilijä yrittää lievittää korkea muistin käyttöä. Jos tämä on > 100, se on merkki vakavasta ongelmasta.
• jäljennös paljastaa saapuvien pyyntöjen määrän (HTTP-virhe numero 503, Palvelu ei ole käytettävissä) Muistin käyttö oli jo liian korkea. Ihannetapauksessa pyyntöjä ei saa jättää. On ihan ok, jos muutama pyyntö irtoaa, mutta merkki vakavista ongelmista, jos monet menetetään.
• vaarallisia vaarallisia vaarallisia vaarallisia vaarallisia MemoryEmails - Jos muistin käyttö muuttuu vaarallisen korkeaksi ERDDAP™ lähettää sähköpostia sähköpostiosoitteisiin, jotka on lueteltu<Sähköposti kaikki > (Asennus.xml) Aktiivisten käyttäjien pyyntöjen luettelo. Kuten sähköpostissa sanotaan, lähetä nämä sähköpostit Chrisille. Johanneksessa. Gov, jotta voimme käyttää tietoja parantaaksemme tulevia versioita ERDDAP .  

Jos sinun ERDDAP™ Muistinvahvistus:

• Harkitse palvelimen muistin lisäämistä ERDDAP™ Muuttamalla Tomcatia XMX-muistiasetukset .
• Jos olet jo varannut niin paljon muistia kuin voit ERDDAP™ -Xmx, harkitse lisämuistin ostamista palvelimellesi. Muisti on halpa (verrattuna uuden palvelimen tai aikasi hintaan) !! Lisää -XMX
• Sisällä datasets.xml Setti<nGridThreads > 1<ntableThreads > 1, ja aseta<ipAddressMaxRequestsActive > 1.
• Katso pyynnöt log.txt tehoton tai hankala (Laillinen) pyyntöjä. Lisää IP-osoitteet<Pyydä ilmaista » Sisällä datasets.xml . Mustan listan virheilmoitus sisältää ERDDAP™ ylläpitäjän sähköpostiosoite toivoen, että nämä käyttäjät ottavat sinuun yhteyttä, jotta voit työskennellä heidän kanssaan. ERDDAP™ tehokkaammin. On hyvä pitää luettelo IP-osoitteista, jotka olet musta lista ja miksi, jotta voit työskennellä käyttäjien kanssa, jos he ottavat sinuun yhteyttä.
• Katso pyynnöt log.txt haitallisten käyttäjien pyyntöihin. Lisää IP-osoitteet<Pyydä ilmaista » Sisällä datasets.xml . Jos samankaltaiset pyynnöt tulevat useasta samankaltaisesta IP-osoitteesta, voit käyttää joitain palveluja. (esim. https://www.whois.com/whois/ ) selvittää IP-osoitteiden valikoima kyseisestä lähteestä ja mustalle listalle koko alue. Näe [<Pyydä musta lista > dokumentit (Docs/server-admin/datasets#requestblacklist Näytä tarkat tiedot) .  

OutMemory-virhe

Kun olet asentanut ERDDAP™ Määrität muistin enimmäismäärän, joka Java voi käyttää kautta \-XMX-asetukset . Jos ERDDAP™ Koskaan tarvitaan enemmän muistia, se heittää javan. Lang. OutofMemory Virhe. ERDDAP™ tekee paljon tarkastuksia, jotta se pystyy käsittelemään tätä virhettä armollisesti. (Esim. pyyntö epäonnistuu, mutta järjestelmä säilyttää rehellisyytensä.) . Joskus virhe vahingoittaa järjestelmän eheyttä ja sinun on aloitettava uudelleen. ERDDAP . Toivottavasti se on harvinaista.

Helppo ja nopea ratkaisu OutOfMemory-virheeseen on lisätä \-XMX-asetukset , mutta sinun ei pitäisi koskaan lisätä Xmx-asetusta yli 80 % palvelimen fyysisestä muistista. (Esimerkiksi 10GB-palvelimelle älä aseta -Xmx yli 8GB) . Muisti on suhteellisen halpa, joten se voi olla hyvä vaihtoehto lisätä muistia palvelimessa. Mutta jos olet maksimoinut muistin palvelimessa tai muista syistä ei voi lisätä sitä, sinun täytyy käsitellä enemmän suoraan OutOfMemoryError.

Jos katsot sisään log.txt tiedostoja, jotka katsovat mitä ERDDAP™ Kun virhe syntyi, voit yleensä saada hyvän vihjeen OutOfMemoryErrorin syystä. On monia mahdollisia syitä, kuten:

• Yksi suuri tietotiedosto voi aiheuttaa OutOfMemoryError, erityisesti valtava ASCII-tiedostoja. Jos tämä on ongelma, se on selvää, koska ERDDAP™ ei lataa tietoja (Tabular-datavarat) tai lukea tietoja tästä tiedostosta (Verkossa olevat tietoaineistot) . Ratkaisu, jos mahdollista, on jakaa tiedosto useisiin tiedostoihin. Ihannetapauksessa voit jakaa tiedoston loogisiin ketjuihin. Esimerkiksi, jos tiedostossa on 20 kuukauden datan arvo, jaa se 20 tiedostoon, joista jokaisella on 1 kuukauden tiedot. Mutta on olemassa etuja, vaikka päätiedosto on jaettu mielivaltaisesti. Näillä menetelmillä on useita etuja: a) Tämä vähentää muistin tarvetta lukea tiedostoja 1/20, koska vain yksi tiedosto luetaan kerrallaan. b) usein, ERDDAP™ voi käsitellä pyyntöjä paljon nopeammin, koska sen on vain katsottava yhdestä tai muutamasta tiedostosta löytääkseen tiedot tietystä pyynnöstä. c) Jos tietojen kerääminen on käynnissä, olemassa olevat 20 tiedostoa voivat pysyä muuttumattomina, ja sinun on muutettava vain yhtä, pientä ja uutta tiedostoa lisätäksesi seuraavan kuukauden tietojen arvon tietokantaan.
• Yksi suuri pyyntö voi aiheuttaa OutOfMemory-virheen. Erityisesti jotkut orderBy Vaihtoehtoja on koko vastaus muistiin toiselle (Esim. tehdä jonkinlainen) . Jos vastaus on suuri, se voi johtaa virheeseen. Aina löytyy pyyntöjä, jotka ovat monella tapaa liian suuria. Voit ratkaista ongelman lisäämällä -XMX-asetusta. Voit myös kannustaa käyttäjää tekemään pieniä pyyntöjä.
• On epätodennäköistä, että suuri määrä tiedostoja aiheuttaa tiedostoindeksin, että ERDDAP™ Se on niin suuri, että tiedosto aiheuttaa virheen. Jos oletamme, että jokainen tiedosto käyttää 300 tavua, 1 000 000 tiedostoa kestää vain 300 Mt. Tiedot, joissa on valtava määrä tiedostoja, aiheuttavat muita ongelmia ERDDAP Erityisesti se vie kauan aikaa ERDDAP™ avata kaikki nämä tietotiedostot vastatessaan käyttäjän tietopyyntöön. Tässä tapauksessa ratkaisu voi olla tiedostojen yhdistäminen niin, että tiedostoja on vähemmän. Tabulaarisissa tietoaineistoissa on usein hienoa tallentaa tietoja nykyisestä tietoaineistosta. CF Discrete Sampling Geometria (DSG) Ragged Array -tiedostot (Pyydä .nc CF-tiedostoja ERDDAP ) Tee sitten uusi tietokanta. Nämä tiedostot voidaan käsitellä erittäin tehokkaasti ERDDAP > EDDTableFromNcFiles . Jos se on loogisesti järjestetty (Jokaisella on dataa avaruuden ja ajan huipulle) , ERDDAP™ Tiedot voidaan kerätä erittäin nopeasti.
• Tabulaariset aineistot, jotka käyttävät [< subsetVariables > (Docs/server-admin/datasets#subsetvariables Näytä tarkat tiedot) attribuutti, ERDDAP™ muodostaa taulukon, jossa yhdistyvät näiden muuttujien arvot. suuria tietoja tai milloin< subsetVariables > on väärin määritetty, tämä pöytä voi olla riittävän suuri OutOfMemoryErrorsin aiheuttamiseksi. Ratkaisu on poistaa muuttujia luettelosta.< subsetVariables > jolla on suuri määrä arvoja tai muuttujia tarpeen mukaan, kunnes taulukon koko on kohtuullinen. osien ERDDAP™ Tämä käyttää subsetVariables Järjestelmä ei toimi hyvin (Esimerkiksi verkkosivut latautuvat hitaasti) pöydässä on yli 100 000 riviä.
• On aina mahdollista, että useita samanaikaisia pyyntöjä (Todella kiireinen ERDDAP ) Se voi aiheuttaa muistiongelmia. Esimerkiksi 8 pyyntöä, joista jokainen käyttää 1GB: tä, aiheuttaisi ongelmia Xmx=8GB:n asennuksessa. On kuitenkin harvinaista, että jokainen pyyntö on samanaikaisesti käytössään. Sinä näet helposti, että sinun ERDDAP™ Se on todella kiireinen suurien pyyntöjen kanssa. Mutta se on mahdollista. On vaikea ratkaista tätä ongelmaa muuten kuin lisäämällä XMX-asetusta.
• On muitakin skenaarioita. Jos katsoo log.txt tiedostoja, jotka katsovat mitä ERDDAP™ Kun virhe syntyi, saat yleensä hyvän vihjeen syystä. Useimmissa tapauksissa on olemassa keino minimoida ongelma. (ylhäällä) Joskus tarvitset vain enemmän muistia ja korkeamman -Xmx-asetuksen.  

Liikaa avoimia tiedostoja

Aloitetaan ERDDAP™ 2.12, ERDDAP™ avoimien tiedostojen määrän seurantajärjestelmä (joka sisältää sukkia ja muita asioita, ei vain tiedostoja) Tomcatissa Linux-tietokoneissa. Jos jotkut tiedostot virheellisesti eivät koskaan sulje ("resurssivuoto") Avoimien tiedostojen määrä voi kasvaa, kunnes se ylittää käyttöjärjestelmän salliman enimmäismäärän ja lukuisia todella huonoja asioita tapahtuu. Linux-tietokoneissa (Koska tietoja ei ole saatavilla Windowsille) :

• On olemassa "Open Files" -sarake status.html-sivun oikealla puolella, jossa näkyy max-tiedostojen prosenttiosuus. Windowsissa se vain näyttää.”
• Milloin ERDDAP™ tuottaa nämä tiedot jokaisen merkittävän tietoaineiston latauksen lopussa, se tulostaa lokiin. Txt-tiedosto: OpenFileCount = Nykyinen max= maxx % = % % %
• Jos prosenttiosuus on > 50 %, sähköposti lähetetään ERDDAP™ Järjestäjä ja sähköposti Kaikki kaikessa sähköpostiosoitteisiin.

Jos prosenttiosuus on 100%, ERDDAP™ on hirvittävissä vaikeuksissa. Älä anna tämän tapahtua. Jos prosenttiosuus on 75 %, ERDDAP™ on lähellä kauheita ongelmia. Se ei ole ok. Jos prosenttiosuus on > 50 %, on erittäin mahdollista, että piikki aiheuttaa prosenttiosuuden 100: een. Jos prosenttiosuus on > 50 %, kannattaa:

• Lisätään avoimien tiedostojen enimmäismäärää:
  • Tee nämä muutokset joka kerta ennen kuin aloitat Tomcatin (Tomcat startup.sh -tiedostoon.) : Tekijä: Hn 16384 Pääartikkeli: Sn 16384
  • tai pysyvä muutos muokkaamalla (kuin juuret) /etc/security/limits.conf ja linkkien lisääminen: Tomcat soft nofile 16384 Tomcat hard nofile 16384 (käytetty) Nämä komennot olettavat, että Tomcatin käyttäjää kutsutaan Tomcatiksi. Monissa Linux-versioissa palvelimen on aloitettava uudelleen näiden muutosten toteuttamiseksi. Molemmissa vaihtoehdoissa ”16384” on esimerkki. Valitset sen numeron, jonka luulet olevan paras.
• Käynnistä uudelleen ERDDAP . Käyttöjärjestelmä sulkee kaikki avoimet tiedostot.  

Epäonnistuneet pyynnöt

• Epätavallinen toiminta: 25 % hakemuksista epäonnistui
  osana jokaista reloadDatasetia, joka on yleensä 15 minuutin välein, ERDDAP™ tarkastelee pyyntöjen prosenttiosuutta, joka on epäonnistunut viimeisimpien reloadDatasetien jälkeen. Jos > 25 %, ERDDAP™ Lähetä sähköpostia ERDDAP™ Aiheena on ”Unusual Activity: > 25 % pyynnöistä epäonnistui”. Sähköposti sisältää pohjan läheisyydessä olevaa tekstiä ”Requester’s IP Address” (Epäonnistunut) (Edellinen Major LoadDatasets) ". Etsikää sitä. Se kertoo tietokoneiden IP-osoitteen, joka tekee epäonnistuneimmat pyynnöt. Voit sitten etsiä näitä IP-osoitteita \[ isovanhemmat \] /logit / log.txt Katso, millaisia pyyntöjä he tekevät.

Voit käyttää käyttäjän IP-numeroa (esimerkiksi https://whatismyipaddress.com/ip-lookup ) Mieti, kuka tai mikä käyttäjä on. Joskus se kertoo, kuka käyttäjä on. (Esimerkki: Se on hakukoneen verkko-ohjain.) . Suurimman osan ajasta se vain antaa sinulle vihjeen (Esimerkiksi, se on amazonaws tietokone, se on jostain yliopistosta, se on joku tietyssä kaupungissa.) .

Tarkastelemalla todellista pyyntöä, IP-numeroa ja virheilmoitusta (kaikista log.txt ) Joissakin virheissä voit yleensä selvittää, mitä tapahtuu väärin. Kokemuksessani on neljä yleistä syytä epäonnistuneisiin pyyntöihin:

1. Pyynnöt ovat haitallisia (Etsimme esimerkiksi tietoturvan heikkouksia tai teemme pyyntöjä ja peruutamme ne ennen kuin ne on saatettu päätökseen.) . Sinun pitäisi käyttää<Pyydä ilmaista » Sisällä datasets.xml Mustalle listalle nämä IP-osoitteet.

2. Hakukone yrittää naiivisti URL-osoitteita ERDDAP™ ISO 19115 -asiakirjat. On olemassa monia paikkoja, jotka listaavat pohjan. OPeNDAP URL esimerkiksihttps://coastwatch.pfeg.noaa.gov/erddap/griddap/jplMURSSTjohon käyttäjän on tarkoitus lisätä tiedostotyyppi (esim. .das, .dds, .html) . Hakukone ei tiedä tätä. URL-osoitteen pyyntö epäonnistuu. Liittyy tilanteeseen, jossa hakukone tuottaa outoja pyyntöjä tai yrittää täyttää lomakkeita päästäkseen piilotettuihin sivuihin. Hakukoneet tekevät usein huonoa työtä, mikä johtaa epäonnistumisiin. Ratkaisu on: luoda Robotit.txt tiedosto.

Jotkut käyttäjät käyttävät käsikirjoitusta, joka toistuvasti pyytää jotain, joka ei ole siellä. Ehkä se on aineisto, joka on ollut olemassa, mutta nyt se on mennyt. (tilapäisesti tai pysyvästi) . Kirjoitukset eivät useinkaan odota tätä, joten älä käsittele sitä älykkäästi. Käsikirjoitus tekee pyyntöjä ja pyynnöt epäonnistuvat. Jos voit arvata, kuka käyttäjä on (IP-numero yläpuolella) Ota yhteyttä heihin ja kerro heille, että aineistoa ei ole enää saatavilla ja pyydä heitä muuttamaan käsikirjoitustaan.

4. Jotain on tosiaan vialla. yleensä, ERDDAP™ Tämä tekee ongelmallisesta tietoaineistosta inaktiivisen. Joskus se ei ole, joten kaikki pyynnöt aiheuttavat vain virheitä. Jos näin on, korjaa ongelma tietoaineiston tai (Jos et voi) Määritä aineiston Aktiivinen = "väärä" . Tämä voi johtaa ongelmaan #2.

Joskus virheet eivät ole niin pahoja, jos ERDDAP™ voi havaita virheen ja reagoida nopeasti (<= 1 ms. Joten voit päättää olla ryhtymättä mihinkään.

Jos kaikki muu epäonnistuu, on olemassa universaali ratkaisu: lisää käyttäjän IP-numero<Pyydä musta lista » (Docs/server-admin/datasets#requestblacklist Näytä tarkat tiedot) . Se ei ole niin paha tai niin radikaali vaihtoehto kuin miltä se näyttää. Käyttäjä saa virheilmoituksen, jossa sanotaan, että hän on mustalle listalle ja kertoo heille (The ERDDAP™ Hallinnoitsijan) sähköpostiosoite. Joskus käyttäjä ottaa sinuun yhteyttä ja voit ratkaista ongelman. Joskus käyttäjä ei ota sinuun yhteyttä ja näet saman käytöksen tulevan eri IP-numerosta seuraavana päivänä. Mustaa uusi IP-numero ja toivoa, että se lopulta saa viestin. (Tämä on sinun Groundhog-päiväsi, josta et koskaan pääse pakoon. Anteeksi.)

Robotit.txt

Hakukoneyritykset käyttävät verkko-ohjaimia (Esimerkiksi Google Botti) tutkia kaikki sivuston sivut lisätäksesi sisällön hakukoneisiin. For For ERDDAP™ Se on pohjimmiltaan hyvä. ERDDAP™ Sivujen välillä on paljon linkkejä, joten indeksoijat löytävät kaikki verkkosivut ja lisäävät ne hakukoneisiin. Sitten hakukoneiden käyttäjät löytävät tietoaineistoja hakukoneistasi. ERDDAP .

Valitettavasti jotkut web-ryömijät (Esimerkiksi Google Botti) Täytä ja lähetä lomakkeita lisäsisällön löytämiseksi. Verkkokauppasivustoille tämä on hyvä. Mutta tämä on kauheaa ERDDAP™ koska se johtaa vain ääretöntä epätoivottujen ja tarkoituksettomien tietojen määrä. Tämä voi johtaa enemmän tietopyyntöihin kuin kaikki muut käyttäjät yhteensä. Ja se täyttää hakukoneen goofy, merkityksettömiä alijoukkoja todellisia tietoja.

Jos haluat kertoa verkko-ohjaimille, että lopetat lomakkeiden täyttämisen ja et yleensä katso verkkosivuja, joita heidän ei tarvitse katsoa, sinun on luotava tekstitiedosto, jota kutsutaan tekstitiedostoksi. Robotit.txt verkkosivustosi dokumenttihierarkian juurihakemistossa, jotta kuka tahansa voi nähdä sen esimerkiksihttp://*www.your.domain*/robots.txt. Jos luot uusia robotteja. Txt-tiedosto, tämä on hyvä alku:

    User-Agent: \\*
    Disallow: /erddap/files/ 
    Disallow: /files/ 
    Disallow: /images/ 
    Disallow: /\\*?
    Disallow: /\\*?\\*
    Disallow: /\\*.asc\\*
    Disallow: /\\*.csv\\*
    Disallow: /\\*.dods\\*
    Disallow: /\\*.esriAscii\\*
    Disallow: /\\*.esriCsv\\*
    Disallow: /\\*.geoJson\\*
    Disallow: /\\*.htmlTable\\*
    Disallow: /\\*.json\\*
    Disallow: /\\*.mat\\*
    Disallow: /\\*.nc\\*
    Disallow: /\\*.odvTxt\\*
    Disallow: /\\*.tsv\\*
    Disallow: /\\*.xhtml\\*
    Disallow: /\\*.geotif\\*
    Disallow: /\\*.itx\\*
    Disallow: /\\*.kml\\*
    Disallow: /\\*.pdf\\*
    Disallow: /\\*.png\\*
    Disallow: /\\*.large\\*
    Disallow: /\\*.small\\*
    Disallow: /\\*.transparentPng\\*
    Sitemap: http://***your.institutions.url***/erddap/sitemap.xml

(korvaaminen Tekijät.url sinun kanssasi ERDDAP URL-osoite.)
Hakukoneiden huomaaminen voi kestää muutaman päivän ja muutosten voimaantulon.  

Map.xml

Kuten https://www.sitemaps.org WEB sanoo:

Sitemaps are an easy way for webmasters to inform search engines about pages on their sites that are available for crawling. In its simplest form, a Sitemap is an XML file that lists URLs for a site along with additional metadata about each URL (when it was last updated, how often it usually changes, and how important it is, relative to other URLs on the site) so that search engines can more intelligently crawl the site.

Web crawlers usually discover pages from links within the site and from other sites. Sitemaps supplement this data to allow crawlers that support Sitemaps to pick up all URLs in the Sitemap and learn about those URLs using the associated metadata. Using the Sitemap protocol does not guarantee that web pages are included in search engines, but provides hints for web crawlers to do a better job of crawling your site.

Itse asiassa, koska ERDDAP™ on RESTful Hakukonehämähäkit voivat helposti ryöstää ERDDAP . He tekevät sitä useammin (Päivittäin!) Tarvittaessa (kuukausittain?) .

• Koska jokainen hakukone voi ryöstää koko ERDDAP™ Joka päivä tämä voi aiheuttaa paljon tarpeettomia pyyntöjä.
• Niinpä ERDDAP™ Luo sivustokartta.xml-tiedoston ERDDAP™ joka kertoo hakukoneet, että ERDDAP™ Pitää vain ryöstää joka kuukausi.
• Sinun pitäisi lisätä viittaus ERDDAP Sivukartta.xml sinun Robotit.txt tiedosto: Sivustokartta:http://**www.yoursite.org**/erddap/sitemap.xml
• Jos tämä ei näytä saavan viestiä crawlers, voit kertoa eri hakukoneita sivustokartta.xml-tiedostosta käymällä näissä URL-osoitteissa. (Muutos Instituuttisi laitoksen lyhennys tai lyhentäminen ja www.yoursite.org sinun ERDDAP URL) :
  • https://www.bing.com/webmaster/ping.aspx?siteMap=http://**www.yoursite.org**/erddap/sitemap.xml
  • https://www.google.com/ping?sitemap=http://**www.yoursite.org**/erddap/sitemap.xml(IAjattele, että sinun tarvitsee vain käyttää hakukonetta kerran, koko ajan. Hakukoneet havaitsevat sitten muutoksia sivustokarttaan.xml säännöllisesti.  

Tietojen levittäminen / Data Distribution Verkostot: Push ja Pull Teknologiatekniikka

• normaalisti, ERDDAP™ Toimii välittäjänä: se vaatii käyttäjältä pyynnön, saa tietoja etätietolähteestä, uudistaa tietoja ja lähettää sen käyttäjälle.
• Pull Teknologiatekniikka : ERDDAP™ myös kyky saada kaikki saatavilla olevat tiedot aktiivisesti etätietolähteestä ja tallentaa paikallisen kopion tiedoista .
• Push Teknologiatekniikka : Käyttämällä ERDDAP > Tilauspalvelut muut palvelimet voidaan ilmoittaa heti, kun uusia tietoja on saatavilla, jotta ne voivat pyytää tietoja. (vetämällä dataa) .
• ERDDAP > EDDGrid Lähde: Eddap ja EdDTableFromDap käyttää ERDDAP tilauspalvelut ja Lippujärjestelmä ilmoitetaan heti, kun uusia tietoja on saatavilla.
• Voit yhdistää nämä suureksi vaikutukseksi: jos haluat EDDGrid Kopioi ympärillesi EDDGrid Lähde: Erddap (tai kääri EDDTableCopy EDDTableFromErddapin tietoaineiston ympärille) , ERDDAP™ luo ja ylläpitää automaattisesti paikallista kopiota toisesta ERDDAP "Tiedot.
• Koska tilauspalvelut toimivat heti, kun uusia tietoja on saatavilla, työnnystekniikka levittää tietoja nopeasti. (Sekunneissa) .

Tämä arkkitehtuuri asettaa jokaisen ERDDAP™ ylläpitäjä, joka vastaa siitä, missä tiedot hänen ERDDAP™ tulee.

• Muut muut ERDDAP™ Hallitsijat voivat tehdä samoin. Hallintoviranomaisten välillä ei ole tarvetta koordinoida.
• Jos monta ERDDAP™ Järjestäjät linkittävät toistensa ERDDAP Tietojen jakeluverkosto muodostuu.
• Tiedot levitetään nopeasti, tehokkaasti ja automaattisesti tietolähteistä. ( ERDDAP S ja muut palvelimet) Tietojen uudelleenjakelusivustot ( ERDDAP s) missä tahansa verkostossa.
• annettu ERDDAP™ Se voi olla sekä tietolähde joillekin tietoaineistoille että jakelusivusto muille aineistoille.
• Tuloksena oleva verkosto on suunnilleen samanlainen kuin datanjakeluverkot, jotka on perustettu ohjelmilla, kuten Unidata IDM/IDM Vähemmän jäykkä rakenne.  

Turvallisuus, todentaminen ja lupa

oletusarvoisesti, ERDDAP™ Toimi täysin julkisena palvelimena (käyttäen http ja/tai https ) Ilman login ( Todentaminen ) Järjestelmä ja rajoitukset tiedonsaantiin ( Valtuutus ) .

Turvallisuusturvallisuus

Jos haluat rajoittaa pääsyn joihinkin tai kaikkiin tietoaineistoihin, voit käyttää ERDDAP Sisäänrakennettu turvallisuusjärjestelmä. Kun turvajärjestelmä on käytössä:

• ERDDAP™ käyttää Roolipohjainen pääsynvalvonta .
• The ERDDAP™ Järjestäjä määrittelee käyttäjät [<Käyttäjä > (Docs/server-admin/datasets#user Näytä tarkat tiedot) Tag in datasets.xml . Jokaisella käyttäjällä on käyttäjätunnus, salasana (jos todentaminen = tunnistus) Yksi tai useampia rooleja.
• The ERDDAP™ Hallinnoitsija määrittää, mitkä roolit ovat pääsy tiettyyn tietoaineistoon [-]<Käytettävyys > (Docs/server-admin/datasets#accessibleto Näytä tarkat tiedot) Tag in datasets.xml jokaiseen tietoaineistoon, jolla ei ole julkista pääsyä.
• Käyttäjän kirjautumistila (Linkki sisään / ulos) Näytetään jokaisen sivun yläreunassa. (Käyttäjän kirjautuminen näyttää ERDDAP™ olla kirjautumatta sisään, jos hän käyttää http URL.)
• Jos<BaseUrl > että määrität asennus.xml on ** http ** URL, käyttäjät, jotka eivät ole kirjautuneet sisään, voivat käyttää ERDDAP > ** http ** URL-osoitteita. Jos<Spotify on myös määritelty, käyttäjät, jotka eivät ole kirjautuneet sisään, voivat myös käyttää https URL-osoitteita.
• Vain HTTPS - Jos<BaseUrl > että määrität asennus.xml on ** https ** URL-osoitetta, käyttäjiä, jotka eivät ole kirjautuneet sisään, kannustetaan (Ei pakotettu) käyttää ERDDAP > ** https ** URL-osoitteet - kaikki linkit ERDDAP™ Verkkosivuilla viitataan https URL-osoitteita.

Jos haluat käyttää käyttäjiä https URL, lisää redirect pysyvä linja sisällä<VirtualHost \*:80>-osio Apachen konfigurointitiedostossa (Yleensä yleensä http d.conf) esim.

    <VirtualHost \\*:80>
        \\[...\\]
        ServerName example.com
        Redirect permanent / https://example.com/
    </VirtualHost>

Jos haluat, on olemassa lisämenetelmä, joka pakottaa https: HTTP:n tiukka liikenneturvallisuus (HS) . käyttää sitä:

1. Apache Headers -moduuli: A2enmod-otsikot
2. Lisätietoja HTTPS VirtualHost -direktiivistä. Maksimi-ikä mitataan sekunneissa, ja se voidaan asettaa pitkälle arvolle.

        <VirtualHost \\*:443>
            # Guarantee HTTPS for 1 Year including Sub Domains 
            Header always set Strict-Transport-Security "max-age=31536000; includeSubDomains"

Huomaa, että tämä otsikko on voimassa vain HTTPS-virtualHostissa.

Syy olla pakottamatta käyttäjiä käyttämään https URL-osoitteet: taustalla oleva SSL/TLS-linkki vie aikaa luoda ja sen jälkeen vie aikaa salata ja purkaa kaikki käyttäjän ja palvelimen välittämät tiedot. Jotkut instituutiot vaativat https Vain.

• Käyttäjien, jotka ovat kirjautuneet sisään, on käytettävä ERDDAP > ** https ** URL-osoitteita. Jos he käyttävät http URL-osoitteet, ne näyttävät ERDDAP™ olla kirjautumatta sisään. Näin varmistetaan viestinnän yksityisyys ja estetään Istuntokaappaus ja sidejacking .
• Kuka tahansa, joka ei ole kirjautunut sisään, voi käyttää ja käyttää julkisia tietoaineistoja. Oletusarvoisesti yksityiset tietoaineistot eivät näy tietoaineistojen luetteloissa, jos käyttäjä ei ole kirjautunut sisään. Jos järjestelmänvalvoja on asentanut.xml<PrivateDatasets > totta, ne näkyvät. Yritykset pyytää tietoja yksityisiltä tietoaineistoilta (Jos käyttäjä tietää URL-osoitteen) Ne ohjataan uudelleen kirjautumissivulle.
• Kuka tahansa, joka on kirjautunut sisään, voi nähdä ja pyytää tietoja mistä tahansa julkisesta tietoaineistosta ja mistä tahansa yksityisestä tietoaineistosta, johon heidän roolinsa sallii pääsyn. Oletusarvoisesti yksityiset tietoaineistot, joihin käyttäjällä ei ole pääsyä, eivät näy tietoaineistojen luetteloissa. Jos järjestelmänvalvoja on asentanut.xml<PrivateDatasets > totta, ne näkyvät. Yritykset pyytää tietoja yksityisistä tietoaineistoista, joihin käyttäjällä ei ole pääsyä, ohjataan kirjautumissivulle.
• The RSS Täysin yksityisiä tietoaineistoja koskevat tiedot ovat vain käyttäjien saatavilla. (ja RSS Lukijat) jotka ovat kirjautuneet sisään ja valtuuttaneet käyttämään näitä tietoja. Tämä tekee RSS Ei kovin hyödyllistä täysin yksityisille aineistoille.

Jos aineisto on yksityinen, mutta [<grafiikka » (Docs/server-admin/datasets#graphsaccessibleto Näytä tarkat tiedot) Se on tarkoitettu julkiseksi, tietoaineiston RSS on kaikkien saatavilla.

• Sähköpostitilaukset voidaan asettaa vain, kun käyttäjällä on pääsy tietoaineistoon. Jos käyttäjä tilaa yksityisen tietoaineiston, tilaus jatkuu käyttäjän kirjautumisen jälkeen.

Turvallisuuden asettaminen

Turvallisuus-/valtuutusjärjestelmä:

• Tee standardi ERDDAP™ Alkuperäinen asennus .
• Sisällä Asennus.xml ,
  • Lisää / Change the<Todennus > arvoa tyhjästä räätälöityyn (Älä käytä tätä) Sähköposti (Älä käytä tätä) Google (Suositeltu) Orcid (Suositeltu) Oauth2 tai (Google+orcid, suositeltu) . Katso kommentit näistä vaihtoehdoista alla.
  • Lisää / Change the<BaseHttpsUrl > Lisäarvoa
  • Insert / Uncomment &loginInfo; Sisällä<StarBodyHtml > Näyttää käyttäjän kirjautumistiedot / ulos jokaisen sivun yläreunassa.
• testaustarkoituksiin henkilökohtaisella tietokoneella, Seuraa näitä ohjeita määrittää Tomcat tukemaan SSL (perustan https Liitännät) Avainsanat, joissa on Itse allekirjoitettu todistus ja muuttamalla Tom /Conf/server.xml, jotta portin 8443 liitin voidaan poistaa. Windowsissa saatat joutua siirtämään .keystorea C: stä Sinä .keystore: C: Käyttäjät .deystore tai c:.keystore (Katso nähkää Tom Katalina / Katalina Tänään tänään .log jos sovellus ei lataudu tai käyttäjät eivät näe kirjautumista sivulla) . Voit nähdä, milloin .keystore-sertifikaatti päättyy tutkimalla todistuksen kirjautuessa sisään.

Julkisesti saatavilla olevalle palvelimelle, sen sijaan, että käyttäisit itse allekirjoitettua sertifikaattia, on erittäin suositeltavaa, että ostat ja asennat todistuksen, joka on allekirjoitettu. Sertifikaatti koska se antaa asiakkaillesi enemmän varmuutta siitä, että he ovat yhteydessä toisiinsa. ERDDAP™ Ei mikään man-in-the-middle-versio ERDDAP . Monet myyjät myyvät digitaalisia todistuksia. (Etsi web.) Ne eivät ole kalliita.

• Linux-tietokoneissa, jos Tomcat toimii Apachessa, muokkaa http d/conf.d/ssl.conf-tiedosto, jonka avulla HTTPS-liikenne voidaan ERDDAP™ ilman URL-osoitteen :8443 porttinumeroa:
  1. Muokkaa olemassa olevaa<VirtualHost > Tag (Jos on yksi) tai lisätä tiedoston lopussa niin, että sillä on ainakin nämä linkit:

        <VirtualHost \\_default\\_:443>
            SSLEngine on
            SSLProxyEngine On
            ProxyPass /erddap http://localhost:8443/erddap
            ProxyPassReverse /erddap http://localhost:8443/erddap
        </VirtualHost>

2. Käynnistä Apache uudelleen: /usr/sbin/apachectl K Graceful (Joskus se on toisessa hakemistossa.) .

• Sisällä Tom /conf/server.xml, portti = 8443<Linkki > Tag:

    <Connector port="8443" 
        protocol="org.apache.coyote.http11.Http11NioProtocol"
        maxThreads="150" SSLEnabled="true">
        <SSLHostConfig>
        <Certificate certificateKeystoreFile="conf/localhost-rsa.jks" 
            type="RSA" />
        </SSLHostConfig>
    </Connector>

Vaihda sertifikaatin sijainti.

Valtuutus

• Sisällä datasets.xml luodaan [...]<Käyttäjä > (Docs/server-admin/datasets#user Näytä tarkat tiedot) Jokaiselle käyttäjälle käyttäjätunnus, salasana (jos kortti = tulli) ja rooleista tietoa. Tämä on luvan osa ERDDAP turvajärjestelmä.  
• Sisällä datasets.xml Lisätään [<Käytettävyys > (Docs/server-admin/datasets#accessibleto Näytä tarkat tiedot) Kuhunkin tietoaineistoon, jolla ei ole julkista pääsyä.<Käytettävissä oleva To >-toiminto määrittää, mitkä roolit ovat käytettävissä kyseiseen tietoaineistoon.  
• Käynnistä Tomcat uudelleen. Ongelmia? Katso Tomcat-lokit  
• Valitse työsi! Jokainen virhe voi johtaa turvavirheeseen.  
• Tarkista, että sivu käyttää https (Ei ei ei http ) . Yritys kirjautua sisään http tulee automaattisesti ohjata https Satama 8443 (Vaikka satamanumero voidaan piilottaa Apache-välilehden kautta) . Saatat joutua työskentelemään verkon ylläpitäjän kanssa, jotta ulkoiset verkkopyynnöt voivat käyttää porttia 8443 palvelimellasi.  
• Voit muuttaa<Käyttäjä > ja<Etusivu > Tagit milloin tahansa Muutokset tehdään minkä tahansa tietoaineiston tai ASAP:n seuraavassa säännöllisessä uudelleenlatauksessa, jos käytät Lippu .

Todentaminen

**Todentaminen (Kirjautuminen sisään) **
Jos et halua antaa käyttäjien kirjautua sisään, älä määritä arvoa.<Autentikointi > asennus.xml. Jos haluat antaa käyttäjien kirjautua sisään, sinun on määritettävä arvo.<Todennus > Tällä hetkellä, ERDDAP™ Tukea mukautettu (Älä käytä tätä) , Sähköposti (Älä käytä tätä) , Google (Suositeltu) , orcid (Suositeltu) ja Oauth2 (Suositeltu) todentamismenetelmään. Jos haluat kirjautua sisään, suosittelemme vahvasti googlea, orcidia tai oauth2-vaihtoehtoja, koska ne vapauttavat sinut tallentamasta ja käsittelemästä käyttäjän salasanoja. (Tarvitaan tulli) Se on turvallisempi kuin sähköposti. Muista, että käyttäjät käyttävät usein samaa salasanaa eri sivustoilla. Voit käyttää samaa salasanaa ERDDAP™ kuin pankissa. Tämä tekee heidän salasanansa erittäin arvokkaaksi - paljon arvokkaammaksi käyttäjälle kuin vain heidän pyytämänsä tiedot. Sinun on tehtävä niin paljon kuin voit pitää salasanat yksityisinä. Se on suuri vastuu. Sähköposti, google, orcid ja oauth2 vaihtoehdot huolehtivat salasanoista, joten sinun ei tarvitse kerätä, tallentaa tai työskennellä niiden kanssa. Sinä olet vapautettu tästä vastuusta.

Kaikki Kaikki Kaikki Kaikki<Autentikointi > vaihtoehdot käyttävät Cookie käyttäjän tietokoneella, joten käyttäjän selain on määritettävä evästeiden sallimiseksi. Jos käyttäjä tekee ERDDAP™ Tietokoneohjelman pyynnöt (Ei selainta) Evästeitä ja todennusta on vaikea tehdä. Tämä on yleinen ongelma kaikkien todentamisjärjestelmien kanssa. Anteeksi.

yksityiskohdat<Todentaminen > Vaihtoehtoja ovat:

Tulli

Tapa on ERDDAP mukautettu järjestelmä, jonka avulla käyttäjät voivat kirjautua sisään syöttämällä käyttäjänimensä ja salasanansa verkkosivustolla olevassa muodossa. Jos käyttäjä yrittää ja ei kirjaudu sisään 3 kertaa 10 minuutissa, käyttäjä ei pääse kirjautumaan sisään 10 minuutissa. Tämä estää hakkereita kokeilemasta miljoonia salasanoja, kunnes he löytävät oikean.

Tämä on hieman turvallista, koska käyttäjän nimi ja salasana välitetään kautta. https (Ei ei ei http ) , mutta todentaminen = google, orcid tai uauth2 ovat parempia, koska ne vapauttavat sinua käsittelemään salasanoja. Mukautettu lähestymistapa edellyttää, että keräät käyttäjän nimen ja hash sulattaa heidän salasanansa. (Käytä puhelintasi! Sähköposti ei ole turvallinen!) ja varastoi ne datasets.xml [ ]<Käyttäjä > (Docs/server-admin/datasets#user Näytä tarkat tiedot) Tagit.

Mukautetun vaihtoehdon avulla kukaan ei voi kirjautua sisään ennen kuin (The ERDDAP™ Hallinnollinen) luodaan<käyttäjän > tunniste käyttäjälle, käyttäjän nimen määrittäminen käyttäjänimeksi, salasanan hash sulaminen salasanaksi ja sen roolit.

Ei suositella Käyttäjän salasanan hash-lihan tuottamisen ja välittämisen hämäryyden ja siihen liittyvien riskien vuoksi ERDDAP™ salasanojen hash-digests, tätä vaihtoehtoa ei suositella.

Tämän vaihtoehdon turvallisuuden lisäämiseksi:

• Varmista, että muut käyttäjät palvelimella (Linux-käyttäjät, ei ERDDAP™ Käyttäjät) Et voi lukea tiedostoja Tomcat-hakemistossa (Erityisesti datasets.xml Tiedosto!) tai tai ERDDAP "Isovanhemmuus" Linux, kuten käyttäjä=tomcat, käytä: Pääartikkeli: R G-rwx isovanhemmat
  Pääartikkeli: R O-rwx isovanhemmat
  Pääartikkeli: R G-rwx Tomcat
  Pääartikkeli: R O-rwx Tomcat
   
• UEPSHA256:n käyttö<PasswordEncoding > in setup.xml  
• Käytä as-secure-as-possible -menetelmää, jolla käyttäjän salasanan hash-digest siirretään käyttäjältä käyttäjälle. ERDDAP™ Hallinnollinen (Puhelin?) .  

Sähköposti

Sähköpostin todentaminen käyttää käyttäjän sähköpostitiliä käyttäjän tunnistamiseen. (lähettämällä heille sähköpostin, jossa on erityinen linkki, johon he voivat kirjautua sisään.) . Toisin kuin muut sähköpostit, jotka ERDDAP™ lähettää, ERDDAP™ ei kirjoita näitä kutsuviestejä sähköpostilokitiedostoon, koska ne sisältävät luottamuksellisia tietoja. Teoriassa tämä ei ole kovin turvallista, koska sähköpostit eivät ole aina salattuja, joten huono tyyppi, jolla on kyky estää sähköpostiviestejä, voi väärinkäyttää tätä järjestelmää käyttämällä voimassa olevaa käyttäjän sähköpostiosoitetta ja pysäyttämällä kutsuviestin. Käytännössä, jos perustat ERDDAP™ käyttää Google-sähköpostitiliä sähköpostiviestien lähettämiseen, ja jos olet määrittänyt sen jonkin yhteyden TLS-asetuksen käyttämiseen, ja jos käyttäjällä on Google-sähköpostitili, tämä on jonkin verran turvallista, koska sähköpostit salataan koko matkan ajan. ERDDAP™ käyttäjälle.

Tämän vaihtoehdon turvallisuuden lisäämiseksi:

• Varmista, että muut palvelimen käyttäjät (Linux-käyttäjät, ei ERDDAP™ Käyttäjät) Et voi lukea tiedostoja Tomcat-hakemistossa tai ERDDAP "Isovanhemmuus" Linux, kuten käyttäjä=tomcat, käytä: Pääartikkeli: R G-rwx isovanhemmat
  Pääartikkeli: R O-rwx isovanhemmat
  Pääartikkeli: R G-rwx Tomcat
  Pääartikkeli: R O-rwx Tomcat
   
• Aseta asioita, jotta saat tietoturvan sähköposteille, jotka lähetetään ERDDAP™ käyttäjille. Voit esimerkiksi luoda Google-keskeisen järjestelmän vain luomalla<käyttäjä > tunnisteet Googlen hallinnoimille sähköpostiosoitteille ja asettamalla ERDDAP™ käyttää Googlen sähköpostipalvelinta turvallisen/TLS-yhteyden kautta: asennuksessa.xml, käytä esim.

    <emailSmtpHost>smtp.gmail.com</emailSmtpHost>  
    <emailSmtpPort>587</emailSmtpPort>  
    <emailProperties>mail.smtp.starttls.enable|true</emailProperties>

Ei suositella Sähköpostin todentamista ei suositella. Käytä Google-, Orcid- tai Oauth2-vaihtoehtoa.

Kuten Google, Orcid ja Oauth2 vaihtoehtoja, sähköposti on erittäin kätevä. ERDDAP™ Hallinnoijat - sinun ei koskaan tarvitse käsitellä salasanoja tai niiden hajautuksia. Kaikki mitä sinun tarvitsee tehdä, on [...]<Käyttäjä > (Docs/server-admin/datasets#user Näytä tarkat tiedot) Käyttäjä in datasets.xml käyttäjän sähköpostiosoite, joka ERDDAP™ Käytetään käyttäjän nimenä. (Password attribuuttia ei käytetä, kun todentaminen = sähköposti, Google, orcid tai valauth2.)

Sähköpostin avulla vain käyttäjät, joilla on<Käyttäjä > Tag in datasets.xml voi yrittää kirjautua sisään ERDDAP™ antamalla sähköpostiosoitteensa ja klikkaamalla sähköpostin linkkiä, joka ERDDAP™ lähettää niitä.

ERDDAP™ Sähköpostiosoitteita käsitellään tapausherkkinä. Se tekee tämän muuntamalla sähköpostiosoitteita, jotka syötät (in)<käyttäjät > tunnisteet) tai käyttäjät (login muodossa) kaikkiin alempaan versioon.

Todentaminen = sähköposti:

1. Asetuksessa.xml, vaihda<BaseHttpsUrl > Tagin arvo. Jos haluat kokeilla / työskennellä henkilökohtaisella tietokoneellasi, käytä https://localhost:8443
   yleisöllesi ERDDAP™ käyttää https://your.domain.org:8443
   :8443 jos käytät Apachea Proxypass niin, ettei sataman numeroa tarvita.  
2. Asetuksessa.xml, vaihda<Todentaminen > Sähköpostin arvo:

    <authentication>email</authentication>  

3. Varmista, että asennuksessa.xml, varmista, että sähköpostijärjestelmä on perustettu kaikkien<Sähköpostit, niin että ERDDAP™ voi lähettää sähköpostia. Jos mahdollista, aseta se turvallisen yhteyden käyttöön. (SSL / TLS) sähköpostipalvelimeen.  
4. Sisälläsi datasets.xml Luo [<Käyttäjä > (Docs/server-admin/datasets#user Näytä tarkat tiedot) jokaiselle käyttäjälle, jolla on pääsy yksityisiin tietoihin. Käytä käyttäjän sähköpostiosoitetta tunnisteen käyttäjätunnuksena. Älä määritä salasanan ominaisuutta käyttäjätunnuksessa.  
5. Käynnistä uudelleen ERDDAP™ Muutokset asetukseen.xml ja datasets.xml vaikutusta.  

Google, Orcid, Oauth2 (käytetty)

• Google , orcid ja Oauth2   (Suositeltu)
  Kaikki kolme vaihtoehtoa ovat suositeltuja ERDDAP™ Todentamisvaihtoehdot. Kaikki ovat turvallisimpia vaihtoehtoja. Muut vaihtoehdot ovat huomattavasti heikompia.  

Google Google Google Google

• Googlen todentaminen käyttää Merkki Googlen kanssa joka on täytäntöönpanon OAuth 2.0 Todentaminen . ERDDAP™ käyttäjät kirjautuvat Googlen sähköpostitiliin, mukaan lukien Googlen hallinnoimat tilit, kuten @noaa.gov Tilejä. Tämä mahdollistaa ERDDAP™ Käyttäjän henkilöllisyyden tarkistaminen (Nimi ja sähköpostiosoite) käyttää profiilikuvaansa, mutta ei anna ERDDAP™ pääsy heidän sähköposteihinsa, Google Driveen tai muihin yksityisiin tietoihin.

For For ERDDAP™ 2,22 ja alapuolella, ERDDAP™ Google Sign-In. Googlen mukaan järjestelmä poistetaan 31.3.2023 jälkeen. Jos et ole tehnyt niin, vaihda ERDDAP™ V2.23+ käyttää uutta "Sign In with Google" -järjestelmää.

For For ERDDAP™ V2.23 tapauksia, joissa on sisältö- ja turvallisuuskäytäntö, joka on määritetty ja jota käytetään Google Authenticationissa, on lisättävähttps://accounts.google.comLuettelo sallitusta käsikirjoituksesta (Käsikirjoitus: Src-elem) . ERDDAP™ Ei enää käytähttps://apis.google.comJos se on sallittua, voit poistaa sen nyt.

For For ERDDAP™ V2.24+ Voit myös lisätähttps://accounts.google.com/gsi/stylestlye-src jahttps://accounts.google.com/gsi/Yhteys src. Käsikirjoitusta varten voit käyttäähttps://accounts.google.com/gsi/client.

Lisätietoja voit mennä Google-sivut CSP:n kokoonpano. Jos sinulla on kysyttävää, ota yhteyttä chris.john at noaa.gov.  

Orcid

• Orcid Authentication -vaihtoehto käyttää Orcid todentaminen joka on täytäntöönpanon OAuth 2.0 Todentaminen . ERDDAP™ käyttäjät kirjautuvat sisään Orcid tili jota tutkijat yleensä käyttävät tunnistaakseen itsensä. Tämä mahdollistaa ERDDAP™ tarkistaa käyttäjän Orcid-identiteetti ja saada Orcid-tilin numero, mutta ei anna ERDDAP™ pääsy muihin Orcid-tilin tietoihin.

Oauth2

• Oauth2-vaihtoehdon avulla käyttäjät voivat kirjautua sisään joko Google-tilillä tai Orcid-tilillä.

Google, orcid ja oauth2 vaihtoehdot ovat avattavan vaihtoehdon seuraajia, jotka lopetettiin sen jälkeen. ERDDAP™ 1.68, joka perustuu avoimeen versioon ID on nyt vanhentunut. Vaihda Google, Orcid tai Oauth2 -vaihtoehtoon.

Nämä vaihtoehdot ovat erittäin käteviä ERDDAP™ Hallinnoijat - sinun ei koskaan tarvitse käsitellä salasanoja tai niiden hajautuksia. Kaikki mitä sinun tarvitsee tehdä, on [...]<Käyttäjä > (Docs/server-admin/datasets#user Näytä tarkat tiedot) Käyttäjä in datasets.xml joka määrittää käyttäjän Google-sähköpostiosoitteen tai Orcid-tilin numeron käyttäjätunnuksena. (Password attribuuttia ei käytetä, kun todentaminen = sähköposti, Google, orcid tai uauth2.)

Näillä vaihtoehdoilla kuka tahansa voi kirjautua sisään ERDDAP™ kirjautumalla Googlen sähköpostitilille tai Orcid-tilille, mutta kenelläkään ei ole oikeutta käyttää yksityisiä tietoaineistoja, kunnes olet (The ERDDAP™ Hallinnollinen) luodaan<käyttäjä> tunniste, joka määrittää Googlen sähköpostiosoitteen tai Orcid-tilin numeron käyttäjänimeksi ja määrittää niiden roolit.

ERDDAP™ Sähköpostiosoitteita käsitellään tapausherkkinä. Se tekee tämän muuntamalla sähköpostiosoitteita, jotka syötät (in)<käyttäjät > tunnisteet) tai käyttäjät (login muodossa) kaikkiin alempaan versioon.

Googlen, orcidin tai oauth2-todennus:

• Asetuksessa.xml, vaihda<BaseHttpsUrl > Tagin arvo. Jos haluat kokeilla / työskennellä henkilökohtaisella tietokoneellasi, käytä https://localhost:8443
  yleisöllesi ERDDAP™ käyttää https://your.domain.org:8443
  :8443 Jos käytät Apachea Proxypass niin, ettei sataman numeroa tarvita.  
• Asetuksessa.xml, vaihda<Todentaminen > Googlen, orcidin tai valauth2:n arvo, esimerkiksi:

    <authentication>oauth2</authentication>  

Googlen asennus

• Google- ja oauth2-vaihtoehdot: Seuraa alla olevia ohjeita, jotta voit määrittää Googlen todennuksen ERDDAP .  
  1. Jos sinulla ei ole Googlen sähköpostitiliä, luoda yksi
      
  2. Seuraa Nämä ohjeet Luo Google Developers Console -projekti ja hanki asiakastunnus.

Kun Google-lomake vaatii lupaa Java Kirjan alkuperä, merkitse arvoa<BaseHttpsUrl > henkilökohtaisen tietokoneen ERDDAP™ asennus.xml, esim. https://localhost:8443
Toisella rivillä, lisää<SpotHtpsUrl > yleisöstäsi ERDDAP™ asennus.xml, esim. https://your.domain.org:8443

Älä määritä valtuutettuja uudelleenohjaus URI-osoitteita.

Kun näet asiakastunnuksesi tästä projektista, kopioi ja liitä se asetukseen.xml (yleensä alle)<Todentaminen > olla järjestyksessä, mutta sijoittelulla ei oikeastaan ole väliä<GoogleClientID > Tag, esim. <GoogleClientID Asiakkaasi <GoogleClientID > Asiakastunnus on noin 75 merkkijonoa, todennäköisesti alkaa useista numeroista ja päättyy .apps.googleusercontent.com.  

3. Sisälläsi datasets.xml luodaan [<Käyttäjä > (Docs/server-admin/datasets#user Näytä tarkat tiedot) jokaiselle käyttäjälle, jolla on pääsy yksityisiin tietoihin. Käyttäjänimelle ominaisuus tunnisteessa:

   • Käyttäjille, jotka kirjautuvat Googleen, käytä käyttäjän Google-sähköpostiosoitetta.
   • Käyttäjille, jotka kirjautuvat sisään Orcid-tilin numerolla (Dashesin kanssa) .

Älä määritä salasanan ominaisuutta käyttäjätunnukselle.   4. Käynnistä uudelleen ERDDAP™ Muutokset asetukseen.xml ja datasets.xml vaikutusta.  

Orcid setup

• Orcid- ja oauth2-vaihtoehdot: Seuraa alla olevia ohjeita Orcid-todennuksen luomiseksi ERDDAP . (yksityiskohtiin, katso Orcidin API-dokumentaatio .)
   
  1. Jos sinulla ei ole Orcid-tiliä, luoda yksi
      
  2. Kirjautuminen Orcidiin https://orcid.org/signin Käytä henkilökohtaista Orcid-tiliäsi.  
  3. Klikkaa "kehittäjätyökalut" ("Tutkijoille" huipputasolla) .  
  4. Klikkaa "Register for the Free ORCID public API". Kirjoita nämä tiedot: Nimi: ERDDAP™ at at \[ organisaatiosi \]
     WEB: \[ sinun ERDDAP Domain \]
     Kuvaus: ERDDAP™ Se on tieteellinen palvelin. Käyttäjien on todennettava Google tai Orcid, jotta he voivat käyttää ei-julkisia tietoja. Uudelleenohjaus URI: \[ sinun ERDDAP Domain \] Erddap/loginOrcid.html  
  5. Klikkaa Tallenna Icon (Se on kuin 3,5" levy!) . Voit sitten nähdä ORCID APP Client ID ja ORCID Client Secret.  
  6. Kopioi ja liitä ORCID APP Client ID (joka alkaa "APP") asennus.xml sisään<OrcidClientID > Tag, esim.

        <orcidClientID>APP-*ALPHANUMERICCHARACTERS*</orcidClientID>

7. Kopioi ja liitä ORCID Client Secret (alfa-numeeriset hahmot, joilla on kosteus) asennus.xml sisään<OrcidClientSecret > tag, esim.

        <orcidClientSecret>*alpha-numeric-characters-with-dashes*</orcidClientSecret>

8. Sisälläsi datasets.xml luodaan [<Käyttäjä > (Docs/server-admin/datasets#user Näytä tarkat tiedot) jokaiselle käyttäjälle, jolla on pääsy yksityisiin tietoihin. Käyttäjänimelle ominaisuus tunnisteessa:

   • Käyttäjille, jotka kirjautuvat Googleen, käytä käyttäjän Google-sähköpostiosoitetta.
   • Käyttäjille, jotka kirjautuvat sisään Orcid-tilin numerolla (Dashesin kanssa) .

Älä määritä salasanan ominaisuutta käyttäjätunnukselle.   9. Käynnistä uudelleen ERDDAP™ Muutokset asetukseen.xml ja datasets.xml vaikutusta.  

Kirjautuminen kummallakin tavalla

Jos käytät Google-, Orcid- tai Oauth2-autentikointivaihtoehtoja ja Google Sign-In tai Orcid’s Authentication API lakkaa toimimasta. (Mistä tahansa syystä) lakkaa toimimasta niin kuin ERDDAP™ Käyttäjät eivät voi kirjautua sisään ERDDAP . Väliaikainen (pysyvä tai) Voit pyytää käyttäjiä rekisteröitymään toiseen järjestelmään (saat Googlen sähköpostitilin tai saat Orcid-tilin) . Tehdä tämä:

1. Muuttaa<Autentikointi -tunniste, jotta se mahdollistaa toisen todentamisjärjestelmän. Oauth2-vaihtoehdon avulla käyttäjät voivat kirjautua sisään kummallakin järjestelmällä.
2. kaksinkertaistaa jokaisen<käyttäjä> tunnisteet ja käyttäjätunnuksen muuttaminen Googlen sähköpostiosoitteesta vastaavaan Orcid-tilin numeroon (tai päinvastoin) Pidä roolit samana.

Avoinna

ERDDAP™ ei enää tue avoimen tunnistamisen vaihtoehtoa, joka perustui avoimeen versioon. ID on nyt vanhentunut. Käytä Google-, Orcid- tai Oauth2-vaihtoehtoja.

BASIC

ERDDAP™ ei tue BASIC-todennusta, koska:

• BASIC näyttää olevan suunnattu ennalta määritellyille verkkosivuille, jotka tarvitsevat turvallisen pääsyn tai peittämän pääsyn koko sivustoon. ERDDAP™ sallii (rajoitettu pääsy) Lisätietoja on-the-fly.
• BASIC-todentaminen ei tarjoa käyttäjille tapaa kirjautua ulos!
• BASIC-autentikointi ei ole turvallista.

Turvallisia tietolähteitä

Jos tietokanta on rajoittanut pääsyä ERDDAP™ Käyttäjät, tietolähde (mistä ERDDAP™ Saada dataa) Ei saa olla julkisesti saatavilla. Miten voi ERDDAP™ Saat tiedot rajoitetuista tietoaineistoista? Muutamia vaihtoehtoja ovat:

• ERDDAP™ voi palvella tietoja paikallisista tiedostoista (Esimerkkinä EDDTable Filejä tai EDDGrid Filejä) .  
• ERDDAP™ voi olla a DMZ ja tietolähde (Esimerkki: A OPeNDAP palvelin tai tietokanta) voi olla yhden takana Palomuuri missä se on käytettävissä ERDDAP™ Mutta ei yleisölle.  
• Tietolähde voi olla julkisella verkkosivustolla, mutta vaatii kirjautumisen tietojen saamiseksi. Kahden tyyppisiä tietoja, jotka ERDDAP™ voi kirjautua sisäänpääsyyn EDDTableFromDatabase ja EDDTableFromCassandra . Nämä tiedot tukevat (Ja aina pitäisi käyttää) Käyttäjänimet (luodaan ERDDAP™ käyttäjä, jolla on vain luku-oikeudet) salasanat, SSL-yhteydet ja muut turvatoimet.

yleisesti, tällä hetkellä, ERDDAP™ ei voi käsitellä näitä tietolähteitä, koska sillä ei ole määräyksiä kirjautumisesta tietolähteeseen. Tämä on syy, miksi pääsy EDDGrid FromErddap ja EDDTable Lähde: Erddap Tietoja ei voi rajoittaa. Tällä hetkellä paikallinen ERDDAP™ Ei ole mitään tapaa kirjautua sisään ja käyttää metatietoja kauko-ohjaimesta ERDDAP . "Etäisyys" ERDDAP™ palomuurin takana ja poistaa tietoaineiston saatavuus Rajoitukset eivät ratkaise ongelmaa: koska käyttäjä pyytää EDDXX:ää FromErddap-tiedot on ohjattava kauko-ohjaukseen ERDDAP™ Etäinen ERDDAP™ on oltava saavutettavissa.

Puolustus hakkereita vastaan

On pahoja hakkereita, jotka yrittävät hyödyntää tietoturvan heikkouksia palvelinohjelmistossa, kuten ERDDAP . ERDDAP™ noudattaa yhteistä turvallisuusneuvontaa, jolla on useita puolustuskertoja:

• Rajoitetut oikeudet - Yksi tärkeimmistä puolustuksista on ajaa Tomcatia käyttäen tomcatia, jolla ei ole salasanaa. (Kukaan ei voi kirjautua sisään, koska käyttäjä) rajoitettu tiedostojärjestelmän etuoikeus (Esimerkiksi vain luettu pääsy tietoihin) . Näytä ERDDAP Ohjeita Tomcatin perustaminen .
• raskas käyttö - yleisesti, ERDDAP™ Se on rakennettu raskaaseen käyttöön, mukaan lukien käsikirjoitukset, jotka tekevät kymmeniä tuhansia pyyntöjä. Se on vaikeaa ERDDAP™ avata itsensä samanaikaisesti raskaaseen lailliseen käyttöön ja suojautua pahoinpitelyltä. Joskus on vaikea erottaa laillista käyttöä, liiallista laillista käyttöä ja laitonta käyttöä. (Joskus se on todella helppoa) . Muiden puolustusten lisäksi, ERDDAP™ tietoisesti ei salli yksittäisen pyynnön käyttää kohtuutonta murto-osaa järjestelmän resursseista (Jos järjestelmä ei muuten toimi) .
• Tunnista ongelmalliset käyttäjät - jos ERDDAP™ hidastuu tai jäätyy (Ehkä siksi, että naiivi tai botti käyttää useita skriptejä lähettääkseen useita pyyntöjä samanaikaisesti tai ehkä huonon kaverin takia. Palvelun kieltäminen Hyökkäys) Voit katsoa Päivittäinen sähköposti (Useammin samat tiedot ERDDAP™ Lokitiedosto ) jotka osoittavat aktiivisimpien käyttäjien pyyntöjen määrän (Katso "Requesterin IP-osoite" (Sallittu) """) . ERDDAP™ Lähetä sähköpostia myös ylläpitäjälle aina, kun "Unusi toiminta: 25 % pyynnöistä epäonnistui" . Sen jälkeen voit katsoa ERDDAP™ Kirjaudu tiedostoon nähdäksesi pyyntöjen luonteen. Jos sinusta tuntuu, että joku tekee liikaa pyyntöjä, outoja pyyntöjä. (Et usko mitä olen nähnyt, ehkä) tai hyökkäystyyppiset pyynnöt, voit lisätä IP-osoitteen mustalle listalle.
• Musta lista - Voit lisätä IP-osoitteen hankalilta käyttäjiltä, boteilta ja Palvelun kieltäminen hyökkääjät ERDDAP Blacklist jotta heiltä tulevat pyynnöt hylätään välittömästi. Tämä asetus on datasets.xml jotta voit nopeasti lisätä IP-osoitteen luetteloon ja sitten Lippu aineistoa niin, että ERDDAP™ Huomioi välittömästi ja toteuta muutos. Blacklisted-käyttäjille lähetetty virheilmoitus rohkaisee heitä ottamaan yhteyttä ERDDAP™ Hallinnoitsija, jos hän kokee olevansa väärässä mustassa listassa. (Kokemuksessamme useat käyttäjät eivät ole tienneet, että he käyttivät useita käsikirjoituksia samanaikaisesti tai että heidän käsikirjoituksensa tekivät hölynpölypyyntöjä.)
• Dataset Security - Jotkin tietoaineistot (EDDTableFromDatabase) Lisää turvallisuusriskejä (esimerkiksi SQL-injektio) Hänellä on omat turvatoimet. Katso tällaisten tietoaineistojen tiedot Työskentelyä yhdessä datasets.xml Tiedosto erityisesti EDDTableFromDatabase -turvallisuus .
• Turvatarkastus - Vaikka vaikka NOAA Turvallisuus kieltäytyi skannauksistamme vuosia, ne skannatsivat rutiininomaisesti (Bobin) ERDDAP™ asennus. Vaikka alkuperäiset skannaukset löysivät joitakin ongelmia, jotka sitten korjasin, myöhemmät skannaukset eivät ole löytäneet ongelmia ERDDAP . Skannaukset ovat huolestuneita monista asioista, erityisesti siitä, että tabledap pyynnöt näyttävät SQL-pyynnöiltä, ne ovat huolissaan SQL-injektiohaavoittuvuuksista. Nämä asiat ovat perusteettomia, koska ERDDAP™ Aina parses ja validoi kyselyt ja sitten erikseen rakentaa SQL-kysely tavalla, joka estää injektiohaavoittuvuuksia. Toinen asia, josta joskus valitetaan, on se, että Java Tomcat-versiot eivät ole niin ajan tasalla kuin haluavat, joten päivitämme ne vastauksena. Olen aiemmin tarjoutunut näyttämään ihmisille tietoturvaraportteja, mutta nyt minulle kerrotaan, etten pysty siihen.

Kysymyksiä? Ehdotuksia?

Jos sinulla on kysyttävää ERDDAP "Turvallisuusjärjestelmä tai sinulla on kysymyksiä, epäilyksiä, huolenaiheita tai ehdotuksia siitä, miten se on perustettu, katso meidän Lisätuen saaminen .

Asioita, joita sinun ei tarvitse tietää

Nämä ovat yksityiskohtia, joita sinun ei tarvitse tietää ennen kuin tarve syntyy.

Toinen toinen ERDDAP™

• Aseta toinen ERDDAP™ Testaus/kehitys
  Jos haluat tehdä tämän, on olemassa kaksi lähestymistapaa:
• (Paras paras paras paras) Asenna Tomcat ja ERDDAP™ tietokoneella, jolla on yleisö ERDDAP . Jos käytät tietokonettasi:

1. Tee asennus yksi askel kerrallaan. Ota Tomcat ylös ja juokse ensin. Kun Tomcat juoksee, Tomcat-johtajan tulee olla paikalla. http://127.0.0.1:8080/manager/html/ (Tai ehkä http://localhost:8080/manager/html/ )
2. Asentaminen ERDDAP .
3. Älä käytä ProxyPassia poistaaksesi satamanumeron ERDDAP™ URL.
4. Sisällä Asennus.xml Lataa BaseUrlhttp://127.0.0.1:8080
5. Kun aloitat tämän ERDDAP™ Sinun pitäisi pystyä näkemään se http://127.0.0.1:8080/erddap/status.html (Tai ehkä http://localhost:8080/erddap/status.html )

Toinen Tomcat

• (Toiseksi paras) Asenna toinen Tomcat samalle tietokoneelle kuin yleisöllesi ERDDAP .

1. Tee asennus yksi askel kerrallaan. Ota Tomcat ylös ja juokse ensin. Vaihda kaikki toiseen Tomcatiin liittyvät satamanumerot (Muutos 8080-8081) (Katsokaa Monipuolinen Tomcat Asennukset osasto puolivälissä tämän asiakirjan) .
2. Asentaminen ERDDAP™ uudessa Tomcatissa.
3. Älä käytä ProxyPassia poistaaksesi satamanumeron ERDDAP™ URL.
4. Sisällä Asennus.xml Lataa BaseUrlhttp://www.yourDomainName:8081
5. Kun aloitat tämän ERDDAP™ Sinun pitäisi pystyä näkemään se http://www.*yourDomainName*:8081/erddap/status.html
    

Solid State Drives

• Solid State Drives (SSD) Ne ovat hienoja!
  Nopein, helpoin ja halvin tapa nopeuttaa ERDDAP "Tabular-tietojen käyttö on tietotiedostojen laittaminen Solid State Driveen" (SSD) . Useimmat tabulaariset tietoaineistot ovat suhteellisen pieniä, joten 1 tai 2 TB SSD on todennäköisesti riittävä pitämään kaikki tietotiedostot kaikkien tabulaaritietojen. SSD:n käyttö loppujen lopuksi kuluu, jos kirjoitat tietoja soluun, poistat sen ja kirjoitat uusia tietoja soluun liian monta kertaa. Joten jos käytät SSD-tiedostoa vain kerran ja luet sen useita kertoja, jopa kuluttaja-arvoisen SSD-levyn pitäisi kestää hyvin kauan, todennäköisesti paljon pidempään kuin minkään Hard Disk Driven. (HDD) . Kuluttajan SSD on nyt halpa (Vuonna 2018 ~ 200 1 TB tai ~ 400 2 TB) Hinnat laskevat edelleen nopeasti. Milloin ERDDAP™ pääsy tietotiedostoon, SSD tarjoaa sekä lyhyemmän latenssin (~0,1ms, versus ~3ms HDD, vs. ~10 (??) ms for a RAID, versus ~55ms for Amazon S3) korkeampi läpimeno (~500 MB/S, versus ~75 MB / s HDD, versus ~500 MB / s RAID) . Näin saat suuren suorituskyvyn (10x vs. HDD) 200€! Verrattuna muihin mahdollisiin muutoksiin järjestelmässäsi (Uusi palvelin 10 000 eurolla? Uusi RAID 35 000 eurolla? Uusi verkko vaihtuu 5000 euroon? jne.) Tämä on ehdottomasti paras palautus sijoituksille. (ROI) . Jos/kun SSD kuolee (1, 2, 8 vuotta) korvaa se. Älä luota siihen pitkällä aikavälillä, tietojen arkistointi, vain etupään kopio tietojen. \[ SSD olisi hyvä myös verkkotietojen, mutta useimmat verkottunut tietoaineistot ovat paljon suurempia, mikä tekee SSD erittäin kallista. \]

Jos palvelintasi ei ladata muistilla, palvelimesi lisämuisti on myös erinomainen ja suhteellisen edullinen tapa nopeuttaa kaikkia näkökohtia. ERDDAP .  

Raskaita paikkoja / Constraints **

Raskaalla käytöllä, standalone ERDDAP™ Voidaan rajoittaa useisiin ongelmiin. Lisätietoja, katso Lista rajoituksista ja ratkaisuista .  

Grids, Clusters ja Federations

Erittäin raskaassa käytössä yksi erillinen ERDDAP™ Yhdessä tai useammassa rajoituksessa ehdotetut ratkaisut eivät riitä. tällaisissa tilanteissa, ERDDAP™ on ominaisuuksia, jotka helpottavat skaalautuvien verkkojen rakentamista (Kutsutaan myös klustereita tai federaatioita) josta ERDDAP jotka mahdollistavat järjestelmän erittäin raskaan käytön (esimerkiksi suurelle datakeskukselle) . Lisätietoja, katso verkot, klusterit ja liitot ERDDAP s .  

Pilvitietokone

Monet yritykset alkavat tarjota pilvipalvelut (esim. Amazonin verkkopalvelut ) . Web hosting yritykset 1990-luvun puolivälistä lähtien on tarjottu yksinkertaisempia palveluja, mutta pilvipalvelut ovat laajentaneet huomattavasti tarjottujen järjestelmien joustavuutta. Voit käyttää näitä palveluita yhden perustamiseen. ERDDAP™ Verkko/ryhmä ERDDAP hoitaa raskasta käyttöä. Lisätietoja, katso Cloud Computing with ERDDAP™ .

Amazon Amazon

• ** Amazonin verkkopalvelut (AWS) EC2 Asennuskatsaus **
  Amazonin verkkopalvelut (AWS) on A pilvipalvelu Se tarjoaa laajan valikoiman tietokoneita, joita voit vuokrata tunnilla. Voit asentaa ERDDAP™ On a Elastinen pilvi (EC2) Esimerkiksi (tietokoneen nimi, jonka voit vuokrata tunnilla) . AWS on erinomainen AWS-käyttäjäopas Voit käyttää Googlea löytääksesi vastauksia tiettyihin kysymyksiin. Ajattele itseäsi, se on melkoinen työ aloittaa. Mutta kun saat yhden palvelimen ylös ja juoksemaan, voit helposti vuokrata ylimääräisiä resursseja. (palvelimet, tietokannat, SSD-tila jne.) Tarvittaessa kohtuulliseen hintaan. \[ Tämä ei ole Amazon Web Servicesin suositus tai hyväksyntä. Muita pilvipalveluiden tarjoajia on. \]

Yleiskuva asioista, joita sinun on tehtävä saadaksesi ERDDAP™ Juokseminen AWS:llä on:

• Yleisesti ottaen teet kaikki kuvatut asiat AWS-käyttäjäopas .
• Luo AWS-tili.
• AWS-käyttäjän perustaminen kyseiselle tilille hallinnoijan etuoikeuksilla. Kirjaudu sisään käyttäjänä tekemään kaikki seuraavat vaiheet.
• Elastic Block -tallennustila (EBS) AWS vastaa palvelimellesi liitettyä kiintolevyä. Jotkin EBS-tilat jaetaan, kun luot EC2-tartunnon. Se on pysyvä tallennus - tiedot eivät häviä, kun lopetat EC2-infektion. Jos vaihdat tapaustyyppejä, EBS-tila kiinnittyy automaattisesti uuteen tilanteeseen.
• Luo elastinen IP-osoite, jotta EC2-infektiolla on vakaa ja julkinen URL-osoite (Toisin kuin vain yksityinen URL-osoite, joka muuttuu joka kerta, kun käynnistät uudelleen) .
• Luo ja käynnistä EC2-esimerkki (Tietokonetietokone) . On olemassa laaja valikoima Esimerkkejä Jokainen eri hinnalla. m4.suuret tai m4.xlarge-infektiot ovat tehokkaita ja soveltuvat todennäköisesti useimpiin käyttötarkoituksiin, mutta valitse mitä tahansa. Voit käyttää Amazonin Linuxia käyttöjärjestelmänä.
• Jos tietokoneesi/tietokoneesi on Windows-tietokone, voit käyttää Put , ilmainen SSH-asiakas Windowsille, jotta pääset käsiksi EC2-tartuntasi komentoriviin. Sinulla voi olla jokin SSH-ohjelma, jota haluat.
• Kun kirjaudut EC2-tapaukseen, kirjaudut sisään hallinnollisena käyttäjänä käyttäjänimellä "ec2-käyttäjä". Ec2-käyttäjällä on etuoikeus. Jos haluat tehdä jotain juurikäyttäjänä, käytä: sudo Jonkinlainen
• Jos tietokoneesi/tietokoneesi on Windows-tietokone, voit käyttää Filezilla , ilmainen SFTP-ohjelma, siirtää tiedostoja EC2-infektioon. Sinulla voi olla jokin SFTP-ohjelma, jota haluat.
• Asenna Apache EC2-tapauksessa.
• Seuraa standardia ERDDAP™ Asennusohjeet .  

Jälleen kerran poikkeus

Käyttäjä voi saada virheilmoituksen, kuten Odota sitten TryAgainException: Siellä oli (Väliaikainen?) ongelma. Odota hetki, yritä uudelleen. (Selaimessa napsauta Reload-painiketta.)
Lisätietoja: GridDataAccessor.increment: PartialResults \[ 0 \] ="123542730" (123532800)

Yleinen selitys WaitThenTryAgainExceptionille on: Milloin ERDDAP™ vastaa käyttäjän pyyntöön, tietojen kanssa saattaa olla odottamaton virhe. (esimerkiksi virhe, kun lukee tietoja tiedostosta, tai etätietoaineistoa koskeva virhe) . Odota sitten TryAgain-signaaleja ERDDAP™ pyyntö epäonnistui (Tähän asti) Mutta tämä ERDDAP™ Pitäisi yrittää ladata aineistoa nopeasti (Se kutsuu Pyydä ilmaista ) ja palauttaa pyynnön. Usein tämä onnistuu ja käyttäjä huomaa, että vastaus pyyntöön oli hidas. Muina aikoina lataus epäonnistuu tai on liian hidas tai myöhempi yritys käsitellä pyyntö myös epäonnistuu ja heittää toisen WaitThenTryAgain. Jos näin tapahtuu, ERDDAP™ tiedoston lataaminen, mutta käyttäjälle (Lähde: WaitThenTryAgain Exception) Epäonnistuminen oli vastannut pyyntöön.

Tämä on normaalia käytöstä. Järjestelmä pystyy käsittelemään monia yleisiä ongelmia. Järjestelmän on kuitenkin mahdollista laukaista liiallisesti. Yleisin syy on se, että ERDDAP "Tietoaineiston lataaminen ei näe ongelmaa, mutta ERDDAP Vastaus tietopyyntöön näkee ongelman. Riippumatta siitä, mikä on syy, ratkaisu on, että käsittelet kaiken, mikä on vialla. Katso log.txt nähdäksesi todelliset virheviestit ja käsitellä ongelmia. Jos useissa tiedostoissa on päteviä otsikoita, mutta virheellisiä tietoja (Korruptoitunut tiedosto) Korvaa tiedostot korruptoimattomilla tiedostoilla. Jos yhteys RAID on flakey, korjaa se. Jos liitäntä etäpalveluun on flakey, etsi keino tehdä siitä flakey tai ladata kaikki tiedostot etälähteestä ja palvella tietoja paikallisista tiedostoista.

Yksityiskohtainen selitys tälle virheelle (yläpuolella) on: Jokaiselle EDDGrid data, ERDDAP™ Pidä akseli muuttuvia arvoja muistissa. Niitä käytetään esimerkiksi muuntamaan pyydetyt akseliarvot, jotka käyttävät " () "Määritä indeksiluvut. Esimerkiksi jos akseliarvot ovat 10, 15, 20, 25, pyyntö (20 20) tulkitaan indeksipyynnöksi #2 (0-pohjaiset indeksit) . Milloin ERDDAP™ Saat tiedonpyynnön ja saat tiedot lähteestä, se varmistaa, että akseliarvot, jotka se on saanut lähteestä, vastaavat muistin akseliarvoja. Normaalisti he tekevät. Joskus tietolähde on kuitenkin muuttunut merkittävästi: esimerkiksi indeksiarvot akselimuuttujan alusta on saatettu poistaa. (Esimerkiksi "10, 15, 20, 25" voi olla "20, 25, 30") . Jos näin tapahtuu, on selvää, että ERDDAP pyynnön tulkinta (esim. " (20 20) Indeksi #2) Nyt on väärässä. Niinpä ERDDAP™ Heitä poikkeus ja soita RequestReloadASAP. ERDDAP™ Päivitämme tiedot pian (Usein muutamassa sekunnissa, yleensä minuutissa) . Samankaltaiset ongelmat heittävät myös WaitThenTryAgain-poikkeuksen.

Pyydä ilmaista

Voit nähdä RequestReloadASAP:n log.txt-tiedostossa heti virheilmoituksen jälkeen ja usein lähellä Jälleen kerran poikkeus . Se on sisäinen, ohjelmallinen tapa ERDDAP™ asettaa yhden Lippu ilmoittaa, että aineisto on ladattava uudelleen.  

Tiedostot, joita ei poisteta

Muutama ERDDAP™ Asennukset, on ollut ongelma, että joitakin väliaikaisia tiedostoja luodaan ERDDAP™ Pysy avoinna (virheellisesti) eikä siis poisteta. Joissakin tapauksissa monet näistä tiedostoista ovat keränneet ja ottaneet merkittävän määrän levytilaa.

Toivottavasti nämä ongelmat on korjattu. (kuin ERDDAP™ V2.00) . Jos näet tämän ongelman, lähetä sähköpostia hakemisto + nimiä rikostiedostoja Chris. Johannes osoitteessa Noaa.gov. Sinulla on muutamia vaihtoehtoja ongelman ratkaisemiseksi:

• Jos tiedostot eivät ole suuria ja ne eivät saa sinua lopettamaan levytilaa, voit jättää ongelman huomiotta.
• Yksinkertaisin ratkaisu on sulkea tomcat. ERDDAP™ (Tuntien jälkeen vähemmän käyttäjiä) . Jos käyttöjärjestelmä ei poista tiedostoja, poista ne käsin. Sitten käynnistyy uudelleen ERDDAP .  

JSON-Luokkaa

• ** Semantic Markup of Datasets json-ldillä (JSON Liittyvät tiedot) **
  ERDDAP™ Nyt käytetään json-ld (JSON Liittyvät tiedot) tehdä tietoluettelon ja tietoaineistot osaksi Semanttinen web Tim Berners-Lee:n idea on tehdä verkkosisällöstä koneellista luettavampaa ja kone ”ymmärrettävää”. json-ld-sisällön käyttö Tekijä.org termejä ja määritelmiä. Hakukoneet ( Google erityisesti ) ja muut semanttiset työkalut voivat käyttää tätä rakenteellista merkintää helpottamaan löytöä ja indeksointia. json-ld-rakenteinen merkintä näyttää näkymättömältä ihmiselle<Käsikirjoitus > Koodi onhttps://.../erddap/info/index.htmlWEB WEB WEB WEB WEB (Semanttinen verkko Dataa ) ja jokaisellahttps://.../erddap/info/datasetID/index.htmlWEB WEB WEB WEB WEB (Semanttinen verkko Dataa ) . (Erityiskiitokset Adam Leadbetterille ja Rob Fullerille Irlannin Marine-instituutista, jotka ovat tehneet kovaa työtä tämän osan saavuttamiseksi. ERDDAP .)
   

Out-Of-Date URL-osoitteet

Hitaasti, mutta varmasti, URL-osoitteet, jotka tietojen toimittajat ovat kirjoittaneet tietotiedostoihin, ovat vanhentuneet. (esimerkiksi http muuttuu https Verkkosivut on järjestetty uudelleen, ja NODC/NGDC/NCDC-organisaatiot uudelleenorganisoidaan NCEI:ksi.) . Tuloksena olevat rikkinäiset linkit ovat jatkuvasti läsnä oleva ongelma, jota kaikki verkkosivustot kohtaavat. käsitellä tätä, ERDDAP™ Järjestelmä päivittää automaattisesti päivitykset. Jos generaattorit Xml näkee ajantasaisen URL-osoitteen, se lisää päivitetyn URL-osoitteen< addAttributes > myös silloin, kun aineisto latautuu, jos ERDDAP™ Näet ajantasaisen URL-osoitteen, se hiljaa muuttaa sen ajantasaiseen URL-osoitteeseen. Muutoksia ohjaa sarja haku-/korvauspareja, jotka on määritelty<Päivitys > Sisällä ERDDAP > \[ Tom \] /webapps/erddap/WEB-INF/classes/gov/noaa/pfel/erddap/util/viestejä.xml-tiedosto. Voit tehdä muutoksia siellä. Jos sinulla on ehdotuksia muutoksista, tai jos uskot, että tämä tulee muuttaa palveluksi. (Kuin konvertterit) Ole hyvä ja lähetä Chris. Johannes osoitteessa Noaa.gov.  

Koruja

• Koruja ( Cross-Origin resurssien jakaminen )
  ”On mekanismi, joka sallii rajoitetut resurssit. (esim. fontit tai ERDDAP™ Datatiedot) verkkosivustolla, jota pyydetään toiselta verkkotunnuksen ulkopuolella olevalta verkkotunnukselta, josta ensimmäinen resurssi tarjottiin. (Arun Ranganathan) . CORS on viesti, joka voidaan laittaa HTTP-vastauksen otsikkoon sanoen: "Se on ok tällä sivustolla, jos tietyt muut sivustot. (erityisiä tai kaikkia) Grab Resursseja (Esim. tiedot) tästä sivustosta ja aseta se saataville heidän sivustolleen.” Tämä on vaihtoehto JSONP .

Kehittäjät ERDDAP™ Älä väitä olevansa turvallisuusasiantuntijoita. Emme ole täysin selvillä CORSiin liittyvistä turvallisuusasioista. Emme halua antaa lausuntoja, jotka tukevat toimintaa, joka vähentää turvallisuutta. Pysymme neutraalina ja jätämme sen kullekin. ERDDAP™ Hallitse päättämään, ovatko hyödyt tai CORS-otsikko riskien arvoisia. Kuten aina, jos ERDDAP™ Yksityinen tietoaineisto on hyvä olla varovainen turvallisuuden suhteen.

Jos haluat ottaa kortit käyttöön ERDDAP™ On olemassa helposti saatavilla olevat ohjeet kuvaus siitä, miten verkkosivuston ylläpitäjät voivat ottaa CORS-otsikon käyttöön alemman tason palvelinohjelmistonsa avulla (esim. Apassi tai nginx) .

Paletteja

• Palettia käytetään ERDDAP™ muuntaa useita tietoarvoja eri väreiksi, kun grafiikoita ja karttoja tehdään.

Jokainen paletti on määritelty .cpt-tyylisessä palettitiedostossa, jota käytetään GM . Kaikki Kaikki Kaikki Kaikki ERDDAP™ .cpt-tiedostot ovat päteviä GMT .cpt-tiedostoja, mutta päinvastoin ei pidä paikkaansa. Käyttöä varten ERDDAP™ .cpt-tiedostoilla on:

• Vaihtoehtoisia kommentteja tiedoston alussa, alkaen #.
• Pääosa, jossa on kuvaus paletin segmenteistä, yksi segmentti per linja. Jokaisella segmenttikuvauksella on 8 arvoa: Aloita alusta Arvo, aloitus, aloitus Vihreä, aloita Sininen, endValue, endgreen, endblue. Segmenttejä voi olla useita. ERDDAP™ Käyttää lineaarista interpolaatiota startRed/Green/Bluen ja endRed/Green/Bluen välillä.

Suosittelemme, että kussakin segmentissä määritellään erilainen alku- ja loppuväri ja että kunkin segmentin lähtöväri on sama kuin edellisen segmentin loppuväri, jotta paletti kuvaa jatkuvasti värisekoitusta. ERDDAP™ Sillä on järjestelmä, jolla luodaan lennolla erillisiä värejä paletti, jossa on jatkuva väriseos. Yksi ERDDAP™ Käyttäjä voi määrittää, haluaako paletti olla jatkuva. (Alkuperäinen) tai diskreetti (johdettu alkuperäisestä) . On kuitenkin perusteltuja syitä olla noudattamatta näitä suosituksia.

• Alkuarvojen ja arvojen on oltava kokonaislukuja. Ensimmäisellä segmentillä on oltava alkuarvo = 0 ja loppuarvo = 1. Toisessa osassa on oltava aloitusarvo = 1 ja loppuarvo = 2. Etc.
• Punaisten, vihreiden ja sinisten arvojen on oltava kokonaislukuja. (Ei kukaan) 255 (Täysi on) .
• Tiedoston lopussa on oltava kolme riviä:
  1. Taustan rgb-väri datan arvoille, jotka ovat pienempiä kuin väribarin minimi, esim.: B 128 128 128 Se on usein ensimmäisen segmentin aloitus, startgreen ja startblue.
  2. Ensisijainen rgb-väri data-arvoille enemmän kuin väribar-maksimi, esim.: F 128 0 Se on usein viimeisen segmentin lopullinen, endgreen ja endblue.
  3. NaN-data-arvojen rgb-väri, esim. N 128 128 128 Usein keskimmäinen harmaa (128 128 128) .
• Kunkin linjan arvot on erotettava välilehdillä, joissa ei ole ulkopuolisia tiloja.

Näyte .cpt-tiedosto on BlueWhiteRed.cpt:

Tämä on BlueWhiteRed.cpt.

0 0 0 0 0 128 1 0 255 1 0 255 2 0 255 255 255 255 255 255 255 255 255 255 255 4 255 255 4 255 255 0 5 255 0 5 255 0 6 128 0 0 0 0 0 128 128 0 0 128 128 128

Katso .cpt-tiedostot esimerkiksi. Jos .cpt-tiedostossa on ongelmia, ERDDAP™ Heität todennäköisesti virheen, kun .cpt-tiedosto on päällystetty. (Mikä on parempi kuin tietojen väärinkäyttö) .

Voit lisätä lisäpalettia ERDDAP . Voit tehdä ne itse tai löytää ne verkossa. (Esimerkiksi Cpt-kaupunki ) Vaikka todennäköisesti joudut muokkaamaan muotoaan hieman, jotta voit noudattaa ERDDAP .cpt-vaatimukset. saada ERDDAP™ käyttää uutta .cpt-tiedostoa, tallentaa tiedoston Tom /webapps/erddap/WEB-INF/cptfiles (Sinun täytyy tehdä se jokaiselle uudelle versiolle. ERDDAP ) Ja myös:

• Jos käytät oletusviestejä.xml-tiedostoa: lisää tiedostonimi<Paletti > Tag in Tom /webapps/erddap/WEB-INF/classes/gov/noaa/pfel/erddap/util/viestejä.xml Jos teet tämän, sinun täytyy tehdä se joka kerta, kun päivität. ERDDAP .
• Jos käytät mukautettuja viestejä.xml-tiedostoa: lisää tiedostonimi<Palettes > Tag in your mukautettu viestejä.xml tiedosto: Tom Sisältö/erddap/viestit.xml Jos teet tämän, sinun täytyy tehdä se vain kerran. (Mutta on olemassa muita töitä, joilla voit säilyttää mukautetun viestin.xml-tiedoston.) .

Sitten käynnistyy uudelleen ERDDAP™ niin ERDDAP™ Huomaa muutokset. Tämän lähestymistavan etuna on, että voit määrittää palettien järjestyksen käyttäjille esitetyssä luettelossa. Jos lisäät kokoelman, kehotamme sinua lisäämään etuliitteen kirjoittajien nimiin. (esim. " KT\_ """) kunkin paletin nimeen kokoelman tunnistamiseksi ja niin, että voi olla useita palettia, joilla muuten olisi sama nimi.

Älä poista tai vaihda mitään tavallisista tauluista. Ne ovat kaikkien standardiominaisuus. ERDDAP™ asennuksia. Jos mielestäsi paletti tai kokoelma palettia on sisällytettävä standardiin ERDDAP™ Jakelu, koska se olisi yleiskäyttöinen, pyydämme lähettämään ne Chris. Johannes osoitteessa Noaa.gov.

Värit

• Miten ERDDAP™ Luo värit värisävyssä?

1. Käyttäjä valitsee yhden ennalta määritellyistä Paletti tai käyttää oletusarvoa, esim. Rainbow. Palettes on tallennettu/määritetty GMT-tyylisiin .cpt Color Palette -taulutiedostoihin. Jokainen ERDDAP esimääritetyillä paleteilla on yksinkertainen kokonaisluku, esim. 0-1 (jos vain yksi osa palettia) tai 0-4 (jos paletissa on neljä osaa) . Jokainen tiedoston segmentti kattaa n +1, alkaen n = 0.
2. ERDDAP™ luo uuden .cpt-tiedoston lennolla, skaalaamalla ennalta määritellyn palettisarjan (esim. 0-4) Käyttäjän tarvitsema paletti (esimerkiksi 0,1-50) ja sitten luoda osio uudessa paletissa jokaiselle uuden paletin osalle (Esimerkiksi lokiasteikolla, jossa on punkkeja 0,1, 0,5, 1, 5, 10, 50, on viisi osaa.) . Kunkin osan päätepisteen väri syntyy löytämällä .cpt-tiedoston asiaankuuluvan osan, joka vuorottelee sitten lineaarisesti R-, G- ja B-arvoja. (Tämä on sama kuin se, miten GMT tuottaa värejä Väripaletin taulukoista.) Tämä järjestelmä mahdollistaa ERDDAP™ Aloitetaan yleisistä palettien (Esimerkiksi Rainbow 8 segmentillä, yhteensä 0-8) Luo räätälöityjä palettia lennolla (esimerkiksi räätälöity sateenkaari, joka kartoittaa 0,1–50 mg/l sateenkaaren väreihin) .
3. ERDDAP™ Käytä sitten tuota uutta .cpt-tiedostoa, joka tuottaa värin jokaiselle värilliselle pikselille väripalkissa. (ja myöhemmin jokaisesta tietopisteestä, kun piirrät tietoja graafisesta tai kartasta) .cpt-tiedostossa olevan paletin asiaankuuluvan osan löytäminen ja R-, G- ja B-arvojen lineaarinen vuorovaikutus.

Tämä prosessi voi tuntua tarpeettomasti monimutkaiselta. Mutta se ratkaisee ongelmat, jotka liittyvät lokiasteikkoihin, joita on vaikea ratkaista muilla tavoilla.

Miten voit jäljitellä, mitä ERDDAP™ Tekeekö? Se ei ole helppoa. Pohjimmiltaan sinun on kaksinkertaistettava prosessi, joka ERDDAP™ käyttää. Jos olet a Java Ohjelmoija voi käyttää samaa Java luokka, jonka ERDDAP™ käyttää kaiken tämän tekemiseen: Tom /webapps/erddap/WEB-INF/classes/gov/noaa/pfel/coastwatch/sgt/CompoundColorMap.java

Tietojen jakelujärjestelmien ohjeet

Tietojen jakelujärjestelmien suunnittelua ja arviointia koskevat yleiset mielipiteet löytyvät täällä täällä täällä .  

ArchiveaDataset

Sisältää oman ERDDAP™ Asennus on ArchiveADataset-niminen komentorivityökalu, jonka avulla voit tehdä arkiston. (A .zip tai tai .tar .gz tiedostotiedosto) osa tai kaikki tiedot, jotka on tallennettu netcdf-3-sarjaan .nc tiedostot tiedostomuodossa, joka soveltuu lähettämiseen NOAA NCEI-arkisto ( .nc Verkkotietojen tai .nc CFMA tabulaaritietojen osalta, kuten on määritelty NCEI NetCDF Templates v2.0 ) .

Archive Tiedot voivat luoda kaksi erilaista arkistomuotoa:

• "alkuperäinen" muoto seuraa näitä NCEI Archiving -ohjeet Tämä opas Tietojesi arkistointi NCEI:ssä ja siihen liittyvä Tietojen eheyden varmistaminen .
• "BagIt"-muoto tekee BagIt-tiedostot , vakiomuotoinen arkistomuoto, jota yhdysvaltalainen kongressikirjasto edistää, sellaisena kuin se on määritelty. BagIt v0.97 (käytetty) . NOAA NCEI voi standardoida BagIt-tiedostoja arkistointiin.

Ei yllättävää, että Maailmanlaajuinen ja muuttuva metatieto että ERDDAP™ kannustimet/vaatimukset ovat lähes täsmälleen sama tiedoston sisäinen CF- ja ACDD-metadata, jota NCEI rohkaisee/vaatii, joten kaikkien tietoaineistojen tulisi olla valmiita toimittamaan NCEI:lle. Lähetä2NCE tai tai ATRAC (NCEI:n edistyksellinen seuranta- ja resurssityökalu arkistokokoelmiin) .

Jos sinä (The ERDDAP™ Hallinnollinen) Käytä ArchiveADatasetia tietojen lähettämiseen NCEI:lle, sitten sinä (Ei NCE) määrittää, milloin lähetät NCEI:lle ja mitä se on, koska tiedät, milloin on uusia tietoja ja miten määrittää, että roskaposti (NCEI ei) . ArchiveADataset on työkalu, jonka avulla voit luoda paketin, jonka voit lähettää NCEI:lle.

Archive Tiedot voivat olla hyödyllisiä esimerkiksi muissa tilanteissa. ERDDAP™ ylläpitäjät, joiden on muunnettava tietoaineiston osajoukko (Yksityinen ERDDAP ) alkuperäisestä tiedostomuodostaan sarjaan .nc CF-tiedostot niin, että yleisö ERDDAP™ voi palvella tietoja .nc CF-tiedostoja alkuperäisten tiedostojen sijaan.

Kun olet asettanut ERDDAP™ ja juoksemaan sitä (vähintään kerran) Löydät ja käytät ArchiveADatasetia Tom /webapps/erddap/WEB-inf-hakemisto Siellä on skripti (Archiveataset.) Linux/Unix ja erätiedosto (ArchiveaDataset.bat) Windowsille.

Windowsissa, ensimmäinen kerta kun käytät ArchiveADatasetia, sinun on muokattava ArchiveADataset. bat-tiedosto, jossa on tekstieditori, joka muuttaa polkua javaan. Ex-tiedosto, jotta Windows voi löytää Java .

Kun käytät ArchiveADatasetia, se kysyy sinulta useita kysymyksiä. Jokaisesta kysymyksestä kirjoita vastaus ja paina sitten Enter. Paina ^C poistua ohjelmasta milloin tahansa.

Voit esittää vastaukset kysymyksiin, järjestyksessä, komentorivillä. Tee tämä, kirjoita ohjelma kerran ja kirjoita vastauksesi. Voit luoda yhden komentolinjan (Vastaukset parametreina) joka vastaa ohjelmaan ja vastaa kaikkiin kysymyksiin. Käytä sanaa oletusarvo, jos haluat käyttää oletusarvoa tietylle parametrille. Käytä » (Kaksi kaksoislainaa) Paikkakuntana tyhjiölle. Komentolinjan parametrien määrittäminen voi olla erittäin kätevää esimerkiksi, jos käytät ArchiveADatasetia kerran kuukaudessa arkistoidaksesi kuukausittaisen tiedon. Kun olet luonut komentolinjan parametreilla ja tallentanut sen muistiinpanoissasi tai kuorikirjoituksessasi, sinun on tehtävä pieniä muutoksia joka kuukausi, jotta voit tehdä tämän kuukauden arkiston.

ArchiveADataset-kysymykset antavat sinulle mahdollisuuden:

• Valitse alkuperäinen tai Bagit-tiedostopakkaus. Käytä NCEI:tä.
• zip tai tarra .gz Pakkauspakettiin. NCEI:n käyttö .gz .
• Määritä sähköpostiosoite tälle arkistolle (se on kirjoitettu READ_ME.txt-tiedostoon arkistossa) .
• Määrittää datasetID tietoja, joita haluat arkistoida.
• Määritä, mitkä tietomuuttujat haluat arkistoida (Yleensä kaikki) .
• Määritä, minkä aineiston haluat arkistoida. Sinun on muotoiltava alijoukko samalla tavalla kuin olisit muotoillut alijoukkoa tietopyyntöön, joten se on erilainen verkkoon kuin tabulaaritietoaineistoihin.
  • Verkossa olevia tietoaineistoja varten voit määrittää vasemman ulottuvuuden arvojoukon, joka on yleensä ajan vaihtelua. ArchiveADataset tekee erillisen pyynnön ja luo erillisen tiedoston jokaisesta arvosta arvojen vaihteessa. Koska verkottuneet tietoaineistot ovat yleensä suuria, sinun on lähes aina määritettävä pieni osajoukko suhteessa koko tietoaineiston kokoon. Esimerkiksi, \[ (2015-12-01) : (2015-12-31) \] \[ \] \[ \] \[ \]
  • Tabulaarisissa tietokannoissa voit määrittää rajoitusten kokoelman, mutta se on usein aika. Koska tabulaariset tietoaineistot ovat yleensä pieniä, on usein mahdollista määrittää rajoituksia, jotta koko tietoaineisto arkistoidaan. Esimerkiksi & Time 2015-12-01&time<2016-01-01
• Tabulaarisissa tietoaineistoissa määritellään tiivistetty luettelo 0- tai useammasta muuttujasta, joka määrittää, miten arkistoidaan tietoja jaetaan edelleen eri tietotiedostoihin. aineistot, joilla on cd | | | _ _ _ _ _ >Time Series | TimesProfiili | Trajektori | TrajectoryProfiili Sinun pitäisi melkein aina määrittää muuttuja, jolla on c \role = Timeseries \ (esim. stationID ) cf = trajectory \ ttribute. ArchiveADataset tekee erillisen pyynnön ja luo erillisen tietotiedoston jokaisesta näiden muuttujien arvojen yhdistelmästä, esim. kunkin stationID . Kaikissa muissa tabulaarisissa tietoaineistoissa et todennäköisesti määritä muuttujia tähän tarkoitukseen. Varoitus: Jos arkistoimasi tietoaineiston osa-alue on suuri (> 2GB) Tätä tarkoitusta varten ei ole sopivaa muuttujaa, joten ArchiveADataset ei ole käytettävissä tämän tietoaineiston kanssa. Tämän pitäisi olla harvinaista.
• Määritä tiedostomuoto luotaville tiedostoille. NCEI: n verkkoon tallennetut tietoaineistot, käytä .nc . Tabular datasets, NCEI, Käytä .nc CFMA jos se on vaihtoehto; muuten .nc .
• Määritä tiedoston sulavuuden tyyppi, joka luodaan jokaiselle tietotiedostolle ja koko arkistopaketille: MD5, SHA-1 tai SHA-256. Digest tarjoaa tavan asiakkaalle (Esimerkki: NCEI) testata, onko tiedosto korruptoitunut. Perinteisesti nämä olivat .md5-tiedostot Nyt on parempia vaihtoehtoja. Käytä SHA-256:ta.

Kun vastaat kaikkiin kysymyksiin, ArchiveADataset:

1. Tee joukko pyyntöjä tietoaineistolle ja vaihe tuloksena olevat tietotiedostot isovanhemmat ArchiveADataset/ * datasetID Aikaleima* / Verkossa oleville aineistoille on olemassa tiedosto vasemman ulottuvuuden kullekin arvolle. (Esim. aika) . Tiedoston nimi on tämä arvo (esimerkiksi aika-arvo) . Tabulaarisissa aineistoissa on tiedosto jokaisesta...muuttujan arvosta. (s) . Tiedoston nimi on tämä arvo. Jos muuttujia on useampi kuin yksi, vasemmistolaisia käytetään aliohjausnimien tekemiseen, ja oikeaa muuttujaa käytetään tiedostonimien tekemiseen. Jokaisen tiedoston on oltava<2GB (Suurin sallittu .nc 3 tiedostoa) .

2. Tee tiedosto, joka liittyy jokaiseen tietotiedostoon tietotiedoston sulavuudella. Jos tiedosto on 46088 .nc .sha256, sitten sulava tiedosto on nimi 46088. .nc .sha256.

3. Tee README.txt-tiedosto, jossa on tietoja arkistosta, mukaan lukien luettelo kaikista tämän arkiston luomiseen määritellyistä asetuksista.

4. Tee 3 tiedostoa sisään isovanhemmat ArchiveADataset/:

   • A .zip tai tai .tar .gz Archive-tiedosto nimetty * datasetID Aikaleima* .zip (tai tai .tar .gz ) sisältää kaikki vaiheittaiset tiedostot ja sulavat tiedostot. Tämä tiedosto voi olla minkä kokoinen tahansa, vain levytilassa.
   • Digest tiedosto arkistotiedosto, esimerkiksi * datasetID Aikaleima* .zip .sha256.txt
   • "alkuperäinen" arkiston, tekstitiedosto nimetty * datasetID Aikaleima* .zip .listofiles.txt (tai tai .tar .gz ) joka listaa kaikki tiedostot .zip (tai tai .tar .gz ) tiedosto.

Jos olet valmistelemassa arkistoa NCEI: lle, nämä ovat tiedostot, jotka lähetät NCEI: lle. Lähetä2NCE tai tai ATRAC (NCEI:n edistyksellinen seuranta- ja resurssityökalu arkistokokoelmiin) . 5. Poista kaikki tiedostot niin, että vain arkistotiedostot (esim. .zip ) Digest (.sha256.txt) arkistoon ja (Vaihtoehtoisesti) .listOfFiles.txt-tiedostot säilyvät.

ISO 19115.xml Metadata-tiedostot

ArchiveADataset-arkistopaketti ei sisällä ISO 19115 .xml -metadatatiedostoa. Jos haluat/edellytät ISO 19115 -tiedoston toimittamista NCEI:lle, voit lähettää heille ISO 19115 .xml -metadatatiedoston. ERDDAP™ Luotu tietoaineistoon (mutta NMFS Ihmiset saavat ISO 19115 -tiedoston InPortista, jos ERDDAP™ Et ole jo tarjoillut tiedostoa) .

Ongelmia? Ehdotuksia? ArchiveADataset on uusi. Jos sinulla on ongelmia tai ehdotuksia, katso Lisätuen saaminen .