additional-information

ERDDAP™- Встановити свій власнийERDDAP™

Що потрібно знати

 

Помилки проксі

Іноді запит наERDDAP™Поверніть помилку Proxy, HTTP 502 Поганий шлюз, або деякі аналогічні помилки. Ці помилки кидаються за допомогою Apache або Tomcat, неERDDAP™сам.

• Якщо кожен запит генерує ці помилки, особливо коли ви в першу чергу налаштуєте вашуERDDAP™, то, ймовірно, це проксі або погана помилка воріт, і рішення, ймовірно, виправитиERDDAPПараметри проксій Це також може бути проблема, коли встановленоERDDAP™раптом починає кинути ці помилки для кожного запиту.
• В іншому випадку, "проксі" помилки, як правило, час від помилок, що кидаються Apache або Tomcat. Навіть коли вони трапляються порівняно швидко, це деякі відповіді від Apache або Tomcat, що відбувається, колиERDDAP™дуже зайнятий, пам'яті або обмежений деякими іншими ресурсами. У цих випадках див. поради нижче, щоб мати справу зERDDAP™відповідаючи повільной

Запити на тривалий час (>30 разових точок) від сітчастого набору даних схильні до своєчасного виходу з ладу, які часто з'являються як проксі-помилки, оскільки він займає значний час дляERDDAP™Щоб відкрити всі файли даних в одному режимі. ЯкщоERDDAP™Якщо ви хочете провести час, проблема швидше за все може статися. Якщо файли даних компресовані, проблема швидше за все, може статися, хоча це важко для користувача визначити, чи зберігаються файли даних. Розчин полягає в тому, щоб зробити кілька запитів, кожен з меншим діапазоном часу. Скільки часу? Я рекомендую, починаючи дійсно невеликий (~30 разових точок?) , потім (приблизно) подвійний діапазон часу, поки запит не зникає, а потім повернутися до одного купання. Далі робимо всі запити (кожен для різних шматків часу) необхідно для отримання всіх даних. АнжелаERDDAP™адміністратор може зменшити цю проблему шляхом збільшенняНалаштування часу Apacheй

Моніторинг

Ми хочемо, щоб наші послуги, щоб знайти свою аудиторію та бути широко використані, але іноді вашіERDDAP™може бути використаний занадто багато, викликаючи проблеми, включаючи супер повільні відповіді для всіх запитів. Наш план уникати проблем:

• МоніторингERDDAP™черезСтатус на серверий Має тонну корисної інформації. Якщо ви бачите, що величезна кількість запитів, які надходять, або тонн пам'яті, які використовуються, або тонн невиконаних запитів, або кожен майор LoadDatasets приймається довгий час, або див. будь-який знак речей, які отримують bogged вниз і відповідаючи повільно, після чого подивітьсяERDDAPРФайл: Log.txtщоб побачити, що відбувається.

Також корисно зауважити, як швидко реагувати на сторінку стану. Якщо вона відповіла повільно, це важливий показник, якийERDDAP™дуже зайнятий.

• МоніторингERDDAP™черезЩоденний звітелектронна пошта.  
• Перегляд для застарілих даних через Головна /erddap/outOfDateDatasets.htmlвеб-сторінка, яка базується на додатковомуtestOutOfDateглобальний атрибут.  

Зовнішні монітори

Методи, перераховані вище,ERDDAP- способи моніторингу себе. Також можна скористатися зовнішніми системами для моніторингу Ваших данихERDDAPй Один проект для цьогоПроект «Аксіом»й Такі зовнішні системи мають деякі переваги:

• Вони можуть бути налаштовані, щоб надати інформацію, яку ви хочете, щоб ви зрозуміли, як ви хочете.
• Інформація про нихERDDAP™щоERDDAP™не може легко дістатися або взагалі (наприклад, використання процесора, диск безкоштовного простору,ERDDAP™час відповіді, як видно з точки зору користувача,ERDDAP™час,
• Вони можуть надати сповіщення (електронні листи, телефонні дзвінки, тексти) для адміністраторів, коли виникають проблеми.  

Мульти Симулянт Запити

• Користувачі Blacklist роблять кілька одночасних запитів! Якщо ви зрозуміли, що хтось користувач робить більше одного одночасного запиту, багаторазово і безперервно, то додайте IP-адресу доERDDAP[:ru]<JavaScript licenses API Веб-сайт (/docs/server-admin/datasets#requestblacklist) у васdatasets.xmlфайл. Часті запити всі з однієї IP-адреси. Іноді вони з декількох IP-адрес, але чітко однаковий користувач. Ви також можете відхилити людей, які роблять тонни недійсних запитів або тонн незрівнянних запитів.

Далі для кожного запиту вони роблять,ERDDAP™повернення:

HTTP ERROR 403 - Access Forbidden --
Your IP address is on this ERDDAP's request blacklist.
Did you often submit more than one request at a time?
Did you often submit identical requests in a short period of time?
Did you submit a large number of invalid requests?
If you are ready to avoid these problems, please email \[ERDDAP™ administrator's email address\] to request to be taken off of the blacklist.

Сподіваємось, користувач побачить це повідомлення і зв'яжеться з вами, щоб дізнатися, як виправити проблему і вимкнути чорний список. Іноді вони просто переключають IP адреси і спробуйте знову.

Який баланс сили між наступною і оборонною зброєю в умовах війни. Тут оборонна зброя (ERDDAP) має фіксовану ємність, обмежену кількістю ядер в процесорі, пропускною спроможністю диска та пропускною спроможністю мережі. Але наступна зброя (користувачів, неможливі сценарії) мати необмежену потужність:

• Одноразовий запит для даних з багатьох точок часу може викликатиERDDAPвідкрити величезну кількість файлів (в послідовності або частково багатопрочитане) й У крайніх випадках один "прості" запит може легко зв'язати RAID, прикріплений доERDDAP™за хвилину, ефективно блокує обробку інших запитів.  
• Один запит може споживати велику пам'ять пам'яті (алеERDDAP™кодується для мінімізації пам'яті, необхідної для обробки великих запитів) й  
• Паралелізація до Легко для розумного користувача, щоб паралізувати велике завдання, генеруючи багато ниток, кожен з яких подає окремий запит (які можуть бути великими або малими) й Ця поведінка заохочується комп'ютерною науковою спільнотою як ефективний спосіб боротьби з великою проблемою (і паралелізм ефективний в інших умовах) й Повернутися до війни аналогія: користувачі можуть зробити по-справжньому необмежену кількість одночасних запитів з вартістю кожного, по суті, нульовою, але вартість кожного запиту, що надходить вERDDAP™може бути великим іERDDAP- Скінченна можливість реагування. Очистити,ERDDAP™втратити цю битву, якщо б не булоERDDAP™Користувачі адміністратора blacklists, які здійснюють одночасні запити, які незрівнянно переповнені іншим користувачам.  
• Кілька скриптів - Тепер думають про те, що відбувається, коли є кілька розумних користувачів, які працюють паралельно скрипти. Якщо один користувач може генерувати багато запитів, які інші користувачі переповнені, то кілька таких користувачів можуть генерувати стільки запитів, якіERDDAP™стає надмірною і здавалося б невідповідною. Це ефективноDDOS атакаЗнову єдиний захистERDDAP™є для користувачів чорного списку, що робить кілька одночасних запитів, які неспішно переповнені іншими користувачами.  
• Витратні витрати - У цьому світі масових технологічних компаній (English, Українська, Français...) , Користувачі, які можуть очікувати, що в основному необмежені можливості від постачальників. Оскільки ці компанії є операціями з грошовими коштами, більше користувачів, вони мають, чим більше доходів, що вони повинні розширити свою ІТ-інфраструктуру. Так вони можуть дозволити собі масивну IT інфраструктуру для обробки запитів. І вони розумно обмежують кількість запитів і вартість кожного запиту від користувачів, обмежуючи види запитів, які користувачі можуть зробити так, щоб ніхто не запит не тягував, і не є підставою (або спосіб) для користувачів, щоб зробити кілька одночасних запитів. Так, ці величезні технологічні компанії можуть мати набагато більше користувачів, ніжERDDAP™, але вони мають масивно більше ресурсів і розумних способів обмежити запити від кожного користувача. Це керована ситуація для великих ІТ компаній (і вони багаті!) але не дляERDDAP™монтаж. Знову єдиний захистERDDAP™є для користувачів чорного списку, що робить кілька одночасних запитів, які неспішно переповнені іншими користувачами.  

Отже, користувачі: Не робіть декілька одночасних запитів або ви будете чорними!  

Зрозуміло, краще, якщо сервер має багато ядер, багато пам'яті (так ви можете виділити багато пам'ятіERDDAP™, більше, ніж це коли-небудь потребує) Інтернет-з'єднання високої пропускної здатності. Потім пам'ять рідко або ніколи не обмежує фактор, але пропускна здатність мережі стає більш поширеним фактором обмеження. В основному, як є більш і більш одночасні запити, швидкість до будь-якого з них зменшується. У випадку, якщо кожен користувач просто подає запит на один запит.

ERDDAP™Отримання даних з THREDDS

Якщо виERDDAP™отримувати копії файлів даних THREDDS (принаймні для найбільш популярних даних) на іншому RAID, якийERDDAP™має доступ до цього,ERDDAP™може служити дані з файлів безпосередньо. АфішаERD, ми робимо це для наших найпопулярніших даних.

• ERDDAP™може отримати дані безпосередньо і не потрібно чекати THREDDS для перевантаження даних або ...
• ERDDAP™може негайно помітити і ввімкнути нові файли даних, тому не доведеться стерти THREDDS часто, щоб побачити, чи змінилися дані. Головна<JavaScript licenses API Веб-сайт (/Документи/сервер-адміністрування/datasets#updateeverynmillis) й
• Навантаження розщеплюється між 2 RAIDS і 2 серверами, замість того, щоб запит був важко на обохERDDAP™і THREDDS.
• Ви не уникнете проблеми з невідповідністю THREDDS, що мають невеликий (за замовчуванням) максимальний розмір запиту.ERDDAP™має систему, щоб впоратися з неправильним, але уникнути проблеми краще.
• Ви маєте резервну копію даних, які завжди є гарною ідеєю.

У будь-якому випадку, не коли-небудь закінчуються THREDDS іERDDAP™в тому ж Tomcat. Запустіть їх в окремі Tomcats або краще, на окремих серверах.

Ми знайдемо, що THREDDS періодично потрапляє в стан, де запити просто висять. Якщо виERDDAP™отримувати дані з THREDDS і THREDDS в цьому стані,ERDDAP™має захист (це говорить про те, що дані на основі THREDDS не доступні) , але це все ще складно дляERDDAP™зERDDAP™до тих пір, поки час від часу, він намагається перезавантажити дані з голодних THREDDS. Деякі групи (в тому числіERD) Уникнути цього проактивно перезавантаження THREDDS часто (e.g., нічний час в бронюванні) й

Відповідаючи Повільно

• ЯкщоERDDAP™Відповідає Повільно або якщо тільки певні запити, які відповідають повільно, Ви можете дізнатися, чи є уповільнення розумних та тимчасових (наприклад, через багато запитів від сценаріїв абоWMSКористувачі) , або якщо щось незрозуміло, і вам потрібнозапустіть і перезапустіть Tomcat іERDDAP™й

ЯкщоERDDAP™Відповідаючи повільно, див. поради нижче, щоб визначити причину, які сподіваються, дозволять виправити проблему. Ви можете мати певну початкову точку (Наприклад, URL-адреса запиту) або вагу стартова точка (Наприклад,ERDDAP™повільність) й Ви можете знати користувача (e.g., тому що вони по електронній пошті) чи ні. Ви можете мати інші відключення, або ні. З усіх цих ситуацій і всіх можливих причин виникнення проблем, пов'язаних з ними, порада нижче намагається боротися з усіма можливими стартовими точками і всі можливі проблеми, пов'язані з повільними реагуваннями.

• Шукаємо відчуттівERDDAP's log файл ( bigParentПублічний Веб-сайт: www.facebook.com) й \[У рідкісних випадках виникають відключенняФайл журналу Tomcat ( домка Українська) й\]
  Переглядайте повідомлення про помилки. Шукайте велику кількість запитів, що надходять від одного (або кілька) користувачів і, можливо, перехопити багато ресурсів сервера (пам'ять, час процесора, доступ до диска, пропускна здатність інтернету) й

Якщо неприємність пов'язана один користувач , ви можете часто отримати чіткість про те, що користувач є через веб-сервіси, такі як https://whatismyipaddress.com/ip-lookup Щоб надати вам інформацію, пов'язані з IP-адресою користувача (які можна знайти вERDDAPРJavaScript licenses API Веб-сайт Go1.13.8Головна) й

• Якщо користувач має бути бо погано (точно, пошуковий двигун, який намагається заповнитиERDDAP™форми з кожною можливою перестановкою значень в’їзду) , переконайтеся, що ви повинні належним чином налаштувати серверJavaScript licenses API Веб-сайт Go1.13.8файл.
• Якщо користувач має бути **Головна (й) ** що робить кілька одночасних запитів, зв'яжіться з користувачем, поясніть, що вашERDDAP™має обмежені ресурси (Наприклад, пам'ять, час процесора, доступ до диска, пропускна здатність до Інтернету) , і запитати їх, щоб розглянути інших користувачів і просто зробити запит на один раз. Якщо ви не вимкнете.
• Якщо користувач має бути Головна що робить велику кількість часових запитів, попросіть користувача розглянути інші користувачі, поставивши невеликий пауза (2 хв) у скрипті між запитами.
• WMSПрограмне забезпечення для клієнтів може бути дуже затребуваним. Один клієнт часто просить 6 користувацьких зображень одночасно. Якщо користувач має бутиWMSКлієнт, який робить законні запити, ви можете:
• Ігнорувати його. (рекомендується, тому що вони дуже швидко рухаються)
• Вимкніть серверWMSПослугиERDDAPEnglish, Українська, Français... (не рекомендується)
• Якщо з'являються запити stupid, insane, зайвий, або шкідливий, Якщо ви не можете вирішити проблему, будь-яким іншим чином, враховуйте тимчасово або постійно додаючи IP-адресу користувача на [xml.ua]<JavaScript licenses API Веб-сайтdatasets.xmlГоловна (/docs/server-admin/datasets#requestblacklist) й  
• Спробуйте дублювати проблему самостійно, від вашого комп'ютера.
  З'ясуйте, якщо проблема з одними даними або усіма датами, для одного користувача або всіх користувачів, для всього певних типів запитів і т.д. Якщо ви можете дублювати проблему, спробуйте звужувати проблему. Якщо ви не можете дублювати проблему, то проблема може бути пов'язана з комп'ютером користувача, підключенням до Інтернету або підключенням вашого закладу.  
• Якщо просто один набір даних Відповідає повільно (можливо тільки для один тип запиту від одного користувача) Проблема може бути:
  • ERDDAP- доступ до вихідних даних (недорогий від реляційних баз даних, Кассандра та віддалених даних) може бути тимчасово або назавжди. Спробуйте перевірити швидкість джерела незалежно відERDDAPй Якщо це повільне, можливо, ви можете поліпшити його.
  • Чи є проблема, пов'язана з конкретним запитом або загальним типом запиту? Чим більше запитаного субсету даних, тим ймовірніше запит не буде. Якщо користувач робить величезні запити, запитайте користувача, щоб зробити менші запити, які швидше за все, щоб отримати швидку і успішну відповідь.

Практично всі набори даних краще при обробці деяких видів запитів, ніж інші види запитів. Наприклад, коли датасет зберігає різні часові шматки в різних файлах, запити на дані з величезної кількості точок часу можуть бути дуже повільними. Якщо поточні запити є складним типом, розгляньте варіант набору даних, які оптимізовані для цих запитів. Або просто поясніть користувача, який тип запиту складний і трудомісткий, і запитайте їх терпіння.

• Не оптимально налаштовані дані. Ви можете внести зміни до данихdatasets.xmlкурка, щоб допомогтиERDDAP™обробляти дані, які краще. Наприклад,

  • EDDGridВідNcFiles даних, що надходять дані з стиснених файлів nc4/hdf5, повільно при отриманні даних для всього географічного діапазону (Наприклад, для карти світу) тому, що весь файл повинен бути пригнічений. Ви можете конвертувати файли в некомпресовані файли, але потім вимога диска буде набагато більшою, набагато більше. Це, ймовірно, краще, просто прийняти, що такі дані будуть повільніше в певних обставинах.
  • Конфігурація [<subsetVariables>] (/Документи/сервер-адміністрування/datasets#subsetvariables) тег має величезний вплив на те, якERDDAP™ручки EDDTable datasets.
  • Ви можете збільшитиШвидкість EDDTableЗ альбомуDatabaseдатасет.
  • Багато EDDTable datasets можуть бути спливаючізберігання копії даних вNetCDFContiguous Ragged Array файли, якіERDDAP™можна швидко прочитати.

Якщо ви хочете допомогти прискорити конкретний набір даних, скористайтеся описом проблеми та роз'ємом данихdatasets.xmlі подивитися нашірозділ про отримання додаткової підтримкий  

• Якщо все вERDDAP™Про нас Головна уповільнення, проблема може бути:
  • Комп'ютер, який працюєERDDAP™може не мати достатньо пам'яті або обробки потужності. Добре бігтиERDDAP™на сучасному, багатоядерному сервері. Для важкого використання сервер повинен мати 64-розрядну операційну систему і 8 ГБ або більше пам'яті.
  • Комп'ютер, який працюєERDDAP™може також виконувати інші додатки, які споживають багато системних ресурсів. Якщо так, ви отримаєте виділений сервер дляERDDAP? Приклад (це не кінець) , ви можете отримати чотириядерний Mac Mini Server з 8 ГБ пам'яті для ~ $1100.  
• Якщо все вERDDAP™Про нас Населений пункт сповільнювати, переглядатиERDDAPР /erddap/status.htmlГоловна у Вашому браузері.
  • Чи єERDDAP™Статус сторінки не завантажується? Якщо так,МистецтвоERDDAP™й
  • Про насERDDAP™завантаження сторінок сайту повільно (Наприклад: 0) ? Це знак, що все вERDDAP™не обов'язково.ERDDAP™може бути дійсно зайнятий.
  • Для "Відповідальний час (з останнього основних LoadDatasets) ", це n= великий номер? Що вказує на те, що було багато невдалих запитів. Що може бути неприємний або початок неприємностей. Час медіана для відмов часто великі (Наприклад, 210000 мс) й що означає, що (чи?) багато активних ниток. які тиснуть (як пам'ять, відкриті файли, відкриті розетки, ...) й що не добре.
  • Для "Відповідальний час" (з останнього основних LoadDatasets) ", це n= великий номер? Що свідчить про те, що останнім часом було багато успішних запитів. Це не складно. Це просто означає, що вашERDDAP™важке використання.
  • Чи є "Кількість неткаючих ниток" подвійний типове значення? Це часто серйозні неприємності, які викликаютьERDDAP™щоб уповільнити і в кінцевому підсумку заморозити. Якщо це зберігається протягом годин, ви можете проактивноМистецтвоERDDAP™й
  • У нижній частині списку «Меморія використання» остання «Меморія: в даний час використання» значення дуже висока? Це може просто вказати високий рівень використання, або це може бути ознакою неприємностей.
  • Подивіться на список ниток і їх статус. Чи є незвичайним числом, які роблять щось незвичайним?  
• Чи є Інтернет-з'єднання вашого закладу в даний час повільний? Пошук інтернету для "інтернет-тесту швидкості" і використання одного з безкоштовних онлайн-тестів, таких як https://www.speakeasy.net/speedtest/ й Якщо підключення вашого закладу повільне, то з'єднання міжERDDAP™і віддалені джерела даних будуть повільними, і з'єднання міжERDDAP™і користувач буде повільним. Іноді ви можете вирішити це, зупинивши непотрібне використання Інтернету (наприклад, люди переглядають потокові відео або на відеоконференції) й  
• Чи є Інтернет-з'єднання користувача в даний час повільний? У вас є пошук користувачів інтернет для "інтернет тест швидкості" і використовувати один з безкоштовних онлайн тестів, таких як https://www.speakeasy.net/speedtest/ й Якщо підключення до Інтернету користувача повільне, він уповільнює їх доступ доERDDAPй Іноді вони можуть вирішити це, припинивши непотрібне використання інтернету в їх установі (наприклад, люди переглядають потокові відео або на відеоконференції) й  
• Яка?
  Про насрозділ про отримання додаткової підтримкий

Вимкніть вниз і перезапустіть

• Як відмітити вниз і перезапустити Tomcat іERDDAP™
  Вам не потрібно закривати і перезапустити Tomcat іERDDAPякщоERDDAP™тимчасово сповільнюється, уповільнюється від деяких відомих причин (як багато запитів від сценаріїв абоWMSКористувачі) або внесення змін доdatasets.xmlфайл.

Вам потрібно закривати і перезапустити Tomcat іERDDAP™якщо потрібно застосувати зміни в файлі налаштування.xml, або якщоERDDAP™заморожування, висить, або закривається вгору. В екстремальних умовах,Javaможе замерзнути на хвилину або два, поки він повністю збирав сміття, але потім відновити. Так добре чекати хвилину або два, щоб побачити, якщоJavaУкраїнськаERDDAP™дуже заморожена або якщо це просто робить довгу збирання сміття. (Якщо збирання сміття є загальною проблемою,оберіть більше пам'яті Tomcatй)

Я не рекомендую використовувати плагін Tomcat для запуску або вимкнення Tomcat. Якщо ви не повністю вимкнено і запустили Tomcat, швидше або пізніше ви будете мати проблеми пам'яті PermGen.

Для відключення і перезавантаження Tomcat іERDDAP:

• Якщо ви використовуєте Linux або Mac: (Якщо ви створили спеціальний користувач для запуску Tomcat, наприклад, tomcat, не забудьте зробити наступні кроки, як це користувач.)
   
  1. Використання кд домка Українська  
  2. Використовуйте ps -ef|tomcat, щоб знайти процес Ім'я (сподіваємось, що лише один процес буде перерахований) , які ми зв'яжемося скачати Головна  
  3. ЯкщоERDDAP™Заморожений/заблокований вгору, використання вбивця -3 скачати розповістиJava (який працює Tomcat) щоб зробити нитку відвару в файл Tomcat: домка /logs/catalina.out . Після того, як ви перезавантажити, ви можете діагностувати проблему, виявивши інформацію про відмітку ниток (і будь-яка інша корисна інформація) в домка /logs/catalina.out, а також шляхом читання відповідних частинERDDAP™архівй Якщо ви хочете, щоб вам було якомога більше інформації та дізнатися наші данірозділ про отримання додаткової підтримкий  
  4. Використовуйте ./shutdown. шемале  
  5. Використовуйте ps -ef|не вказаний.

Іноді процес java/томака займе до двох хвилин, щоб повністю закрити. Причина:ERDDAP™надсилає повідомлення на її фонові нитки, щоб розповісти їм, щоб зупинитися, але іноді вона займає ці нитки довгий час, щоб отримати в гарне місце зупинки.

6. Якщо після хвилини або так, ви можете використовувати Java / tomcat Вбити -9 скачати
   для того, щоб зупинитися у процесі java/тома. Якщо це можливо, скористайтеся тільки останнім курортом. Перемикач -9 потужний, але може викликати різні проблеми.  
7. Для відпочинкуERDDAP™, використання ./startup.sh  
8. ПереглянутиERDDAP™у вашому браузері, щоб перевірити, що решта досягла успіху. (Іноді потрібно чекати 30 секунд і спробувати завантажитиERDDAP™знову в браузері, щоб досягти успіху.)
    

• Якщо ви використовуєте Windows:  
  1. Використання кд домка Українська  
  2. Зареєструватисяshutdown.bat
      
  3. Ви можете скористатися менеджером завдань Windows (Ctrl Alt Del) щоб переконатися, щоJavaГоловнаERDDAP™процес/застосування повністю припинено. Іноді процес / аплікація займе до двох хвилин, щоб закрити. Причина:ERDDAP™надсилає повідомлення на її фонові нитки, щоб розповісти їм, щоб зупинитися, але іноді вона займає ці нитки довгий час, щоб отримати в гарне місце зупинки.  
  4. Для відпочинкуERDDAP™, використовувати стартап.bat  
  5. ПереглянутиERDDAP™у вашому браузері, щоб перевірити, що решта досягла успіху. (Іноді потрібно чекати 30 секунд і спробувати завантажитиERDDAP™знову в браузері, щоб досягти успіху.)
      

Часті коржі або фрези

ЯкщоERDDAP™стає повільним, аварійним або замороженим, щось неправильно. ДивитисяERDDAP's log файлспробувати з'ясувати причину. Якщо ви не можете, будь ласка, зв'яжіться з намирозділ про отримання додаткової підтримкий

Найпоширеніша проблема - це нездатний користувач, який працює кілька сценаріїв одночасно і/або хто робить велику кількість недійсних запитів. Якщо це відбувається, ви повинні, ймовірно, чорний список, який користувач. Якщо користувач blacklisted робить запит, повідомлення про помилку у відповідь заохочує їх на електронну пошту, щоб працювати з проблемами. Потім ви можете заохочувати їх запустити лише один скрипт у часі і зафіксувати проблеми у своєму скрипті (наприклад, запитувати дані з віддаленого набору даних, які не можуть реагувати перед тимчасом) й Головна<JavaScript licenses API Веб-сайтdatasets.xmlГоловна (/docs/server-admin/datasets#requestblacklist) й

В екстремальних умовах,Javaможе замерзнути на хвилину або два, поки він повністю збирав сміття, але потім відновити. Так добре чекати хвилину або два, щоб побачити, якщоJavaУкраїнськаERDDAP™дуже заморожена або якщо це просто робить довгу збирання сміття. (Якщо збирання сміття є загальною проблемою,оберіть більше пам'яті Tomcatй)

ЯкщоERDDAP™стає повільним або замороженим, і проблема не є непоганим користувачем або довгою збіркою сміття, ви можете зазвичай вирішити проблему за допомогоюперезапускERDDAP™й Мій досвідERDDAP™може працювати протягом місяця без необхідності перезавантаження.  

Моніторинг

Ви можете стежити за вашою допомогоюERDDAP's статус, дивлячись на/erddap/status.htmlГоловна, можливо, статистика у верхній частині. ЯкщоERDDAP™стає повільним або замороженим, і проблема не просто надзвичайно важке використання, ви зазвичай можете вирішити проблему, як правило,перезапускERDDAP™й Додаткові метрики, доступні через інтеграцію Prometheus на /erddap/metrics.

Мій досвідERDDAP™може працювати протягом місяця без необхідності перезавантаження. Вам потрібно лише перезапустити його, якщо ви хочете застосувати деякі зміни, які ви зробилиERDDAP's налаштування.xml або коли потрібно встановити нові версіїERDDAP™йJava, Tomcat або операційна система. Якщо потрібно перезапуститиERDDAP™часто щось неправильно. ДивитисяERDDAP's log файлспробувати з'ясувати причину. Якщо ви не можете, будь ласка, зв'яжіться з намирозділ про отримання додаткової підтримкий Як тимчасове рішення, ви можете спробуватиМападля моніторингуERDDAP™і перезавантажте його, якщо потрібно. Або, ви можете зробити роботу з кроном для перезавантаженняERDDAP™ (проактивно) періодично. Це може бути трохи складним для написання сценарію для автоматизації моніторингу та перезавантаженняERDDAPй Деякі поради, які можуть допомогти:

• Ви можете спростити тестування, якщо процес Tomcat все ще працює за допомогою перемикача -c з затиркою: пс -u домка Користувач |Огляд - Gifyu Що знизить вихід на "1" якщо процес томка ще живий, або "0" якщо процес зупинився.  
• Якщо ви добре з gawk, ви можете витягти з результатів пс -u домка Користувач |і використовувати процесID в інших лініях скрипта.  

Якщо ви налаштуєте Monit або cron роботу, це буде чудово, якщо ви можете поділитися деталями, щоб інші могли б допомогти намрозділ про отримання додаткової підтримкидля де можна поділитися.

Пермген

Якщо ви неодноразово використовуєте Tomcat Manager для завантаження (або Зупинити і почати) ERDDAP™йERDDAP™може не запустити і кинути java.lang. OutOfMemoryError: ПермГен. Розчин періодично (чи кожен раз?) закривати і перезапустити тормак іERDDAP™, замість простого перевантаженняERDDAPй \[Оновлення: Ця проблема була значно зменшена або фіксована вERDDAP™версія 1.24.\]
 

Увійти

• JavaScript licenses API Веб-сайт Go1.13.8
  ЯкщоERDDAP™не запускається або якщо щось не працює як очікується, дуже корисно шукати помилки та діагностичні повідомлення вERDDAP™Лог файл.
• Файл журналу bigParentПублічний Веб-сайт: www.facebook.com ( bigParentПублічний вказаний вНалаштування.xml) й Якщо немає входу. txt файл або якщо журнал. txt файл не було оновлено, оскільки ви перезавантажилиERDDAP™, дивитись вTomcat Лог Файлищоб побачити, чи є повідомлення про помилку.
• Види діагностичних повідомлень у файлі журналу:
  • Слово "error" використовується при тому, що не вдалося завершити процедуру. Хоча це дратує, щоб отримати помилку, похибки змушує вас боротися з проблемою. Наша думка полягає в тому, що краще кинути помилки, ніж матиERDDAP™не чекав.
  • Слово «потепління» використовується, коли щось вирушило неправильно, але процедура здатна бути завершена. Це досить рідко.
  • Будь-який інший - це просто інформативне повідомлення. Ви можете контролювати, скільки інформації ввімкнено [<Увійти (/docs/server-admin/datasets#loglevel) datasets.xmlй
  • Перевантаження та відповіді користувачів, які приймають >10 секунд для обробки (успішно або безуспішно) позначений " (>10 хв) ". Таким чином, ви можете шукати файл log.txt для цієї фрази, щоб знайти дані, які сповільнили перевантаження або номер запиту запитів, які були уповільнені до обробки. Ви можете переглянути вище у файлі log.txt, щоб побачити, що проблема Dataset була або що запит користувача був і хто він був. Ці повільні завантаження даних та запити користувачів іноді оподатковуютьсяERDDAPй Щоб дізнатися більше про ці запити, ви можете виявити та вирішувати проблеми.
• Інформація написана до файлу журналу на диску в досить великих шматках. Перевага полягає в тому, що це дуже ефективний --ERDDAP™ніколи не заблокувати інформацію, яка буде записана до файлу журналу. Недолік - це те, що журнал практично завжди закінчиться частковим повідомленням, яке не буде завершено до моменту написання наступного шматка. Ви можете зробити це (для миттєвого) за допомогою переглядуERDDAPСтатус на сервери https://your.domain.org/erddap/status.html (абоhttp://якщоhttpsнемає) й
• Коли файл log.txt отримує до 20 MB, Файл перейменований лог. txt.previous і створюється новий файл log.txt. Так не накопичуються файли журналу.

В налаштуваннях.xml ви можете вказати інший максимальний розмір для файлу журналу, в MegaBytes. Допускається мінімум 1 (Про нас) й Максимально допустимо 2000 (Про нас) й За замовчуванням 20 (Про нас) й Наприклад:

        <logMaxSizeMB>20</logMaxSizeMB>

• Коли ви перезавантажтеERDDAP™й ERDDAP™робить копію архіву журналу.txt та журналу. txt.previous files з печаткою часу в назві файлу. Якщо було неприємно перед перезавантаженням, це може бути корисним для аналізу цих архівованих файлів для відчуттів, як до чого було клопотання. Ви можете видалити файли архіву, якщо вони більше не потрібні.  

Статус на сервери

ERDDAP's журнал. Файл txt не призначений для запису (Хоча ви можете створити регулярні вирази, які видобують потрібну інформацію) й Він покликаний допомогти людині зрозуміти, що відбувається неправильно, коли щось буде неправильно. Коли ви подаєте звіт про помилки або проблемиERDDAP™розробники, якщо це можливо, будь ласка, вкажіть всю інформацію з файлу log.txt, пов'язаного з запитом.

З точки зору ефективності,ERDDAP™лише напишіть інформацію для входу. txt після накопичення великого шматка інформації. Отже, якщо ви відвідуєте журнал. txt прямо після того, як виникла помилка, інформація, пов'язана з помилками, не може бути записана до log.txt. Для отримання ідеальної інформації з log.txt, відвідайте свій сайтERDDAPРСтатус на серверий КолиERDDAP™Процеси, які вимагають, він перекриває всю необхідну інформацію в log.txt.

ДляERDDAP™статистика використання, будь ласка, використовуйтеФайли журналів та/або TomcatзамістьERDDAP's log.txt. ПриміткаERDDAPРСтатус на сервери (деякі) іЩоденний звіт (Детальніше) У вас є велика кількість статистичних даних, встановлених для вас.

Tomcat Логи

ЯкщоERDDAP™не запускається, тому що помилка сталася дуже рано.ERDDAP's стартап, повідомлення про помилку покажуть у файлах журналу Tomcat ( домка /логи/каталіна. сьогодні .log або домка Українська) , не вERDDAP's log.txt файлй

Статистика використання: Для більшості інформації, які хочуть зібратися з файлу журналу (Наприклад, статистика використання) , будь ласка, використовуйте файли журналу Apache та / або Tomcat. Вони приємно форматуються і мають цей тип інформації. Є безліч інструментів для їх аналізу, наприклад,Статус на серверийЕластичні пошуки КібанайЖметер, але пошук веб-сайту, щоб знайти правильний інструмент для ваших цілей.

Зауважте, що файли журналу визначаються лише користувачами як IP-адреси. Є сайти, щоб допомогти вам отримати інформацію, пов'язані з даної IP-адреси, наприклад,ЩоIsMyIPAddress, але ви зазвичай не зможете знайти ім'я користувача.

Також черезДХКIP-адреса користувача може відрізнятися на різні дні, або різні користувачі можуть мати однакову IP-адресу в різний час.

Як правило, ви можете використовувати щось, якУкраїнськай Якщо ви використовуєте зовнішні послуги, такі як Google Analytics, ви надаєте конфіденційність ваших користувачів, даючи доступ до своєї діяльності на вашому сайті, який Google (та інші?) може зберігатися назавжди і використовуватися для будь-яких цілей (мабуть, не технічно, але, ймовірно, на практиці) й Ви не погоджуєтесь на це і, ймовірно, не знаєте, що вони будуть відстежені на вашому сайті, так само, як вони, ймовірно, не знають про те, що вони відстежуються практично на всіх сайтах. Ці дні багато користувачів дуже стурбовані тим, що все, що вони роблять на вебі, контрольні ці великі компанії (English, Українська, Français...) і урядом, і знайти це незаперечне вторгнення в життя (як у книзі, 1984) й Це призвело до багатьох користувачів, щоб встановити продукти, такі якКонфіденційністьдля мінімізації відстеження, використання альтернативних браузерів, таких якВеб-камера (або вимкнути відстеження в традиційних браузерах) , і використовувати альтернативні пошукові системи, такі якDuck качка йтий Якщо ви використовуєте послугу, як Google Analytics, будь ласка, принаймні документ, його використання та наслідки, змінивши їх<СтандартPrivacyPolicy> тег вERDDAPР \[домка\]/webapps/erddap/WEB-INF/classes/gov/noaa/pfel/erddap/util/messages.xml файл.

Електронна пошта

• JavaScript licenses API Веб-сайт Go1.13.8
  ERDDAP™завжди пише текст всіх вихідних повідомлень електронної пошти в поточному день Файл LogYEAR-MM-DDD.txt у bigParentПублічний Веб-сайт ( bigParentПублічний вказаний вНалаштування.xml) й
• Якщо сервер не може надсилати повідомлення електронної пошти, або якщо ви налаштованіERDDAP™не надсилати повідомлення електронної пошти, або якщо ви просто цікаві, цей файл зручний спосіб побачити всі повідомлення електронної пошти, які було відправлено.
• Ви можете видалити файли електронної пошти попередніх днів, якщо вони більше не потрібні.  

Щоденний звіт

Щоденний звіт має багато корисної інформації -- всі відомості про вашу інформаціюERDDAPР/erddap/status.htmlГоловнаі більше.

• Це найбільш повне резюмеERDDAPСтатус на сервери
• Серед інших статистичних даних вона містить список даних, які не завантажували та винятку, які вони генерували.
• Згенерується при запускуERDDAP™ (просто післяERDDAP™обробки, які намагаються завантажувати всі дані) і генерується незабаром після 7 ранку до ранку.
• Коли він генерується, він написанийERDDAP's log.txt файлй
• Коли він генерується, він по електронній пошті<emailDailyReportsTo> та<Електронна пошта До> (які вказані вНалаштування.xml) надана вами система електронної пошти (Налаштування.xml) й

Реєстрація

Ви можете переглянути статусERDDAP™з будь-якого браузера<Головна >/erddap/status.html

• Ця сторінка генерується динамічно, тому вона завжди має статистику для вашогоERDDAPй
• Включає статистику щодо кількості запитів, використання пам'яті, слідів за допомогою ниток, завдання
• Оскільки сторінка статусу може бути розміщена будь-яким, вона не містить такої інформації, якЩоденний звітй  

Додавання / зміна даних

ERDDAP™зазвичай репродукціїdatasets.xmlкожен навантаженняDatasetsMinutes (вказаний вНалаштування.xml) й Так ви можете внести зміниdatasets.xmlбудь-який час, навіть тодіERDDAP™працює. Оголошено новий набір даних, як правило, в межах навантаженняDatasetsMinutes й При перезавантаженні змінених даних буде перезавантажено перезавантажитиВсіNMinutes старі (як зазначено вdatasets.xml) й

Прапор

• Файл прапораРозсилкаERDDAP™Намагатися перезавантажити дані як можливо,

• ERDDAP™не помітить будь-які зміни в налаштуваннях Dataset вdatasets.xmlдоERDDAP™перезавантаження даних.  

• РозкажітьERDDAP™перезавантажити дані якнайшвидше (до того, як можна перезавантажити дані)<reloadEveryNMinutes> призведе до його перезавантаження, покласти файл в bigParentПублічний Українська ( bigParentПублічний вказаний вНалаштування.xml) що має однакове ім’я, як і даніdatasetIDй Це говоритьERDDAP™намагатися перезавантажити дані ASAP. Стара версія датасета буде доступна користувачам до моменту отримання нової версії та отримання атомічно. ДляEDDGridВідФайли та EDDTable ВідФайлів, перезавантаження даних буде виглядати для нових або змінених файлів, читати ті, і ввімкнути їх у дані. Так час перевантаження залежить від кількості нових або змінених файлів. Якщо датасет має активний ="false",ERDDAP™буде видалено дані.  

Погані файли Прапор

• Один варіант каталогу / Flag є каталогом /badFilesFlag. (Додано вERDDAP™в2.12.)
  Якщо ви кладете файл у файлі bigParentПублічний /badFilesFlag каталог зdatasetIDяк ім'я файлу (вміст файлу не має значення) , як тількиERDDAP™Переглянути поганіФайли Файл Прапора,ERDDAP™буде:

  1. Видалити файл BadFilesFlag.
  2. Видалити поганіФайли.ncГоловна (якщо є один) , яка має список поганих файлів для цього набору даних. Для даних, таких якEDDGridSideBySide, які мають дочірні дані, це також видаляє поганіФайли.ncфайл для всіх дитячих даних.
  3. Перезавантажити набір даних ASAP.

Таким чином, це викликаєERDDAP™намагатися знову працювати з файлами (помилково?) позначений як поганий.  

Жорсткий Прапор

• Ще один варіант каталогу / Flag є каталогом /hardFlag. (Додано вERDDAP™в1.74.)
  Якщо ви помістили файл у bigParentПублічний /hardFlag з adatasetIDяк ім'я файлу (вміст файлу не має значення) , як тількиERDDAP™див. жорсткий Файл Прапора,ERDDAP™буде:

  1. Видалити файл HardFlag.
  2. Видалити дані зERDDAPй
  3. Видалити всю інформацію, якаERDDAP™зберігаються про цей набір даних. ДляEDDGridВідФайли та EDDTable ВідФайлів підкласів, це видаляє внутрішню базу даних файлів даних та їх зміст. Для даних, таких якEDDGridSideBySide, що мають дочірні дані, це також видаляє внутрішню базу даних файлів даних та їх вміст для всіх дитячих даних.
  4. Перезавантаження даних. ДляEDDGridВідФайли та EDDTable ВідФайлів підкласів, це викликаєERDDAP™перечитувати Всі файлів даних. Таким чином, час перевантаження залежить від загальної кількості файлів даних у даних. Через видалення данихERDDAP™коли жорсткийFlag помітили, датасет буде недоступна до моменту перезавантаження даних. Будьте хворими. Дивитися вJavaScript licenses API Веб-сайт Go1.13.8файл, якщо ви хочете бачити те, що відбувається.

Варіант hardFlag видаляє дані, що зберігаються, навіть якщо датасет не завантажується в даний часERDDAPй

Жорсткий Прапори дуже корисні, коли ви робите щось, що викликає зміну, якERDDAP™читати і інтерпретувати дані джерела, наприклад, коли ви встановите нову версіюERDDAP™або коли ви зробили зміни до визначення даних вdatasets.xml

• Зміст прапора, поганіФайлиФлаг, і жорсткихФлаг файлів неперевершені.ERDDAP™просто дивиться на ім'я файлу, щоб отриматиdatasetIDй  
• При перевантаженні великих даних,ERDDAP™виглядає безперервно для прапора, BadFilesFlag і жорсткихFlag файлів.  
• Зверніть увагу, що при перевантаженні даних всі файли в bigParentПублічний УкраїнськапердятУкраїнська datasetID Видалити каталог. Це включає.ncі файли зображень, які зазвичай є кешованими для ~ 15 хвилин.  
• Зауважте, що якщо xml даних вказанаactive="false", прапор призведе до того, що дані будуть зроблені неактивними (якщо це активний) і в будь-якому випадку, не перевантажуються.  
• ЧасERDDAP™працює LoadDatasets, щоб зробити основне перевантаження (настрочене завантаження часу, кероване<навантаженняDatasetsMinutes> або незначне перевантаження (в результаті зовнішнього або внутрішнього прапора) йERDDAP™читати всі<decompressedCacheMaxGB>,<decompressedCacheMaxMinutesOld>,<користувач>,<JavaScript licenses API Веб-сайт<уповільненняДевоблМілліс>, і<підпискаEmailBlacklist> теги та вимикачі на нові налаштування. Так ви можете використовувати прапор як спосіб отриматиERDDAP™помітити зміни тегів ASAP.

Налаштування прапора Dataset

• ERDDAP™має веб-сервіс, щоб прапори можуть бути встановлені через URL.

  • Наприклад, https://coastwatch.pfeg.noaa.gov/erddap/setDatasetFlag.txt?datasetID=rPmelTao&flagKey=123456789
    (це підроблений прапор Головна) представить прапорець на RPmelTao Dataset.
  • Для кожноїdatasetIDй
  • Адміністратори можуть бачити список адрес прапора для всіх даних, які дивляться внизу їхЩоденний звітелектронна пошта.
  • Адміністратори повинні обробляти ці URL-адреси як конфіденційні, оскільки вони дають право скидати дані, що зберігаються на волі.
  • Якщо ви думаєте, що прапорКей впало в руки когось, хто їх зловживає, ви можете змінити<JavaScript licenses API Веб-сайтНалаштування.xmlі відпочинокERDDAPзмуситиERDDAP™генерувати і використовувати інший набір прапорців.
  • Якщо ви зміните<прапорКейКей>, видалити всі старі підписки (переглянути список у вашому Щоденному звіті) і пам'ятайте, щоб відправити нові URL-адреси для людей, які ви хочете мати їх.

Система прапора може слугувати основою для більш ефективного механізму розкатуванняERDDAP™при перевантаженні даних. Наприклад, ви можете встановити дані<reloadEveryNMinutes> до великої кількості (Наприклад, 10080 = 1 тиждень) й Потім, коли ви знаєте, що дані змінилися (можливо, тому що ви додали файл до каталогу даних Dataset) , встановіть прапорець так, щоб завантажити дані якомога швидше. Прапори зазвичай спостерігаються швидко. Але якщо нитка LoadDatasets вже зайнята, вона може бути одночасно перед її доступом до прапора. Але система прапора набагато ефективніше, ніж налаштування<reloadEveryNMinutes> до невеликого числа.

Видалення даних

Якщо активується датасетERDDAP™і ви хочете деактивувати його тимчасово або назавжди:

1. Уdatasets.xmlдля набору данихactive="false"в тегі Dataset.
2. ЗареєструватисяERDDAP™видалити дані під час наступного основного перевантаження абовстановити прапорецьдля опису данихERDDAP™щоб помітити цю зміну якомога швидше. Коли ви це робите,ERDDAP™не видається жодної інформації, яку він може зберігати про дані, і, звичайно, не робить нічого до фактичних даних.
3. Після цього ви можете залишити активні дані, що зберігаються в Інтернетіdatasets.xmlабо видалити його.  

Коли дані перевантажуються?

Нитка називається RunLoadDatasets є основною ниткою, яка контролює при перевантаженні даних. Пробіг Стручки даних назавжди:

1. RunLoadDatasets призначає поточний час.

2. RunLoadDatasets починає нитку LoadDatasets, щоб зробити "majorLoad". Ви можете переглянути інформацію про поточний/передній великийЗавантажити у верхній частині вашогоERDDAPР /erddap/status.htmlГоловна (наприклад,Приклад сторінки) й

   1. LoadDatasets робить копіюdatasets.xmlй
   2. LoadDatasets читати через копіюdatasets.xmlі, для кожного набору даних, див. у разі потреби даних (Увійти) завантажені або видалені.
      • ЯкщоУвійтифайл існує для цього набору даних, файл видаляється, і датасет видаляється, якщо активна ="false" або (Увійти) завантажено, якщо активна (незалежно від віку даних) й
      • Якщо ці даніset.xml є активним ="false" і датасет наразі завантажується (активний) , він розвантажений (видалення) й
      • У разі, якщо датасет вже не завантажується, він завантажується.
      • Якщо датасет вже завантажується, набір даних перевантажується, якщо вік даних (час з останнього навантаження) більше, ніж його<перевантаження КоженNMinutes> (За замовчуванням = 10080 хвилин) , в іншому випадку датасет залишається самостійно.
   3. Навантажувачі LoadDatasets.

Нитка RunLoadDatasets чекає на нитку LoadDatasets для обробки. Якщо LoadDatasets більше, ніж навантаженняDatasets Мінуси (як зазначено в налаштуваннях.xml) , RunLoadDatasets перериває нитку LoadDatasets. В ідеалі, LoadDatasets помітить переривання і закінчення. Але якщо вона не помітить переривання протягом хвилини, RunLoadDatasets називає навантаженняDatasets. Увійти () , яка небажана. 3. В той час як початок останнього значкаЗавантажити менше навантаженняДатасети Мінуси (як зазначено в налаштуваннях.xml, наприклад, 15 хвилин) , RunLoadDatasets багаторазово виглядає дляУвійтиФайли в bigParentПублічний /flag каталог. Якщо знайдено один або більше прапорів, вони видаляються, і RunLoadDatasets запускає нитку LoadDatasets, щоб зробити "minorLoad" (JavaScript licenses API Веб-сайт) й Ви не можете побачити неповну інформацію про вашу країнуERDDAPР/erddap/status.htmlГоловнай

1. LoadDatasets робить копіюdatasets.xmlй
2. LoadDatasets читати через копіюdatasets.xmlі для кожного набору даних, для якого був файл прапора:
   • Якщо ці даніset.xml є активним ="false" і датасет наразі завантажується (активний) , він розвантажений (видалення) й
   • Якщо датасет має активний хід, то дані (Увійти) завантажений, незалежно від віку. Не відхилені дані ігноруються.
3. Навантажувачі LoadDatasets.
4. Пробіг Datasets йде на крок 1.

Примітки:

• Почати Коли ви перезавантажтеERDDAP™Завантажено всі дані з активними="true".

• Кошик Коли дані (Увійти) завантажений, кеш (у тому числі будь-які файли відповіді на дані та/або файли зображень) емальований.

• Лоти даних Якщо у вас є багато даних і / або один або кілька даних повільно (Увійти) навантаження, нитка LoadDatasets може зайняти довгий час, щоб закінчити свою роботу, можливо, навіть довше, ніж навантаженняDatasets Протоколи.

• Один LoadDatasets нитка Не більше одного навантажувача LoadDatasets. Якщо прапорець встановлений, коли LoadDatasets вже працює, прапор, ймовірно, не буде помічений або діяв до тих пір, поки не буде виконано обробку ниток LoadDatasets. Ви можете сказати: "Що таке приплив. Чому б ви не просто запустили пучок нових ниток для завантаження даних? Але якщо у вас є багато даних, які отримують дані з одного віддаленого сервера, навіть одна нитка LoadDatasets поставить суттєвий стрес на віддаленому сервері. Так само, якщо у вас є багато даних, які отримують дані з файлів на одному RAID. Швидко зменшуючи повернення з одного навантажувача LoadDatasets.

• Прапор = ASAP Налаштування прапора просто сигналів, які дані повинні бути (Увійти) не обов'язково. Якщо на даний момент відсутня нитка LoadDatasets, то датасет почне перезавантаження протягом декількох секунд. Але якщо на даний момент запущена нитка LoadDatasets, то дані, ймовірно, не будуть перевантажені до тих пір, поки не закінчиться нитка LoadDatasets.

• Прапорне видалення файлів В цілому, якщо ви кладете файл прапора в bigParentПублічний /erddap/flag каталог (відвідавши прапор даних Урл або введення фактичного файлу) Після того, як файл прапора видалено.

• Прапор versus невеликий перевантаження Проксимус Якщо у вас є якийсь зовнішній спосіб дізнатися, коли потрібно перезавантажити дані і якщо це зручно для вас, найкращий спосіб переконатися, що датасет завжди є актуальним для встановлення його перезавантаження КожнаNMinutes до великої кількості (10080?) і встановити прапор (через скрипт?) коли потрібно перезавантажити. Це система, якаEDDGridВідErddap та EDDTableЗ альбомуErddap отримувати повідомлення, які потрібно перезавантажити дані.

• Пошук в log.txt Лоти відповідної інформації написані до bigParentПублічний /logs/log.txt файл. Якщо ви не працюєте, ви очікуєте, дивитесь у журналі. txt дозволяє діагностувати проблему, виявивши саме те, щоERDDAP™з.

  • Пошук "majorLoad=true" для початку основних ниток LoadDataset.

  • Пошук "majorLoad=false" для початку дрібних навантажувальних ниток.

  • Пошук заданих данихdatasetIDдля отримання інформації про це (Увійти) навантажений або передається.

     

Випадкові відповіді

В цілому,ERDDAP™немає кешу (Магазини) відповіді на запити користувачів. Зрозуміло, що більшість запитів буде дещо різним, тому кеш не буде дуже ефективним. Найбільші винятки - запити на файли зображень (Що таке як браузери та програми, такі якGoogle Earthчасто re-request зображень) та запити.ncФайли (тому, що вони не можуть бути створені на) йERDDAP™зберігає кожен файл кешування даних у різних каталогах: bigParentПублічний Українська datasetID Оскільки один каталог кешів може мати величезну кількість файлів, які можуть стати повільними. Файли видаляються з кешу на одну з трьох причин:

• Всі файли в цьому кеші видаляються, колиERDDAP™перезавантажити.
• Періодично, будь-який файл більше<cacheMinutes> старий (як зазначено вНалаштування.xml) буде видалено. Видалення файлів в кеші на основі віку (не Least-Recently-Усе) гарантує, що файли не залишаються в кеші дуже довго. Незважаючи на те, що це може здатися, що заданий запит завжди повинен повернути той самий відгук, який не вірний. Наприклад,tabledapзапит, який включає &time> деякі час зміниться, якщо нові дані надходять на дані. І запит на сітчастий апарат, який включає\[останні\]за часовий вимір буде змінюватися, якщо нові дані надходять на дані.
• Зображення, що відображають похибки, поставляються лише за кілька хвилин (це складна ситуація) й
• Кожен раз перезавантажується датасет, всі файли в цьому кеші даних видаляються. За запитами може бути"last"Індекс в сітчастому датасеті, файли в кеші можуть бути недійсними, коли перезавантаження даних.  

Інформація для зберігання даних

Для всіх типів даних,ERDDAP™збирає багато інформації при завантаженні даних і зберігає, що пам'яті. Це дозволяєERDDAP™дуже оперативно реагувати на пошуки, запити на списки даних, а також запити на інформацію про дані.

Для декількох типів даних (невагомоEDDGridСтатус на сервериEDDGridЗ Xxx Файли та EDDTableЗ альбому Xxx Файли) йERDDAP™зберігає на диску деяку інформацію про дані, що використовується при перевантаженні даних. Це значно збільшує процес перевантаження.

• Деякі файли даних, що містять дані, є людськими.jsonФайли і зберігаються в bigParentПублічний Українська last2LettersOfDatasetID/datasetID й
• ERDDAP™тільки видаліть ці файли в незвичайних ситуаціях, наприклад, якщо ви додаєте або видалити змінну з данихdatasets.xmlгорб.
• Більшість змін до данихdatasets.xmlштикли (Наприклад, зміна глобального атрибуту або змінного атрибуту) не потрібно, щоб видалити ці файли. Регулярне перевантаження даних буде обробляти ці види змін. Ви можете розповістиERDDAP™перезавантажити дані ASAP за допомогою налаштуванняУвійтидля набору даних.
• Аналогічно, додавання, видалення або зміна файлів даних буде оброблятися, колиERDDAP™перезавантаження даних. АлеERDDAP™помітить цей тип зміни найближчим часом і автоматично, якщо датасет використовується [<JavaScript licenses API Веб-сайт (/Документи/сервер-адміністрування/datasets#updateeverynmillis) система.
• Щоб видалити ці файли потрібно лише рідко. Найпоширеніша ситуація, де потрібноERDDAP™видалити збережену інформацію (тому, що це застарілий / неправильний і не буде автоматично закріпленийERDDAP) коли ви вносите зміни до данихdatasets.xmlкурка, яка впливає на те, якERDDAP™інтерпретує дані у файлах вихідних даних, наприклад, змініть рядок форматування часу.
• Щоб видалити файли даних, що зберігаються в даних зERDDAP™що працює (навіть якщо дані не завантажуються) , встановитижорсткий Прапордля цього набору даних. Пам'ятайте, що якщо датасет є агрегацією великої кількості файлів, перевантаження даних може зайняти значний час.
• Щоб видалити файли, що зберігаються дані, колиERDDAP™не працює, працюєДатидля даних (що простіше, ніж з'єднання, в якому каталог знаходиться інформація і видалення файлів вручну) й Пам'ятайте, що якщо датасет є агрегацією великої кількості файлів, перевантаження даних може зайняти значний час.  

Статус на сервери

ERDDAP™не вдається впасти або заморожувати. Якщо це робить, одна з найбільш ймовірних причин є недостатньою пам'яті. Ви можете контролювати використання пам'яті, шукаючи на веб-сторінці Status.html, який включає в себе рядок, як

0 gc дзвінки, 0 запитів, що скидаються, і 0 небезпечних Пам'ятьПосилання з останнього основних LoadDatasets

(це найсвіжіші події)
і MB inUse і gc Calls стовпці в таблиці статистики. Ви можете розповісти про те, як пам'ятьERDDAP™дивитись ці цифри. Більшість чисел вказують більше стресів.

• MB inUse завжди повинен бути менше половиниНалаштування пам'яті Xmxй Більшість чисел є поганим знаком.
• gc дзвінків вказує на кількість разівERDDAP™за допомогою сміттєвого колектора, щоб спробувати полегшити використання високих пам'яті. Якщо це отримується >100, це ознака серйозних труднощів.
• вона вказує на кількість вхідних запитів, які (з номером помилки HTTP 503, Сервіс) тому, що використання пам'яті було занадто високим. В ідеалі немає запитів. Якщо кілька запитань прокидається, але ознака серйозних труднощів, якщо багато хто прокидається.
• небезпечний Пам'ятьповідомлень - Якщо використання пам'яті стає небезпечним,ERDDAP™надсилання електронної пошти на електронну адресу, вказану в<Електронна пошта До> (Налаштування.xml) з переліком активних запитів користувачів. Як говорить лист, будь ласка, пересилайте ці листи до Кріса. Джон в ноа. gov, тому ми можемо використовувати інформацію для вдосконалення майбутніх версійERDDAPй  

Якщо виERDDAP™пам'яті:

• Розглянуто усі дані пам’яті вашого сервераERDDAP™шляхом зміни TomcatНалаштування пам'яті ‐Xmxй
• Якщо ви вже виділили стільки пам'яті, скільки ви можетеERDDAP™через -Xmx, розгляньте більше пам'яті для вашого сервера. Пам'ять дешево (у порівнянні з ціною нового сервера або вашого часу) ! Потім збільшити -Xmx.
• Уdatasets.xml, набір<nGridThreads> до 1, набір<nTableThreads> до 1, і встановити<ipAddressMaxRequestsActive> до 1.
• Дивитися запити в log.txt для неефективних або проблемних (але законний) запити. Додати IP-адреси<JavaScript licenses API Веб-сайт вdatasets.xmlй Повідомлення про помилку чорного списку включає в себеERDDAP™Адреса електронної пошти адміністратора з надії, що користувачі контактують з вами, щоб ви могли працювати з ними для використанняERDDAP™ефективніше. Для того, щоб ви могли працювати з користувачами, якщо вони контактують з вами.
• Переглядайте запити в log.txt для запитів від шкідливих користувачів. Додати IP-адреси<JavaScript licenses API Веб-сайт вdatasets.xmlй Якщо подібні запити надходять з декількох аналогічних IP-адрес, ви можете використовувати деякі послуги, які (Наприклад, https://www.whois.com/whois/ ) щоб дізнатися діапазон IP-адрес з цього джерела і чорний список усього діапазону. Дивитися [<JavaScript licenses API Веб-сайт (/docs/server-admin/datasets#requestblacklist) й  

ОфМемори

Коли ви встановилиERDDAP™, вкажіть максимальну кількість пам'ятіJavaможе використовуватися черезНалаштування \-Xmxй ЯкщоERDDAP™коли-небудь потрібна більше пам'яті, ніж це, це буде кинути java. ланч. OutOfMemoryError.ERDDAP™має багато перевірок, щоб увімкнути його для обробки цієї помилки (наприклад, так що неприємний запит не буде, але система зберігає свою цілісність) й Але іноді, цілісність системи помилок і вам доведеться перезапуститиERDDAPй Сподіваємось, що рідко.

Швидкий і простий розчин на OutOfMemoryError для збільшенняНалаштування \-Xmx, але ви не повинні постійно збільшувати налаштування -Xmx до більш 80% фізичної пам'яті в сервері (Наприклад, для сервера 10GB, не встановлено -Xmx вище 8GB) й Пам'ять є відносно дешевою, тому це може бути непоганим варіантом для збільшення пам'яті на сервері. Але якщо ви збільшили пам'ять в сервері або з інших причин не можете збільшити його, вам потрібно мати справу більш безпосередньо з причиною OutOfMemoryError.

Якщо ви шукаєтеJavaScript licenses API Веб-сайт Go1.13.8файл, щоб побачити те, щоERDDAP™При виникненні помилки, ви можете, як правило, отримати хороший клітка, щоб викликати OutOfMemoryError. Є багато можливих причин, в тому числі:

• Один файл даних може викликати зовнішній вигляд, зокрема, величезні файли даних ASCII. Якщо це проблема, вона повинна бути очевидною, оскількиERDDAP™не буде завантажувати дані (для табличних даних) або читати дані з цього файлу (для сітчастих даних) й Розчин, якщо інтуїтивно зрозумілий, щоб розбити файл на декілька файлів. В ідеалі можна розбити файл на логічні шматки. Наприклад, якщо файл має 20 місяців, варто розбити його на 20 файлів, кожен з 1 місяць варто даних. Але є переваги навіть якщо основний файл розщеплюється довільно. Цей підхід має декілька переваг: a) Це знизить пам'ять, необхідну для читання файлів даних до 1/20, тому що тільки один файл прочитаний в часі. б) НерідкоERDDAP™може мати справу з запитами набагато швидше, тому що він повинен виглядати лише в одному або декількох файлах, щоб знайти дані для даного запиту. з) Якщо виконується збір даних, то існуючі файли 20 можуть залишатися незмінними, і вам потрібно лише змінити один, невеликий, новий файл, щоб додати наступний місяць варто даних до набору даних.
• Один величезний запит може викликати OutOfMemoryError. Зокрема, деякі зorderByпараметри мають всю відповідь на пам'ять для другого (Наприклад, щоб зробити сортування) й Якщо відповідь величезна, вона може призвести до помилки. Ви завжди будете деякі запити, які є, в різних способів, занадто великий. Ви можете вирішити проблему, збільшуючи налаштування -Xmx. Або, ви можете заохочувати користувача, щоб зробити ряд менших запитів.
• Неймовірно, що велика кількість файлів призведе до індексу файлівERDDAP™створює, щоб бути таким великим, що файл призведе до помилки. Якщо ми припустимо, що кожен файл використовує 300 байтів, то 1,000,000 файли займе лише 300MB. Але дані з величезною кількістю файлів даних викликають інші проблемиERDDAP, ймовірно, він займає довгоERDDAP™Щоб відкрити всі файли даних при відповіді на запит користувача на дані. У цьому випадку розчин може бути сукупний файлів, щоб вони мали файли даних. Для табличних даних часто чудово, якщо ви зберігаєте дані з поточного набору даних вПанчохи Дискретні шамплінг геометереї (ДСГ) Contiguous Ragged Array Файли даних (запит.ncФайли CF відERDDAP) а потім зробіть новий набір даних. Ці файли можуть бути використані дуже ефективно зERDDAPРEDDTableЗ альбомуNcCFFilesй Якщо вони логічно організовані (кожен з даними для шматка простору і часу) йERDDAP™може отримувати дані з них дуже швидко.
• Для табличних даних, які використовують [<subsetVariables>] (/Документи/сервер-адміністрування/datasets#subsetvariables) атрибут,ERDDAP™робить таблицю унікальних комбінацій значень змінних. Для величезних даних або коли<subsetVariables> is misconfigured, цей стіл може бути досить великим, щоб викликати OutOfMemoryErrors. Розчин для видалення змінних з переліку<subsetVariables> для яких є велика кількість значень, або видалення змінних, як потрібно до розміру цього столу. ЗапчастиниERDDAP™використовуватиsubsetVariablesсистема не працює добре (Наприклад, завантаження веб-сторінок дуже повільно) коли в таблиці більше 100 000 рядків.
• Завжди можливо, що кілька одночасних великих запитів (на дійсно зайнятийERDDAP) може поєднуватися з проблемами пам'яті. Наприклад, 8 запитів, кожен за допомогою 1 Гб кожного, викличе проблеми для налаштування -Xmx=8 Гб. Але це рідко, що кожен запит буде одночасно на вершині його пам'яті. Тексти пісень, а це означає: І ви легко зможете побачити, що виERDDAP™дуже зайнятий великими запитами. Але це можливо. Важко вирішити цю проблему, крім збільшення налаштування -Xmx.
• Є інші сценарії. Якщо ви шукаєтеJavaScript licenses API Веб-сайт Go1.13.8файл, щоб побачити те, щоERDDAP™Якщо виникне помилка, ви можете, як правило, отримати хороший клітка, щоб викликати. У більшості випадків є спосіб мінімізувати цю проблему (Переглянути вище) , але іноді вам просто потрібно більше пам'яті і вище -Xmx налаштування.  

Too Багато відкритих файлів

Почати зERDDAP™в2.12,ERDDAP™має систему для моніторингу кількості відкритих файлів (які містять розетки та інші речі, не просто файли) на комп'ютерах Linux. Якщо деякі файли помилково не закриваються ("витік ресурсів") , кількість відкритих файлів може збільшитися до тих пір, поки вона перевищує максимальну допустиму операційну систему та багато дійсно поганих речей. Тепер, на Linux комп'ютери (оскільки інформація не доступна для Windows) :

• Є стовпчик "Відкрити файли" на далекому праві статусу.html веб-сторінку показує відсоток максимальних файлів відкритим. На Windows просто показує «?».
• КолиERDDAP™генерує цю інформацію в кінці кожного основного перевантаження даних, він буде друкувати в журнал. Файл txt: JavaScript licenses API Веб-сайт струм Макс= Макс. %= відсоток
• Якщо відсоток є >50%, електронна пошта надсилається наERDDAP™адміністратор і електронна пошта Про нас Для електронних адрес.

Якщо відсоток 100%,ERDDAP™страшні неприємності. Не дайте це. Якщо відсоток >75%,ERDDAP™близько до страшних неприємностей. Це не океї. Якщо відсоток >50%, це можливо, що шипка спричинить відсоток, щоб вбити 100. Якщо відсоток коли-небудь >50%, ви повинні:

• Підвищити максимальну кількість відкритих файлів, дозволених як:
  • Зробивши ці зміни в кожен раз, перш ніж почати томка (покласти їх у файл Tomcat.sh?) : ліміт -Хн 16384 Бюстгальтер -Sn 16384
  • Або внесення постійної зміни шляхом редагування (як корінь) /etc/security/limits.conf та додавання ліній: код товару: 16384 код товару: 16384 Ті команди припускають, що користувач, що працює Tomcat, називається "tomcat". На багатьох варіантах Linux вам потрібно перезапустити сервер, щоб застосувати ці зміни. Для обох варіантів, на прикладі «16384». Ви вибрали номер, який ви думаєте, краще.
• РеквізитиERDDAPй Операційна система закриє будь-які відкриті файли.  

Заборонені запити

• Незвичайна активність: >25% звернень не вдалося
  В рамках кожного перезавантаженняДатасет, який зазвичай кожні 15 хвилин,ERDDAP™дивиться на відсоток запитів, які не вдалося з останнього перезавантаженняДатасетів. Якщо це >25%,ERDDAP™надсилання електронного листа на електронну поштуERDDAP™адміністратор з темою "Незвичайна активність: >25% звернень не вдалося". Ця електронна адреса включає в себе Таллінн поруч з низу під назвою "Requester's IP адреса (Змішані) (з останньої головки LoadDatasets) ". Пошук Він розповідає про IP-адресу комп'ютерів, що робить найбільш невдалі запити. Ви можете шукати дані IP-адреси в\[bigParentПублічний\]/ журнали /JavaScript licenses API Веб-сайт Go1.13.8файл і подивитися, який тип запитів, які вони роблять.

Ви можете використовувати IP номер користувача (наприклад, з https://whatismyipaddress.com/ip-lookup ) намагатися з'ясувати, хто або який користувач. Іноді, що розповість вам досить точно, що користувач є (e.g., це веб-релізатор пошукових систем) й Більшість часу це просто дає вам чіткість (Наприклад, це комп'ютер Amazonaws, це з деяких університетів, це хтось в певному місті) й

Шукаємо фактичний запит, IP номер і повідомлення про помилку (всіJavaScript licenses API Веб-сайт Go1.13.8) для серії помилок ви можете, як правило, з'ясувати в основному, що йде неправильно. У моєму досвіді є чотири загальні причини багатьох невдалих запитів:

1. Запити шкідливі (наприклад, пошук слабких сторін безпеки, або внесення запитів, а потім скасування їх до завершення) й Ви повинні використовувати<JavaScript licenses API Веб-сайт вdatasets.xmlв чорний список тих IP-адрес.

2. Пошуковий двигун є навігацією намагатися URL, що вказані вERDDAP™веб-сторінки та ISO 19115 документи. Наприклад, є багато місць, які списують основуOPeNDAPURL, наприклад, https://coastwatch.pfeg.noaa.gov/erddap/griddap/jplMURSST , до якого користувач повинен додати тип файлу (Наприклад, .das, .dds, Українська) й Але пошуковий двигун не знає цього. І запит на базову URL-адресу не виходить. Схожі ситуації, коли пошуковий двигун генерує дивні запити або намагається заповнити форми для того, щоб потрапити на веб-сторінки "приховані". Але пошукові системи часто роблять погану роботу цього, що веде до невдач. Розчин: створенняJavaScript licenses API Веб-сайт Go1.13.8файл.

3. Деякі користувач працює скрипт, який неодноразово просить щось, що не є. Може бути це датасет, який використовується для існують, але зараз (тимчасово або назавжди) й Скрипки часто не очікують цього, і тому не варто турбуватися про це. Таким чином, скрипт просто зберігає запити та запити, які не відповідають. Якщо ви можете вгадати, що користувач є (від IP номер вище) , зв'яжіться з ними і розкажіть, що дані не доступні і попросіть їх змінити свій скрипт.

4. Щось дійсно неправильно з деякими даними. Як правило,ERDDAP™зробить неактивні дані. Іноді це не означає, що всі запити до нього просто призводять до помилок. Якщо так, зафіксуйте проблему з даними (якщо ви не можете) встановити даніactive="false"й Звичайно, це може призвести до проблеми #2.

Іноді помилки не так погано, можливо, якщоERDDAP™може виявити помилку і реагувати дуже швидко (<=1мс. Так ви не можете прийняти дії.

Якщо все інше не вдається, існує універсальне рішення: додавати номер IP користувача до [<JavaScript licenses API Веб-сайт (/docs/server-admin/datasets#requestblacklist) й Це не так погано або як різкий варіант, як це може здатися. Після того, як користувач буде отримувати повідомлення про помилку, говорячи s / він був чорним, і розказав їм, що ваш (Про насERDDAP™Адміністратор) адреса електронної пошти. Іноді користувач зв'яжеться з вами і ви можете вирішити проблему. Якщо користувач не контактує з вами, і ви побачите точну ж поведінку, яка йде з іншого IP номеру наступного дня. Blacklist новий IP номер і сподіватися, що вони в кінцевому підсумку отримають повідомлення. (Або це ваш день заземлення, з якого ви ніколи не втечу. Про нас)

JavaScript licenses API Веб-сайт Go1.13.8

Пошукові компанії використовують веб-кралери (Українська, Русский, Беларуская Боти) вивчити всі сторінки на сайті, щоб додати вміст до пошукових систем. ДляERDDAP™, що в основному добре.ERDDAP™має безліч посилань між сторінками, тому crawlers знайдуть всі веб-сторінки і додають їх до пошукових систем. Потім користувачі пошукових систем зможуть знайти дані на вашому пристроїERDDAPй

На жаль, деякі веб-сторінки (Українська, Русский, Беларуская Боти) Для отримання додаткового вмісту в даний час заповнення та подання форм. Для інтернет-магазинів це чудово. Але це страшно дляERDDAP™тому що це просто призводить до нескінченний кількість небажаних і незворотних спроб перекручувати фактичні дані. Це може призвести до більшої кількості запитів, ніж з усіх інших користувачів. І заповнює пошукову систему з гоофією, безконтактними субсетами фактичних даних.

Щоб розповісти веб-сторінки, щоб зупинити заповнення форм і, як правило, не дивлячись на веб-сторінки, вони не повинні шукати, потрібно створити текстовий файл, який називаєтьсяJavaScript licenses API Веб-сайт Go1.13.8в кореневому каталогі документів вашого веб-сайту ієрархії так що його можна переглянути будь-яким, наприклад, http://*www.your.domain*/robots.txt й Якщо ви створюєте нові роботи. Файл txt, це хороший початок:

    User-Agent: \\*
    Disallow: /erddap/files/ 
    Disallow: /files/ 
    Disallow: /images/ 
    Disallow: /\\*?
    Disallow: /\\*?\\*
    Disallow: /\\*.asc\\*
    Disallow: /\\*.csv\\*
    Disallow: /\\*.dods\\*
    Disallow: /\\*.esriAscii\\*
    Disallow: /\\*.esriCsv\\*
    Disallow: /\\*.geoJson\\*
    Disallow: /\\*.htmlTable\\*
    Disallow: /\\*.json\\*
    Disallow: /\\*.mat\\*
    Disallow: /\\*.nc\\*
    Disallow: /\\*.odvTxt\\*
    Disallow: /\\*.tsv\\*
    Disallow: /\\*.xhtml\\*
    Disallow: /\\*.geotif\\*
    Disallow: /\\*.itx\\*
    Disallow: /\\*.kml\\*
    Disallow: /\\*.pdf\\*
    Disallow: /\\*.png\\*
    Disallow: /\\*.large\\*
    Disallow: /\\*.small\\*
    Disallow: /\\*.transparentPng\\*
    Sitemap: http://***your.institutions.url***/erddap/sitemap.xml

(Але замінити English, Українська, Français... з вамиERDDAP's base URL.)
Вже кілька днів для пошукових систем можна помітити і за зміни, які впливають на ефект.  

Карта сайту

Як https://www.sitemaps.org сайт коментує:

Sitemaps are an easy way for webmasters to inform search engines about pages on their sites that are available for crawling. In its simplest form, a Sitemap is an XML file that lists URLs for a site along with additional metadata about each URL (when it was last updated, how often it usually changes, and how important it is, relative to other URLs on the site) so that search engines can more intelligently crawl the site.

Web crawlers usually discover pages from links within the site and from other sites. Sitemaps supplement this data to allow crawlers that support Sitemaps to pick up all URLs in the Sitemap and learn about those URLs using the associated metadata. Using the Sitemap protocol does not guarantee that web pages are included in search engines, but provides hints for web crawlers to do a better job of crawling your site.

Насправді, так якERDDAP™Про насRESTful, пошукові системи можуть легко переповнювати вашERDDAPй Але вони прагнуть зробити це частіше (щоденно!) не потрібно (місяць?) й

• З огляду на те, що кожен пошуковий двигун може бути зміннимERDDAP™кожен день, це може призвести до багатьох непотрібних запитів.

• Про насERDDAP™генерує файл Sitemap.xml для вашогоERDDAP™що говорить пошукові системи, які виERDDAP™тільки потрібно розвести місяць.

• Ви повинні додати посиланняERDDAP's sitemap.xml до вашогоJavaScript licenses API Веб-сайт Go1.13.8Файл: Карта сайту: http://**www.yoursite.org**/erddap/sitemap.xml

• Якщо ви не здавалося б, отримувати повідомлення до crawlers, ви можете розповісти про різні пошукові системи про файл Sitemap.xml, відвідавши ці URL-адреси (але змінити Імпорт до акроніму установи або скорочень Сайт: www.yoursite.org до вашогоERDDAPВеб-сайт) :

  • https://www.bing.com/webmaster/ping.aspx?siteMap=http://**www.yoursite.org**/erddap/sitemap.xml

  • https://www.google.com/ping?sitemap=http://**www.yoursite.org**/erddap/sitemap.xml(I Подумайте, що вам потрібно лише ping кожного пошукового двигуна один раз. Після цього пошукові системи виявлятимуться зміни в Sitemap.xml.  

Поширення даних / Розподіл даних Мережі:PushіPullТехнології

• Нормально,ERDDAP™як посередництво: вона вимагає запиту від користувача; отримує дані з джерела даних віддалених даних; реформує дані; і надсилає її користувачеві.
• PullТехнології:ERDDAP™також має можливість активно отримувати всі наявні дані з джерела даних дистанційних даних ізберігати локальну копію данихй
• PushТехнології: За допомогоюERDDAPРпослуги підписки, інші сервери даних можуть бути повідомлені, як тільки нові дані доступні так, щоб вони могли запитати дані (шляхом витягування даних) й
• ERDDAPРEDDGridВідErddapіEDDTableЗ альбомуErddapвикористанняERDDAPПослуги підписки тасистема прапоратому, що це буде повідомлено відразу, коли доступні нові дані.
• Ви можете поєднувати ці з великим ефектом: якщо ви обмотуєтеEDDGridПартнерствоEDDGridEnglish, Українська, Français... (або загорнути EDDTableCopy навколо EDDTableЗ альбомуErddap dataset) йERDDAP™буде автоматично створювати та підтримувати локальну копію іншоїERDDAP's dataset.
• Оскільки послуги підписки, які працюють в найкоротші терміни, як нові дані доступні, швидко розподіляє дані технології (протягом декількох секунд) й

Ця архітектура поставляє коженERDDAP™адміністратор, який вимагає визначення даних для його/їїїERDDAP™приходить.

• ІншеERDDAP™Адміністратори можуть зробити те ж саме. Немає необхідності узгодження між адміністраторами.
• Якщо багатоERDDAP™посилання адміністраторів на одинERDDAPs, сформована мережа розподілу даних.
• Дані будуть швидко, ефективно та автоматично розповсюджені з джерел даних (ERDDAPй інші сервери) на сайти перерозподілу даних (ERDDAPй) в мережі.
• НаданіERDDAP™може бути як джерело даних для деяких даних, так і для інших даних.
• Отримана мережа є грубо схожою з мережами розподілу даних, встановленими програмами, такими якUnidata's IDD/IDM, але менш жорсткі структуровані.  

Безпека, аутентифікація та авторизація

За замовчуванням,ERDDAP™працює як повністю публічний сервер (використанняhttpта/абоhttps) без входу (автентифікації) система та обмеження доступу до даних (авторизація) й

Безпека

Якщо ви хочете обмежити доступ до деяких або всіх даних до деяких користувачів, ви можете використовуватиERDDAP- вбудована система безпеки. При використанні системи безпеки:

• ERDDAP™Зареєструватисяконтроль доступу на основі ролейй
  • Про насERDDAP™Адміністратор визначає користувачів з [<Головна > (JavaScript licenses API Веб-сайт Go1.13.8) мітка вdatasets.xmlй Кожен користувач має ім'я користувача, пароль (якщо автентифікація=студент) і одна або більше ролей.
  • Про насERDDAP™Адміністратор визначає, які ролі мають доступ до заданої інформації через [<Доступно (JavaScript licenses API Веб-сайт Go1.13.8) мітка вdatasets.xmlдля будь-яких даних, які не мають доступу до публічних даних.
• Статус на сервери (і посилання на логін) буде показано на верхній частині кожної сторінки. (Але з'явиться логат у користувачаERDDAP™якщо він використовуєhttpURL.)
• Якщо<JavaScript licenses API Веб-сайт Go1.13.8 http URL-адреса, користувачі, які не реєструються в травніERDDAPР http посилання. Якщо<baseHttpsUrl> також вказаний, користувачі, які не зареєстровані, також можуть використовуватиhttpsпосилання.
• HTTPS Тільки -- Якщо<JavaScript licenses API Веб-сайт Go1.13.8 https URL, користувачів, які не зареєстровані в (не примусово) використовуватиERDDAPР https URL-адреси -- всі посилання на посиланняERDDAP™веб-сторінки будуть посилатися наhttpsпосилання.

Якщо ви хочете змусити користувачів використовуватиhttpsURL-адреса, додати зворотну лінію всередині<VirtualHost \*:80> секція в файлі конфігурації Apache (зазвичайhttpд.conf) , наприклад,

    <VirtualHost \\*:80>
        \\[...\\]
        ServerName example.com
        Redirect permanent / https://example.com/
    </VirtualHost>

Якщо ви хочете, є додатковий метод, щоб змусити використанняhttps: HTTP Strict Транспортна безпека (ХСТС) й Для його використання:

1. Увімкнути модуль заголовків Apache: a2enmod заголовки
2. Додайте додатковий заголовок на директиву HTTPS VirtualHost. Max-age вимірюється в секундах і може бути встановлена на деяку довге значення.

        <VirtualHost \\*:443>
            # Guarantee HTTPS for 1 Year including Sub Domains 
            Header always set Strict-Transport-Security "max-age=31536000; includeSubDomains"

Будь ласка, зверніть увагу, що цей заголовок діє тільки на HTTPS VirtualHost.

Причина не змусити користувачів використовуватиhttpsURL-адреси: посилання SSL/TLS займає час, щоб встановити, а потім займає час для шифрування та розшифрування всієї інформації, що передається між користувачем та сервером. Але деякі установи вимагаютьhttpsтільки.

• Користувачі, які зареєстровані в MUSTERDDAPР https посилання. Якщо вони використовуютьhttpURL-адресиERDDAP™не ввійдіть. Це забезпечує конфіденційність повідомлень і допомагає запобігтизйомка сеансу та роз'ємй
• Будь-який, хто не ввійшов у доступ до публічних даних. За замовчуванням, приватні дані не з'являються у списку даних, якщо користувач не зареєстрований. Якщо адміністратор встановлює налаштування.xml<СписокПриватДатасетс> true, вони з'являться. Інтемпти для запиту даних з приватних даних (якщо користувач знає URL) буде переадресовано на сторінку входу.
• Будь-який, хто увійшов у систему, зможе бачити та вимагати дані з будь-якого публічного збору даних та будь-якого приватного облікового запису, до якого їх роль дозволяє їм отримати доступ. За замовчуванням, приватні дані, до яких користувач не має доступу до даних. Якщо адміністратор встановлює налаштування.xml<СписокПриватДатасетс> true, вони з'являться. Щоб запитати дані з приватних даних, до яких користувач не має доступу перенаправлений на сторінку входу.
• Про насRSSІнформація для приватних даних доступна тільки для користувачів (іRSSчитачі) які зареєстровані та уповноважені використовувати ці дані. Це робитьRSSне дуже корисно для повноцінних приватних даних.

Якщо датасет є приватним, але його [<ГрафікиДоступна>] (JavaScript licenses API Веб-сайт Go1.13.8) встановлюється на громадськість, датасетRSSДоступний для всіх.

• Абонементи електронної пошти можуть бути налаштовані лише тоді, коли користувач має доступ до даних. Якщо користувач підписується на приватні дані, підписка продовжує функціонувати після входу користувача.

Налаштування безпеки

Для налаштування системи безпеки/аутентифікації/санкціонування:

• До стандартаERDDAP™ початкове налаштуванняй
• УНалаштування.xmlй
  • Додати/змінити<автентифікат> значення від нічого до на замовлення (не використовуйте це) Електронна пошта (не використовуйте це) Українська (Рекомендовані) й (Рекомендовані) , або oauth2 (які є Google+orcid, рекомендується) й Переглянути коментарі про ці параметри нижче.
  • Додати/змінити<baseHttpsUrl> значення.
  • Вставити / вставити&loginInfo;в<StartBodyHtml> для відображення входу користувача в / вихідну інформацію вгорі кожної сторінки.
• Для тестування цілей на вашому персональному комп'ютері,дотримуватися цих інструкцій для налаштування Tomcat для підтримки SSL (основи дляhttpsз'єднання) створення брелоку зсамовідданий сертифікаті модифікація домка /conf/server.xml для роз'єму для порту 8443. У Windows ви можете перемістити .keystore з "c:\Users\" Ви \.keystore" до "c:\Users\\Default User\.keystore" або "c:\\.keystore" (Переглянути домка /логи/каталіна. сьогодні .log якщо програма не завантажується або користувач не може бачити журнал на сторінці) й Ви можете подивитися, коли сертифікат .keystore буде завершуватися, перевіривши сертифікат, коли ви ввійдете.

Для загальнодоступного сервера, замість використання самовизнаного сертифікату, рекомендується придбати і встановити сертифікат, підписаний за допомогою сертифіката, який ви можете придбати і встановити сертифікат, який підписаний за допомогою сертифіката.довідковий орган, оскільки це дає вашим клієнтам більше гарантії, що вони дійсно підключені до ваших клієнтівERDDAP™, не чоловіча версія вашоїERDDAPй Багато постачальників продають цифрові сертифікати. (Пошук по сайту) Вони не дорогі.

• На комп'ютерах Linux, якщо Tomcat працює в Apache, змінити /etc /httpJavaScript licenses API Веб-сайт Go1.13.8ERDDAP™не вимагає номера порту :8443 у URL:
  1. Змінення існуючої<ВіртуальнийХост> тег (якщо є один) , або додати один в кінці файлу так, що він принаймні має ці лінії:

        <VirtualHost \\_default\\_:443>
            SSLEngine on
            SSLProxyEngine On
            ProxyPass /erddap http://localhost:8443/erddap
            ProxyPassReverse /erddap http://localhost:8443/erddap
        </VirtualHost>

2. Далі перезапустіть Apache: /usr/sbin/apachectl -k витончений (але іноді це в іншому каталозі) й

• У домка /conf/server.xml, невідповідність порту=8443<Роз'єм> тег:

    <Connector port="8443" 
        protocol="org.apache.coyote.http11.Http11NioProtocol"
        maxThreads="150" SSLEnabled="true">
        <SSLHostConfig>
        <Certificate certificateKeystoreFile="conf/localhost-rsa.jks" 
            type="RSA" />
        </SSLHostConfig>
    </Connector>

і змінити розташування сертифікатаKeystoreFile.

Авторизація

• Уdatasets.xml, створитиПро нас<Головна > (JavaScript licenses API Веб-сайт Go1.13.8) тег для кожного користувача з ім'ям користувача, паролем (якщо авторизація=студент) Інформація та ролі. Це авторизація частинаERDDAPСистема безпеки.  
• Уdatasets.xml, додати [<Доступно (JavaScript licenses API Веб-сайт Go1.13.8) tag до кожного з даних, які не повинні доступу до публічних даних.<ДоступноДо> дозволяє вказати, які ролі мають доступ до цих даних.  
• Решта Томат. Троубл? Перевірте журнали Tomcat.  
• Дякуемо! Будь-яка помилка може призвести до порушення безпеки.  
• Перевірити сторінку входуhttps (немаhttp) й Інтемпти для входу черезhttpавтоматично перенаправленийhttpsі порт 8443 (Хоча номер порту може бути прихований через Apache проксі) й Вам може знадобитися працювати з адміністратором мережі, щоб дозволити зовнішні веб-запити до порту доступу 8443 на вашому сервері.  
• Ви можете змінити<користувача> та<ДоступноДо> теги в будь-який час. На наступній регулярній перевантаженні будь-яких даних, або ASAP, якщо ви використовуєтеУвійтий

Аутентифікація

**Аутентифікація (Зареєструватися) **
Якщо ви не хочете, щоб дозволити користувачам увійти, не вказуйте значення для<автентифікації> в налаштуваннях.xml. Якщо ви хочете дозволити користувачам увійти, ви повинні вказати значення для<автентифікації>. В даний часERDDAP™опори на замовлення (не використовуйте це) й Новини (не використовуйте це) й Українська (Рекомендовані) й чиччолина (Рекомендовані) й Саунт2 (Рекомендовані) для методу автентифікації. Якщо ви хочете увімкнути реєстрацію, ми рекомендуємо Google, orcid, або oauth2 параметри, оскільки вони безкоштовно ви від зберігання та обробки паролів користувача (необхідні для користувача) і є більш безпечним, ніж опція електронної пошти. Пам'ятайте, що користувачі часто використовують той самий пароль на різних сайтах. Так вони можуть використовувати один і той самий пароль для вашогоERDDAP™як вони знаходяться в банку. Це робить ваш пароль дуже цінним - набагато більш цінним для користувача, ніж просто дані, які вони запитують. Так що потрібно робити стільки, скільки можна зберігати паролі. Це велика відповідальність. Для того, щоб ви не повинні збирати, зберігати або працювати з ними. Так ви звільняєте від цієї відповідальності.

Всі<автентифікації> варіанти використаннякішкана комп'ютері користувача, тому браузер користувача повинен бути встановленим, щоб дозволити файли cookie. Якщо користувач працюєERDDAP™запити від комп'ютерної програми (не браузер) , файли cookie та автентифікації важко працювати з. Це загальна проблема з усіма системами автентифікації. Про нас

Деталі деталей<автентифікації> варіанти:

Користування

на замовленняERDDAP's користувальницької системи, щоб дозволити користувачам увійти, вказавши ім'я користувача та пароль у вигляді на веб-сторінці. Якщо користувач спробує і не вдається увійти в 3 рази протягом 10 хвилин, користувач заблокований від спроби увійти протягом 10 хвилин. Це запобігає хакерам просто намагатися мільйонів паролів до тих пір, поки вони не знайшли права.

Це дещо захищено, тому що ім'я користувача та пароль передається черезhttps (немаhttp) , але автентифікація=google, orcid, або oauth2 краще, тому що вони безкоштовні, щоб обробляти паролі. Налаштований підхід вимагає збору імені користувача та хеш-дайджест їх пароля (Використовуйте свій телефон не захищено!) і зберігати їх вdatasets.xml[:ru]<Головна > (JavaScript licenses API Веб-сайт Go1.13.8) теги.

При користувальницьких варіантах, ніхто не може увійти до вас, поки ви (Про насERDDAP™адміністратор) створити<користувача> тег для користувача, вказати ім'я користувача як ім'я користувача, хеш-дайджест їх пароля як пароля, так і їх ролі.

Не рекомендовано Через незручність створення і передачі хеш-дайджест пароля користувача і через ризики, пов'язані зERDDAP™утримуючи хеш-дайджест паролів, цей варіант не рекомендується.

Для підвищення безпеки даного варіанту:

• Ви MUST переконайтеся, що інші користувачі на сервері (JavaScript licenses API Веб-сайтERDDAP™Користувачі) не можна читати файли в каталозі Tomcat (особливоdatasets.xmlГоловна) абоERDDAP's bigParentDirectory. На Linux, як користувач=tomcat, використання: Херсон bigParentПублічний
  Хмод -Р o-rwx bigParentПублічний
  Херсон tomcatПредагування
  Хмод -Р o-rwx tomcatПредагування
   
• Використовуйте UEPSHA256 для<JavaScript licenses API Веб-сайт Go1.13.8  
• Використовуйте метод як-способливості, щоб передати хеш-дайджест пароля користувача від користувача доERDDAP™адміністратор (телефон?) й  

Новини

Опція електронної пошти використовує обліковий запис електронної пошти користувача для ідентифікації користувача (шляхом надсилання електронної пошти за допомогою спеціального посилання, що вони повинні мати доступ до для входу в систему) й На відміну від інших електронних листівERDDAP™надсилання,ERDDAP™не напишіть ці листи запрошення на електронну пошту, оскільки вони містять конфіденційну інформацію. У теорії це не дуже захищено, тому що електронні листи не завжди зашифровані, тому поганий хлопець з можливістю перехоплення електронних листів може зловживати цю систему, використовуючи дійсну адресу електронної пошти користувача і перехоплюючи електронну пошту запрошення. На практиці, якщо ви встановитеERDDAP™Щоб використовувати обліковий запис електронної пошти Google для надсилання електронних листів, і якщо ви налаштуєте його, щоб використовувати один з параметрів TLS для підключення, і якщо користувач має обліковий запис електронної пошти Google, це дещо захищено, тому що електронні листи зашифровані всі способи відERDDAP™до користувача.

Для підвищення безпеки даного варіанту:

• Переконайтеся, що інші користувачі на сервері (JavaScript licenses API Веб-сайтERDDAP™Користувачі) не можна читати файли в каталозі Tomcat абоERDDAP's bigParentDirectory. На Linux, як користувач=tomcat, використання: Херсон bigParentПублічний
  Хмод -Р o-rwx bigParentПублічний
  Херсон tomcatПредагування
  Хмод -Р o-rwx tomcatПредагування
   
• Налаштуйте речі, щоб отримати кінцеву безпеку для електронних листів, відправлених зERDDAP™до користувачів. Наприклад, ви можете зробити Google-центричну систему лише для створення<User> теги для адрес електронної пошти Google та налаштування вашоїERDDAP™Щоб використовувати сервер електронної пошти Google за допомогою захищеного/TLS з'єднання: в налаштування.xml, використовуйте e.g.,

    <emailSmtpHost>smtp.gmail.com</emailSmtpHost>  
    <emailSmtpPort>587</emailSmtpPort>  
    <emailProperties>mail.smtp.starttls.enable|true</emailProperties>

Не рекомендовано Не рекомендується автентифікації електронної пошти. Будь ласка, використовуйте параметр Google, orcid або oauth2.

Як з Google, orcid, і oauth2 параметри, електронна пошта дуже зручна дляERDDAP™Адміністратори - Ви не повинні мати справу з паролями або їх хеш-дайджестами. Все, що потрібно створити [<Головна > (JavaScript licenses API Веб-сайт Go1.13.8) тег для користувача вdatasets.xml- адреса електронної пошти користувача, якаERDDAP™використовує назву користувача. (атрибут пароля не використовується при автентифікації=email, google, orcid або oauth2.)

З опцією електронної пошти тільки користувачами, які мають<користувача> тег вdatasets.xmlможе спробувати увійти в системуERDDAP™надаючи свою адресу електронної пошти та натискаючи на посилання в електронній пошті, щоERDDAP™надсилайте їх.

ERDDAP™лікує адреси електронної пошти, як результат. Це робить це, перетворюючи адреси електронної пошти, які ви вводите (in<користувач> теги (у формі логіна) до їх всієї версії нижньої коробки.

Для налаштування автентифікації=email:

1. В налаштуваннях.xml змініть налаштування<baseHttpsUrl> значення тега. Для експериментів/робота на персональному комп'ютері, використання https://localhost:8443
   Для вашої громадськостіERDDAP™, використання https://your.domain.org:8443
   або без :8443 якщо ви використовуєте ApacheПроксимустак що номер порту не потрібен.  
2. В налаштуваннях.xml змініть налаштування<автентифікації> Значення тегу до електронної пошти:

    <authentication>email</authentication>  

3. В налаштуваннях.xml, переконайтеся, що система електронної пошти встановлена через всі<e-mail...> теги, так щоERDDAP™може надсилати повідомлення електронної пошти. Якщо це можливо, встановіть, щоб використовувати безпечне підключення (Статус на сервери) на сервер електронної пошти.  
4. У васdatasets.xml, створення [<Головна > (JavaScript licenses API Веб-сайт Go1.13.8) Теги для кожного користувача, який буде мати доступ до приватних даних. Використовуйте електронну адресу користувача як ім'я користувача в тегі. Не вказуйте атрибут пароля в тегі користувача.  
5. РеквізитиERDDAP™так, що зміни в налаштування.xml іdatasets.xmlприймати ефект.  

Українська, Русский, Беларуская

• Українська й чиччолина й Саунт2   (Рекомендовані)
  Всі три ці варіанти рекомендованіERDDAP™Параметри автентифікації. Всі найбільш безпечні варіанти. Інші варіанти значно послаблюють безпеку.  

Українська

• За допомогою параметра автентифікації GoogleУвійти З Google, яка є впровадженнямПротокол автентифікації OAuth 2.0йERDDAP™облікові записи Google, включаючи облікові записи Google, такі як Google@noaa.govрахунки. Це дозволяєERDDAP™перевірити ідентичність користувача (ім'я та адреса електронної пошти) і доступ до свого зображення профілю, але не даєERDDAP™доступ до своїх електронних листів, їх Google Диск або будь-яка інша особиста інформація.

ДляERDDAP™v2.22 і нижче,ERDDAP™використовується "Google Sign-In". Google каже, що система відхилена від 31 березня 2023 року. Якщо ви вже не зробили, будь ласка, ввімкнітьERDDAP™v2.23+ для використання нової системи аутентифікації на основі Google.

ДляERDDAP™v2.23 екземпляри з Content-Security-Policy налаштовані і використовуючи Google Authentication, потрібно додати https://accounts.google.com до списку дозволених сценаріїв (або скрипт-src-elem) йERDDAP™більше https://apis.google.com , так що якщо у вас є що дозволено, ви можете видалити його зараз.

ДляERDDAP™v2.24+ Ви також можете додати https://accounts.google.com/gsi/style до стрліє-сіржі і https://accounts.google.com/gsi/ для підключення дуги. Для скрипт-сектора ви можете використовувати https://accounts.google.com/gsi/client.

Для отримання додаткової інформації ви можете перейти доВеб-сайтпро конфігурацію CSP. Якщо у вас виникли питання, зверніться до chris.john в noaa.gov.  

Ориди

• За допомогою параметра автентифікаціїОригінація, яка є впровадженнямПротокол автентифікації OAuth 2.0йERDDAP™УвійтиОризький рахунок, які зазвичай використовуються дослідниками для виявлення себе. Це дозволяєERDDAP™для перевірки особи Орифа користувача та отримання номера Орифа, але не даєERDDAP™доступ до іншої інформації про обліковий запис Orcid.

Овт2

• Опція oauth2 дозволяє користувачам підписатися на обліковий запис Google або їх обліковий запис Orcid.

google, orcid, і oauth2 варіанти є послідовники для openid варіант, який був припинений післяERDDAP™версія 1.68, яка була заснована на версії відкритого Ідентифікатор, який зараз застарілий. Будь ласка, ввімкніть на Google, orcid або oauth2 варіант.

Ці варіанти дуже зручні дляERDDAP™Адміністратори - Ви не повинні мати справу з паролями або їх хеш-дайджестами. Все, що потрібно створити [<Головна > (JavaScript licenses API Веб-сайт Go1.13.8) тег для користувача вdatasets.xmlякий визначає адресу електронної пошти користувача або номер облікового запису користувача як атрибут імені користувача. (атрибут пароля не використовується при автентифікації=email, google, orcid або oauth2.)

З цими опціями кожен може увійти в системуERDDAP™Підписатись на свій обліковий запис електронної пошти Google або Орід, але ніхто не матиме права доступу до приватних даних, поки ви не будете мати права доступу до персональних даних. (Про насERDDAP™адміністратор) створити<User> tag, вказавши свою адресу електронної пошти Google або номер облікового запису Orcid як ім'я користувача, і вказати їх ролі.

ERDDAP™лікує адреси електронної пошти, як результат. Це робить це, перетворюючи адреси електронної пошти, які ви вводите (in<користувач> теги (у формі логіна) до їх всієї версії нижньої коробки.

Щоб налаштувати автентифікацію Google або oauth2:

• В налаштуваннях.xml змініть налаштування<baseHttpsUrl> значення тега. Для експериментів/робота на персональному комп'ютері, використання https://localhost:8443
  Для вашої громадськостіERDDAP™, використання https://your.domain.org:8443
  або, краще, без :8443 якщо ви використовуєте ApacheПроксимустак що номер порту не потрібен.  
• В налаштуваннях.xml змініть налаштування<автентифікації> значення тегу до Google, orcid, або oauth2, наприклад:

    <authentication>oauth2</authentication>  

Налаштування Google

• Для опцій Google та oauth2: Дотримуйтесь інструкцій, описаних нижче, щоб налаштувати автентифікацію GoogleERDDAPй  
  1. Якщо у вас немає облікового запису електронної пошти Google,створити один
      
  2. Підписатисяці інструкціїстворити проект консолі Google Developers та отримати ідентифікатор клієнта.

Коли форму Google просить авторизуватисяJavaScript походження, введіть значення з<baseHttpsUrl> від вашого персонального комп'ютераERDDAP™Налаштування.xml, наприклад, https://localhost:8443
На другому рядку додайте<baseHttpsUrl> від вашого публічногоERDDAP™Налаштування.xml, наприклад, https://your.domain.org:8443

Не вкажіть будь-які авторизовані перенаправлені URIs.

Коли ви бачите ідентифікатор Клієнта для цього проекту, скопіюйте та вставте його в налаштування.xml (зазвичайно нижче)<автентифікація>, щоб бути обов'язковим, але розміщення не має значення, в<googleClientID> тег, наприклад, <googleClientID> Увійти <Українська Клієнт ID буде рядок близько 75 символів, ймовірно, починаючи з декількох цифр і закінчуючи .apps.googleusercontent.com .  

3. У васdatasets.xml, створити [<Головна > (JavaScript licenses API Веб-сайт Go1.13.8) Теги для кожного користувача, який буде мати доступ до приватних даних. Для атрибуту імені користувача в тегі:

   • Для користувачів, які зареєструються в Google, використовуйте адресу електронної пошти користувача.
   • Для користувачів, які будуть підписатися на orcid, використовуйте номер облікового запису користувача (з dashes) й

Не вказуйте атрибут пароля для тегу користувача.   4. РеквізитиERDDAP™так, що зміни в налаштування.xml іdatasets.xmlприймати ефект.  

Налаштування Orcid

• Для опцій Orcid і oauth2: Ознайомтеся з інструкцією нижче, щоб налаштувати автентифікацію Orcid для вашогоERDDAPй (Подробиці див.Документація API Орхідеяй)
   
  1. Якщо у вас немає облікового запису Ориду,створити один
      
  2. Увійти https://orcid.org/signin за допомогою свого особистого кабінету Орид.  
  3. Клацніть на "Developer Tools" (під «Для дослідників» у верхній частині) й  
  4. Натисніть на "Регістр безкоштовного API ORCID". Введіть цю інформацію: Ім'я:ERDDAP™Увійти\[Ваша організація\]
     Веб-сайт:\[Ваше ім'яERDDAP- домен\]
     Опис:ERDDAP™– науковий сервер даних. Користувачі повинні автентифікувати з Google або Orcid для доступу до негромадських даних. Відправити URIs:\[Ваше ім'яERDDAP- домен\]English, Українська, Français...  
  5. Натисніть на іконку "Зберегти" (вона виглядає як 3.5" диск!) й Ви можете переглянути свій ідентифікатор ORCID APP і ORCID Клієнта.  
  6. Статус на сервери (який стартує з "APP-") в налаштування.xml в папці<orcidClientID> тег, наприклад,

        <orcidClientID>APP-*ALPHANUMERICCHARACTERS*</orcidClientID>

7. Статус на сервери (alpha-numeric символи з dashes) в налаштування.xml в папці<orcidClientSecret> тег, наприклад,

        <orcidClientSecret>*alpha-numeric-characters-with-dashes*</orcidClientSecret>

8. У васdatasets.xml, створити [<Головна > (JavaScript licenses API Веб-сайт Go1.13.8) Теги для кожного користувача, який буде мати доступ до приватних даних. Для атрибуту імені користувача в тегі:

   • Для користувачів, які зареєструються в Google, використовуйте адресу електронної пошти користувача.
   • Для користувачів, які будуть підписатися на orcid, використовуйте номер облікового запису користувача (з dashes) й

Не вказуйте атрибут пароля для тегу користувача.   9. РеквізитиERDDAP™так, що зміни в налаштування.xml іdatasets.xmlприймати ефект.  

Увійти

Якщо ви використовуєте google, orcid або oauth2 параметри ідентифікації, і Google Sign-In або Orcid's Authentication API раптом перестає працювати (з будь-якої причини) або перестає працюватиERDDAP™очікування, користувачі не зможуть увійти в системуERDDAPй Як тимчасово (або постійний) рішення, ви можете попросити користувачів, щоб зареєструватися з іншою системою (Отримати обліковий запис електронної пошти Google, або отримати обліковий запис Orcid) й Для цього:

1. Зміна<автентифікація> тег так, щоб вона дозволяє іншій системі автентифікації. Опція oauth2 дозволяє користувачам увійти в систему.
2. Дублікат кожного з<User> Теги та змінити атрибут імені користувача з адрес електронної пошти Google на відповідний номер облікового запису Orcid (або сповіщувачі) , але зберігати роль атрибуту однаково.

Відкрито

ERDDAP™більше не підтримує опцію відкритої автентифікації, яка була заснована на версії відкритої Ідентифікатор, який зараз застарілий. Будь ласка, використовуйте параметри Google, orcid або oauth2.

Аксесуари

ERDDAP™не підтримує аутентифікації BASIC, оскільки:

• BASIC видається шестерні до заданих веб-сторінок, які потребують безпечного доступу або ковдри на сайті, алеERDDAP™Можливість (обмежений доступ) дані, які додаються на-флі.
• Компанія BASIC автентифікації не пропонує користувачам увійти!
• BASIC автентифікації відомий не захищеним.

Захищені джерела даних

Якщо набір даних має обмежений доступ доERDDAP™користувачів, джерело даних (звідкиERDDAP™отримувати дані) не повинен бути загальнодоступним. Так як можнаERDDAP™отримувати дані для обмежених даних доступу? Деякі варіанти:

• ERDDAP™може служити дані з локальних файлів (наприклад, через EDDTable Відповіді абоEDDGridВідповіді) й  
• ERDDAP™може бути вДМЗ і джерела даних (Наприклад,OPeNDAPсервер або база даних) може бути позадубрандмауер, де доступноERDDAP™але не громадськість.  
• Джерело даних може бути на публічному веб-сайті, але вимагає логіну для отримання даних. Два типи данихERDDAP™може увійти на доступEDDTableЗ альбомуDatabaseіEDDTableЗ альбомуCassandraй Підтримка даних (і завжди слід використовувати) імена користувачів (створитиERDDAP™Користувачі, які тільки прочитали) , паролі, SSL підключення та інші заходи безпеки.

Але в цілому, в даний час,ERDDAP™не існує жодних положень для входу на джерело даних. Ось чому доступ доEDDGridВідErddap і EDDTable ВідErddapдані не можуть обмежуватися. В даний час локальнийERDDAP™не має способу входу та доступу до інформації про метадані з пульта дистанційного керуванняERDDAPй І поставивши «реот»ERDDAP™за допомогою брандмауера та видалення даних Для обмеження не вирішує проблеми: оскільки запити користувачів для EDDXxx З даних Erddap необхідно переадресувати до віддаленогоERDDAP™, віддаленийERDDAP™повинні бути доступні.

Проти хакерів

Є погані хлопці, які намагаються використовувати недоліки безпеки на сервері, якERDDAPйERDDAP™слідувати загальній консультації з безпеки, щоб мати кілька шарів оборони:

• Обмежені Прілеги -- Один з найважливіших оборонних операцій полягає в тому, щоб запустити Tomcat через додаток, який не має пароля (так ніхто не може увійти, як це користувач) і має обмежені привілеї файлової системи (наприклад, доступ до даних) й Про насERDDAP- інструкціїНалаштування tomcatй
• Важкий Використовуйте - В цілому,ERDDAP™Будується для важкого використання, в тому числі сценаріїв, які роблять десятки тисяч запитів, один після іншого. Це важко дляERDDAP™щоб одночасно відкрити себе до важкого законного використання і захистити себе від зловживань. Іноді важко диференціювати важке законне використання, надмірне законне використання, і незаконне використання (і іноді це дуже легко) й Серед інших оборон,ERDDAP™свідомо не дає єдиного запиту на використання неординованої частки ресурсів системи (якщо система не активна) й
• Визначення несправностей користувачів - якщоERDDAP™сповільнює або заморожує (можливо, тому що користувач або бот працює кілька скриптів, щоб подати кілька запитів одночасно або, можливо, через поганий хлопецьДенний сервіснапад) , ви можете подивитися наЩоденне повідомлення електронної пошти (і більш часта ідентична інформація вERDDAP™Лог файл) які відображають кількість запитів, здійснених самими активними користувачами (Дивитися "Запитувальник IP-адреса (Смоктати) « » » » » » » » » » » » » » ») йERDDAP™також надсилає листи адміністратору, коли є"Незвичайна активність: >25% від запитів не вдалося"й Ви можете переглянути вERDDAP™Файл журналу, щоб побачити характер своїх запитів. Якщо ви відчуваєте, що хтось робить занадто багато запитів, дивні запити (Ви не вірите, що я бачив, можливо, ви не хотіли б) Ви можете додати свою IP-адресу в чорний список.
• Чорний список - Ви можете додати IP-адресу користувачів, ботів іДенний сервіснападників доERDDAP чорний список, щоб майбутні запити від них будуть негайно відхилені. Це налаштування вdatasets.xmlщоб ви могли швидко додати IP-адресу до списку, а потімУвійтиМетаERDDAP™негайно помітить і застосовує зміну. Повідомлення про помилку, надіслані користувачам, заохочує їх контактуватиERDDAP™адміністратор, якщо вони відчувають, що вони помилково ставляться на чорний список. (У нашому досвіді кілька користувачів не знають, що вони працюють одночасно кілька сценаріїв, або що їх скрипти були зроблені нецензурними запитами.)
• Безпека даних - Деякі типи даних (EDDTableЗ альбомуDatabase) додаткові ризики безпеки (JavaScript licenses API Веб-сайт Go1.13.8) і мати власні заходи безпеки. Перегляд інформації для тих типів данихРобота зdatasets.xmlГоловнайEDDTableЗ альбомуDatabase безпекий
• Аудит безпеки -- НемовляNOAAІТ-безпека відмовилася від наших запитів на сканування протягом багатьох років, вони тепер постійно сканують мій (Боби) ERDDAP™монтаж. Хоча початкові сканування знайшли деякі проблеми, які я потім виправлений, наступні сканування не знайшли проблем зERDDAPй Відсканування про багато речей: точно, так якtabledapзапити дивляться як SQL запитів, вони хвилюються про вразливості SQL. Але ті побоювання незрівняні, оскількиERDDAP™завжди парує і перевіряє запити, а потім окремо будує запит на SQL, таким чином, що дозволяє уникнути вразливостей ін'єкцій. А ще, що вони іноді скаржаться про цеJavaВерсія або Tomcat версії не є застарілими, оскільки вони хочуть, тому ми оновлюємо їх у відповідь. Я раніше запропонував показати людям звіти про безпеку, але я тепер сказав, що я не можу це зробити.

Питання? Сугести?

Якщо у вас виникли запитанняERDDAP- Система безпеки або будь-які питання, сумніви, занепокоєння або пропозиції про те, як вона встановлена, див. нашурозділ про отримання додаткової підтримкий

Що ви не повинні знати

Ці деталі, які вам не потрібно знати, поки не виникає необхідність.

ДругийERDDAP™

• Налаштування другогоERDDAP™Тестування/Розробка
  Якщо ви хочете зробити це, є два підходи:
• (Найкращі) Встановити Tomcat іERDDAP™на комп'ютері, крім комп'ютера, що має вашу громадськістьERDDAPй Якщо ви використовуєте свій персональний комп'ютер:

1. Робимо монтаж одного кроку в часі. Отримати Tomcat і запустити перший. Як працює Tomcat, менеджер Tomcat повинен бути на http://127.0.0.1:8080/manager/html/ (або, можливо, http://localhost:8080/manager/html/ )

2. УвійтиERDDAPй

3. Не використовуйте ProxyPass для усунення номеру з портуERDDAP™URL.

4. УНалаштування.xml, встановити baseUrl до http://127.0.0.1:8080

5. Після запуску цьогоERDDAP™, ви повинні мати можливість побачити її на http://127.0.0.1:8080/erddap/status.html (або, можливо, http://localhost:8080/erddap/status.html )

Поза «69»

• (Найпопулярніші) Встановіть ще один Tomcat на одному комп'ютері, як ваш громадськийERDDAPй

1. Робимо монтаж одного кроку в часі. Отримати Tomcat і запустити перший. Зміна всіх номерів порту, пов'язаних з другим Tomcat (Наприклад, змініть 8080 до 8081) (ПереглянутиКілька Tomcat Вхідчерез цей документ) й

2. УвійтиERDDAP™в новому Tomcat.

3. Не використовуйте ProxyPass для усунення номеру з портуERDDAP™URL.

4. УНалаштування.xml, встановити baseUrl до http://www.*yourDomainName*:8081

5. Після запуску цьогоERDDAP™, ви повинні мати можливість побачити її на http://www.*yourDomainName*:8081/erddap/status.html
    

Тверді накопичувачі

• Тверді накопичувачі (накопичувачі) Дуже дякую!
  Найшвидший, найпростіший і найдешевший спосіб прискоритиERDDAP's access to tabular data is to put the files на твердотільний накопичувач (ТПВ) й Більшість табличних даних відносно малих, тому 1 або 2 TB SSD, ймовірно, достатньо для зберігання всіх файлів даних для всіх ваших табличних даних. В кінцевому підсумку SSD з'являється, якщо ви пишете дані в клітинку, видаліть його, і напишіть нові дані до цієї комірки занадто багато разів. Якщо ви просто використовуєте SSD для запису даних один раз і прочитайте його багато разів, навіть SSD-градус SSD повинен прослужити дуже довго, ймовірно, набагато довше, ніж будь-який жорсткий диск (ХДП) й Закупи хостинг » (У 2018 році ~$200 для 1 ТБ або ~ $400 для 2 ТБ) і ціни все ще падають швидко. КолиERDDAP™доступ до файлу даних, SSD пропонує якнайменшу надійність (~0.1ms, versus ~3ms для HDD, versus ~10 (?) ms для RAID, versus ~55ms для Amazon S3) і вище пропускна здатність (~500 MB/S, versus ~75 Мб/с для HDD, versus ~ 500 Мб/с для RAID) й Так ви можете отримати великий підвищення продуктивності (до 10X проти HDD) за $200! У порівнянні з іншими можливими змінами системи (новий сервер за $10,000? новий RAID за $ 35,000? новий мережевий перемикач за $ 5000? і т.д.) , це найкраще повернення інвестицій (Рой) й Якщо / коли SSD dies (в 1, 2, ... 8 років) , замінити його. Не покладайте на нього на довгий термін, архівне зберігання даних, тільки для передньої копії даних.\[SSD-накопичувачі будуть дуже великими для сітчастих даних, але більшість сітчастих даних набагато більші, що робить SSD дуже дорогим.\]

Якщо ваш сервер не завантажується пам'яттю, додаткова пам'ять для вашого сервера є відмінним і відносно вигідним способом прискорити всі аспектиERDDAPй  

Важкі навантаження / обмеження **

При важкому використанні автономнийERDDAP™може бути обмежена різними проблемами. Для отримання додаткової інформації див. інформаціюсписок обмежень та рішеньй  

Сітки, кластери та федерації

Під дуже важке використання, єдиний автономнийERDDAP™перейдемо до одного або декількох обмежень і навіть запропонованих рішень буде недостатньо. Для таких ситуаційERDDAP™має функції, які легко будувати стяжки сітки (також називають кластери або федерації) зERDDAPs, які дозволяють системі працювати дуже важко (Наприклад, для великого центру даних) й Для отримання додаткової інформації див.сітки, кластери та федераціїERDDAPйй  

Хмарні обчислення

Кілька компаній починають пропонуватихмарні обчислювальні послуги (Наприклад,Веб-послуги Amazon) йВеб хостингПропонуються простіші послуги з середини-1990-х, але послуги «cloud» значно розширили гнучкість систем і асортимент пропонованих послуг. Ви можете використовувати ці послуги для встановлення єдиногоERDDAP™або сітчастий/кластерERDDAPs для обробки дуже важкого використання. Для отримання додаткової інформації див.хмарні обчислення зERDDAP™й

Українська

• Веб-послуги Amazon (АВІ) Огляд установки EC2
  Веб-послуги Amazon (АВІ) єхмарний сервіспропонує широкий спектр комп'ютерної інфраструктури, які можна орендувати за годину. Ви можете встановитиERDDAP™наЕластичний матовий Хмар (ЕК2) апошні (ім'я на комп'ютер, який ви можете орендувати за годину) й AWS має відміннийКерівництво користувача AWSВи можете використовувати Google для пошуку відповіді на конкретні питання. Почати себе - це справедлива кількість робіт, щоб розпочати роботу. Але як тільки ви отримаєте один сервер вгору і працює, ви можете легко орендувати як багато додаткових ресурсів (сервери, бази даних, SSD-просторові та ін.) як вам потрібно, за розумною ціною.\[Це не є рекомендацією або схваленням веб-служб Amazon. Існують інші хмарні провайдери.\]

Огляд речей, які потрібно зробити, щоб отриматиERDDAP™працює на AWS:

• В цілому ви будете робити всі речі, описані вКерівництво користувача AWSй
• Встановити обліковий запис AWS.
• Встановити користувача AWS в цьому обліковому записі з привілеї адміністратора. Ввійти як це користувач, щоб зробити всі наступні кроки.
• Еластичний блок зберігання (ЕБС) є AWS еквівалент жорсткого диска, прикріпленого до вашого сервера. Коли ви вперше створили екземпляр EC2. Застійне зберігання - інформація не втрачається, коли ви зупините свій екземпляр EC2. І якщо ви змінюєте типи екземплярів, ваш простір EBS автоматично додається до нового екземпляра.
• Створіть нову IP-адресу, щоб ваш екземпляр EC2 мав стабільний, публічний URL (На відміну від того, що ви перезавантажте свій екземпляр) й
• Створіть і запустіть екземпляр EC2 (комп'ютер) й Широкий асортименттипи екземплярів, кожен за різною ціною. Ми можемо самі зателефонувати одержувачу і узгодити зручний час і місце вручення квітів, а якщо необхідно, то збережемо сюрприз. Ви, ймовірно, хочете використовувати Linux Amazon як операційну систему.
• Якщо комп'ютер робочого столу / клапточка є комп'ютером Windows, ви можете використовуватиПАРТНЕР, безкоштовний SSH клієнт для Windows, щоб отримати доступ до командного рядка EC2. Або, ви можете мати інші програми SSH, які ви віддаєте перевагу.
• Коли ви ввійдете в ваш екземпляр EC2, ви будете увійти в адміністративний користувач з ім'ям користувача "ec2-користувач". ec2-користувач має призові привілеї. Так, коли потрібно зробити щось, як корінь користувача, використовуйте: sudo деякікоманд
• Якщо комп'ютер робочого столу / клапточка є комп'ютером Windows, ви можете використовуватиФайлZillaПрограма SFTP для передачі файлів/з вашого екземпляра EC2. Або, ви можете мати інші програми SFTP, які ви віддаєте перевагу.
• Встановлення Apacheна сайті EC2.
• Додайте стандартERDDAP™Інструкція по монтажуй  

ОцінітьThenTryAgain Exception

Користувач може отримати повідомлення про помилку Офіціант: Там був (тимчасовий?) проблеми. Зачекайте хвилину, потім спробуйте знову. (У браузері натисніть кнопку Перезавантаження.)
Деталі: GridDataAccessor.increment: частковийРезультати\[0 р.\]="123542730" очікується "123532800".

Загальна пояснення офіціантки: КолиERDDAP™відповідь на запит користувача, може бути несподівана помилка з даними (наприклад, помилки при прочитуванні даних з файлу або доступу до даних віддалених даних) й Очікуйте сигнали TryAgainERDDAP™що запит не вдалося (до) але цеERDDAP™намагатися швидко перезавантажити дані (дзвінкиЗапитЗавантажити) і переробляти запит. Нерідко це досягне, і користувач просто бачить, що відповідь на запит було повільним. В іншому випадку перезавантаження не вдається або занадто повільно, або наступна спроба зробити справу з запитом також не вдається і кидає ще один ЧекTryAgain. Якщо це сталося,ERDDAP™відзначає набір даних для перевантаження, але говорить про користувача (через Офіціантку) що було відмовою під час відповіді на запит.

Це нормальна поведінка. Ця система може боротися з багатьма загальними проблемами. Але це можливо для цієї системи, щоб отримати провокований надмірно. Найпоширеніша причина полягає в тому, щоERDDAP- завантаження даних не бачить проблеми, алеERDDAP- відповідь на запит на дані, яка бачить проблему. Незалежно від того, що причина є, рішення для вас, щоб боротися з тим, що це неправильно з данимисетом. Дивитися в log.txt, щоб побачити фактичні повідомлення про помилки і боротися з проблемами. Якщо багато файлів мають дійсні заголовки, але недійсні дані (пошкоджений файл) Замініть файли з некоректними файлами. Якщо з'єднання до RAID є пластичними, зафіксуйте його. Якщо підключення до віддаленого сервісу є пластичними, знайдіть спосіб, щоб зробити його не фламою або завантажити всі файли з віддаленого джерела і подайте дані з місцевих файлів.

Детальне пояснення конкретної помилки (вище) є: Для кожногоEDDGridдатасет,ERDDAP™зберігає вісь змінних значень пам'яті. Вони використовуються, наприклад, для перетворення заданих значень осі, які використовують " () "формат в індексних числах. Наприклад, якщо значення осі "10, 15, 20, 25", запит на (20 хв) буде розшифрована як запит на індекс No2 (0 на основі індексів) й КолиERDDAP™отримує запит на дані і отримує дані з джерела, він розуміє, що значення осі, що він отримав від джерела, що відповідає значенням осі в пам'яті. Зазвичай вони роблять. Але іноді джерело даних змінено в значній мірі: наприклад, значення індексу від початку змінної осі може бути видалено (Наприклад, "10, 15, 20, 25" може стати "20, 25, 30") й Якщо це сталося, то зрозуміло, щоERDDAP- переклад запиту (Наприклад, " (20 хв) Індекс No2) тепер неправильно. Про насERDDAP™кидає виняток і виклики ЗапитЗавантажитиERDDAP™буде оновлювати дані (часто через кілька секунд, зазвичай в хвилину) й Інше, подібні проблеми також кидають за виключенням офіціантки.

ЗапитЗавантажити

Ви можете переглянути запитReloadASAP у файлі log.txt, що знаходиться праворуч після повідомлення про помилку і часто біля повідомленняОцінітьThenTryAgain Exceptionй В основному внутрішній, програмований спосібERDDAP™встановитиУвійтищоб сигналізувати, що дані необхідно перезавантажити ASAP.  

Файли Не будучи видалені

За кількаERDDAP™Інсталяціями, є проблема з деякими тимчасовими файлами, які створюютьсяERDDAP™залишатися відкритим (помилково) і, таким чином, не видалено. У кількох випадках кількість цих файлів накопичилися і внесли значну кількість дискового простору.

Сподіваємось, ці проблеми закріплені (якERDDAP™в2.00) й Якщо ви бачите цю проблему, будь ласка, по електронній пошті каталог+names of the offending files to Chris. Джон на noaa.gov. У вас є кілька варіантів вирішення проблеми:

• Якщо файли не є великими і не спричиняють вас виходити з дискового простору, ви можете ігнорувати проблему.
• Найпростіше рішення для відключення тормка/ERDDAP™ (після того, як багато користувачів постраждали) й Під час відключення, якщо операційна система не видаляє файли, видаліть їх вручну. Далі перезавантажитиERDDAPй  

Жсон-дз

• Семантичний розмітка даних з json-ld (Сонце Контакти)
  ERDDAP™тепер використовуєджсон-д (Сонце Контакти) Щоб зробити каталог даних та дані, частина данихвеб камера, яка є ідея Тім Бернс-Ле, щоб зробити веб-контент більш машинним зчитувачем і машиною "розумний". Використання вмісту json-ldУкраїнськийУмови та визначення. Пошук двигунів (Українська) та інші сеймантичні інструменти можуть використовувати цей структурований розміток для полегшення відкриття та індексування. З'являється джесон-зварювальний розмітка як невидимий до-людей<Список> код на https://.../erddap/info/index.html Веб-сайт (веб-сайтДаніКаталог) і на кожному https://.../erddap/info/datasetID/index.html Веб-сайт (веб-сайтДата) й (Особлива подяка Адаму Leadbetter і робу повнораціонного морського інституту в Ірландії для виконання жорстких частин роботи, щоб зробити цю частину роботиERDDAPй)
   

Вихідні URL-адреси

Незважаючи на те, що URL-адреси, які дані, які були написані на файли даних, стають застарілими (наприклад,httpстаєhttps, сайти переплановані, а також організації, такі як NODC/NGDC/NCDC) й В результаті зламаних посилань є вічною проблемою, яка зіткнулася з усіма веб-сайтами. З цим,ERDDAP™тепер має систему для автоматичного оновлення URL-адрес. Якщо GenerateDatasets Xml бачить застарілу URL-адресу, вона додає URL-адресу до дати<addAttributes>. Також при навантаженні даних, якщоERDDAP™Переглядає застарілу URL-адресу, він мовчить змінює її на актуальну URL. Зміни контролюються серією пошуково-замінно-з парами, визначеними в<Новини вERDDAPР \[домка\]/webapps/erddap/WEB-INF/classes/gov/noaa/pfel/erddap/util/messages.xml файл. Ви можете внести зміни. Якщо у вас є пропозиції щодо змін, або якщо ви думаєте, що це необхідно перетворювати в сервіс (як конвертери) , будь ласка, по електронній пошті Кріс. Джон на noaa.gov.  

КОРС

• КОРС (Cross-Origin Ресурсна обробка)
  «У механізмі, що дозволяє обмежувати ресурси (Наприклад, шрифтиERDDAP™дані) на веб-сторінці запитати з іншого домену за межами домену, з якого подається перший ресурс (Арун Ранганатан) й В основному, CORS є повідомлення, яке може бути введене в HTTP-головку відповіді, кажучи, по суті, "це добре з цим сайтом, якщо деякі інші сайти (конкретні, або всі) крабові ресурси (Наприклад, дані) з цього сайту і зробити його доступними на сайті. Так, є альтернативоюСонцей

РозробникиERDDAP™не претендувати на експерти з безпеки. Ми не повністю зрозумілі про проблеми безпеки, пов’язані з CORS. Ми не хочемо, щоб зробити будь-яку заяву, яка порушує безпеку. Ми залишаємо на зв'язкуERDDAP™адміністратора, щоб визначити, чи варто ризикувати переваги чи керма CORS. Як завжди, якщо виERDDAP™має будь-які приватні дані, це гарне уявлення про безпеку.

Якщо ви хочете включити CORS для вашогоERDDAP™, єлегко доступні інструкціїописувати, як адміністратори сайтів можуть увімкнути заголовок CORS через програмне забезпечення на сервері нижнього рівня (Наприклад, JavaScript licenses API Веб-сайт Go1.13.8) й

Палети

• Палети використовуються за допомогоюERDDAP™для перетворення діапазону значень даних в діапазон кольорів при виготовленні графіків і карт.

Кожна палітра визначена в палітрі .cpt-style як використовуєтьсяНавігаціяй ВсіERDDAP™.cpt файли є дійсними файлами GMT .cpt, але навпаки не вірно. Для використанняERDDAP™, .cpt файли мають:

• Необов'язкові лінії коментарів при старті файлу, починаючи з "#".
• Головний розділ з описом сегментів палітри, одного сегмента за лінію. Кожна лінія опису сегмента має 8 значень: Почати Значення, початок, початок Зелений, початок Синій, ендовалюс, кінецьзелений, кінецьсиній. Чи може бути будь-яка кількість сегментів.ERDDAP™використовується лінійне міжпокриття між пусковим / зеленим / синім і кінцем / зеленим / синім від кожного сегмента.

Ми рекомендуємо кожному сегменту вказати початковий і кінцевий колір, який відрізняється, і що початковий колір кожного сегмента буде таким же, як і кінцевий колір попереднього сегмента, щоб палітра описує безперервне поєднання кольорів.ERDDAP™має систему для створення на основі палітри дискретних кольорів з палітри з безперервним поєднанням кольорів. АнжелаERDDAP™користувач може вказати, чи хочете палітра бути безперервним (оригінальний) або дискретний (отримано з оригіналу) й Але є законні підстави для деяких палітра.

• Почати і закінчувати Перший сегмент повинен мати початокValue=0 і endValue=1. Другий сегмент необхідно запуститиValue=1 і endValue=2. Етк.
• Червоні, зелені та сині значення повинні бути цілими з 0 (немає) ... 255 (повний) й
• Кінець файлу повинен мати 3 лінії з:
  1. Колір фону rgb для значень даних менше, ніж мінімальний колірбара, наприклад: B 128 128 128 128 Часто стартувавзелений, починаєсиній перший сегмент.
  2. Передземний колір для значень даних більше, ніж максимальна колірна панель, наприклад: F 128 0 Дуже часто кінцеві, ендзелені, і ендсиній останнього сегмента.
  3. Колір ргб для значень даних NaN, наприклад, N 128 128 Часто середній сірий (128 990 Р) й
• Значення на кожній лінії необхідно відокремити вкладки, без зайвих просторів.

Приклад .cpt файл BlueWhiteRed.cpt:

\# Це BlueWhiteRed.cpt. 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 255 2 0 255 255 2 0 255 255 3 255 255 255 3 255 255 255 4 255 255 0 4 255 255 0 5 255 0 5 255 0 0 6 128 0 0 0 Б 0 128 Р 128 0 Р 128 128

Переглянути наявні файли .cpt для інших прикладів. Якщо є проблеми з файлом .cpt,ERDDAP™буде ймовірно кидати помилку, коли файл .cpt є parsed (що краще, ніж помилитися інформацією) й

Ви можете додати додаткові палітри доERDDAPй Ви можете зробити їх самостійно або знайти їх на сайті (наприклад, наcpt-city) Хоча ви, ймовірно, повинні редагувати їх формат трохи, щоб відповідатиERDDAP's .cpt вимоги. ОтриматиERDDAP™використовувати новий файл .cpt, зберігати файл в домка /webapps/erddap/WEB-INF/cptfiles (Для кожної нової версіїERDDAP) і як:

• Якщо ви використовуєте файл за замовчуванням.xml: додайте ім'я файлу до<палітри> тег в домка /webapps/erddap/WEB-INF/classes/gov/noaa/pfel/erddap/util/messages.xml. Якщо ви робите це, вам потрібно зробити все, що ви модернізуєтеERDDAPй
• Якщо ви використовуєте користувацькі повідомлення.xml файл: додайте ім'я файлу до<палітри> тег у вашому користувальницьких повідомленнях.xml файл: домка JavaScript licenses API Веб-сайт Go1.13.8 Якщо ви це робите, вам потрібно лише зробити (але є інші роботи для підтримки користувацького файлу.xml) й

Далі перезавантажитиERDDAP™доERDDAP™помітить зміни. Перевагою цього підходу є те, що ви можете вказати порядок палітра в списку, представленому користувачам. Якщо ви додаєте збірник, ми заохочуємо вас додавати префікс з початковими авторами (Наприклад, "KT\_« » » » » » » » » » » » » » ») на ім'я кожної палітри, щоб визначити колекцію і так, що може бути кілька палітрів, які інакше мають однакову назву.

Будь ласка, не знімайте або змініть будь-яку з стандартних палітрів. Вони є стандартною рисою всіхERDDAP™монтаж. Якщо ви думаєте, що палітра або колекція палітра повинні бути включені в стандартERDDAP™Розсилка через те, що це буде загального користування, будь ласка, по електронній пошті Кріса. Джон на noaa.gov.

Кольори

• Як працюєERDDAP™генерувати кольори в колірній панелі?

1. Користувач вибирає одну з попередньо визначенихпалітриабо використовувати за замовчуванням, наприклад, Rainbow. Палети зберігаються/визначаються у форматі GMT .cpt кольорові палети. КоженERDDAP- Визначені палітри мають простий цілий діапазон, наприклад, 0 до 1 (якщо є тільки один розділ в палітрі) , або 0 до 4 (якщо є чотири секції в палітрі) й Кожен сегмент у файлі охоплює n+1, починаючи від n=0.
2. ERDDAP™генерує новий файл .cpt на-fly, за допомогою масштабування заданого діапазону палітри (Наприклад, 0 до 4) до діапазону палітри, необхідної користувачем (до 50) а потім генерувати розділ в новій палітрі для кожного розділу нової палітри (Наприклад, вага колоди з кліщами на 0,1, 0,5, 1, 5, 10, 50 буде мати 5 розділів) й Колір для кінцевої точки кожного розділу генерується шляхом пошуку відповідного розділу палітри в файлі .cpt, після чого лінійно взаємопокриття значень Р, Г та Б. (Це те ж, що і як GMT генерує кольори з його кольорових палетних таблиць.) Ця система дозволяєERDDAP™почати з генеричних палітр (Наприклад, Веселка з 8 сегментами, в загальному просяці 0 до 8) і створити на замовлення палітри (e.g., користувальницька Веселка, яка карта 0,1 до 50 мг/л до кольорів веселки) й
3. ERDDAP™потім використовує цей новий .cpt файл для створення кольору для кожного різних кольоровихпікселів в колірному рядку (і пізніше за кожну точку даних при розміщенні даних на графіку або на карті) , знову шляхом пошуку відповідного розділу палітри в файлі .cpt, після чого лінійно інтерполяції значень Р, Г та Б.

Цей процес може здаватися необов'язково. Але вирішує проблеми, пов’язані з логічними вагами, які важко вирішувати інші способи.

Так як можна митиERDDAP™чи? Це не просто. В основному потрібно дублювати процес, якийERDDAP™використовується. Якщо ви єJavaпрограміст, ви можете використовувати той самийJavaкласERDDAP™Використовуйте, щоб зробити все це: домка /webapps/erddap/WEB-INF/classes/gov/noaa/pfel/coastwatch/sgt/CompoundColorMap.java.

Рекомендації щодо систем розподілу даних

Детальніше про дизайн та оцінювання систем розподілу даних можна знайтиГоловнай  

Архіви

Увімкніть свійERDDAP™Встановлення є інструментом командного рядка, який називається АрхівADataset, який може допомогти вам зробити архів (з.zipабо.tar.gzГоловна) з частиною або усіма даними, що зберігаються в серії netcdf-3.ncФайли даних у форматі файлів, які підходять для поданняNOAAАрхів NCEI (.ncдля сітчастих даних або.ncКАРМАдля табличних даних, вказанихНЦЕІNetCDFШаблони v2.0) й

Архіви Dataset може зробити два різних формати архіву:

• Формат "оригінал" див. ціНастанови архіву НСЕІ, це керівництво дляАрхівування ваших даних в NCEIі пов'язанийПрактика забезпечення цілісності данихй
• Формат "BagIt" робитьФайли cookie, стандартизований формат архіву, який пропагував У.С. Бібліотека Конгресу, вказаний У.С.Специфікація BagIt v0.97йNOAA's NCEI може стандартизуватися на файлах BagIt для подачі заявок до архіву.

Не дивно, щоглобальні та змінні метаданіщоERDDAP™заохочує/вимагає це практично точно так само, як і у файлі CF і ACDDD метаданих, які NCEI заохочує/вимагає, тому всі ваші дані повинні бути готові до подання до NCEI через NCEIНадіслати2NCEIабоАТРАК (NCEI Advanced Tracking and Ресурсний інструмент для архівних колекцій) й

Якщо ви (Про насERDDAP™адміністратор) Використовуйте архівADataset для подачі даних до NCEI, після чого ви (не НЦЕІ) буде визначатися, коли подавати роз'єм даних до NCEI і що буде, тому що ви будете знати, коли є нові дані і як вказати, що роз'єм (і НЦЕІ не буде) й Таким чином, АрхівADataset є інструментом для створення пакету для подачі на NCEI.

Архіви Дані можуть бути корисні в інших ситуаціях, наприклад, дляERDDAP™адміністратори, які необхідно конвертувати підмножину на дані (на приватнійERDDAP) з рідного формату файлу в набір.ncФайли CF, щоб громадськістьERDDAP™може служити дані з.ncФайли CF замість оригінальних файлів.

Після того, як ви встановилиERDDAP™і запустити його (принаймні один раз) , ви можете знайти і використовувати АрхівADataset в домка /webapps/erddap/WEB-INF каталог. Є сценарій оболонки (АрхівADataset.sh) для Linux/Unix і пакетного файлу (АрхівADataset.bat) для Windows.

У Windows, перший раз, коли ви запустіть архівADataset, вам потрібно редагувати архівADataset. bat файл з текстовим редактором, щоб змінити шлях до java. exe файл так що Windows може знайтиJavaй

Коли ви запустіть АрхівADataset, це запитати вас серію питань. Для кожного питання натисніть кнопку Enter. Або натисніть ^C для виходу програми в будь-який час.

Або, ви можете покласти відповіді на питання, щоб, на командному рядку. Для цього запустіть програму один раз і введіть і напишіть відповіді. Потім ви можете створити один командний рядок (з відповідями як параметри) які проходять програму і відповіді на всі питання. Використовуйте значення за замовчуванням, якщо ви хочете використовувати значення за замовчуванням для даного параметра. Використовуйте "" (дві подвійні лапки) як учасник місця для порожніх рядків. Вказуйте параметри на командному рядку можна дуже зручним, наприклад, якщо ви використовуєте АрхівADataset раз на місяць, щоб архівувати вартість даних місяця. Після того, як ви генерували командну лінію з параметрами і зберігали, що в ваших нотах або в скрипті оболонки, вам просто потрібно зробити невеликі зміни щомісяця, щоб зробити цей місяць архівом.

Питання, які АрхівADataset просить вас:

• Вкажіть оригінальну або упаковку файлів Bagit. Для NCEI використовуйте Bagit.
• Вказати zip або tar.gzстиснення для пакету. Для NCEI використовуйте тар.gzй
• Вкажіть адресу електронної пошти для цього архіву (він буде записано у файлі READ\_ME.txt у архіві) й
• ВкажітьdatasetIDВи хочете архівувати дані.
• Вкажіть, які зміни даних ви хочете архівувати (зазвичай всі) й
• Вкажіть, який підмножити дані, які ви хочете архівувати. Ви повинні форматувати підмножину так само, як ви будете форматувати підмножину для запиту даних, так що він буде різним для скріплених, ніж для табличних даних.
  • Для скріплених даних можна вказати діапазон значень нижнього виміру, як правило, це діапазон часу. АрхівADataset зробить окремий запит і генерує окремий файл даних для кожного значення в діапазоні значень. Так як сітчасті дані зазвичай великі, ви майже завжди повинні вказати невелику підмножину на розмір усього набору даних. Наприклад,\[ (2015-12-01) : (2015-12-31) \]\[\]\[\]\[\]
  • Для табличних даних можна вказати будь-яку збірку обмежень, але часто це діапазон часу. Оскільки вкладні дані зазвичай невеликі, часто можна вказати не обмеження, щоб всі дані зберігаються. Наприклад, &time>=2015-12-01&time<2016-01-01
• Для табличних даних: вкажіть окремий список коми 0 або більше змінних, які визначать, як архівовані дані додатково підпадають в різні файли даних. Для даних, які мають cdm\_data\_type\=Вимірювання часу|ТаймсерПрофілактика|Трактори|JavaScript licenses API Веб-сайт ви повинні майже завжди вказати змінну, яка має cf\_role=timeseries\_id (Наприклад,stationID) або cf\_role=traloggery\_id атрибут. АрхівADataset зробить окремий запит і генерувати окремий файл даних для кожного поєднання значень цих змін, наприклад, для кожногоstationIDй Для всіх інших табличних даних, ви, ймовірно, не вкаже ніяких змінних для цієї мети. Попередження: Якщо підмножити дані, ви архівуєте дуже великий (>2ГБ) і немає відповідної змінної для цієї мети, потім АрхівADataset не несе відповідальності за цей набір даних. Це повинно бути рідко.
• Вкажіть формат файлів для файлів даних, які будуть створені. Для сітчастих даних, для NCEI, використання.ncй Для табличних даних для NCEI використовуйте.ncКАРМАякщо це варіант; в іншому випадку.ncй
• Вкажіть тип перетравлення файлів для кожного файлу даних і для всього архівного пакета: MD5, SHA-1 або SHA-256. Файловий дайджест забезпечує спосіб клієнта (м. Київ,) перевірити, чи пошкоджено файл даних. Традиційно ці.md5 файли, але тепер є кращі варіанти. Для NCEI використовуйте SHA-256 .

Після відповіді на всі питання, АрхівADataset буде:

1. Зробіть ряд запитів на Dataset і створіть отримані файли даних в bigParentПублічний /Архів datasetID\_timestamp Українська Для скріплених даних буде файл для кожного значення лівої величини (наприклад, час) й Назва файлу буде таким значенням (Наприклад, значення часу) й Для табличних даних буде файл для кожного значення змінної ... (й) й Назва файлу буде таким значенням. Якщо є більш ніж одна змінна, ліва змінна буде використовуватися, щоб зробити імена підкатегорії, і найбільш змінна буде використовуватися для створення назв файлів. Кожен файл даних повинен бути<КСНУМКСГБ (максимальна дозволена.ncверсія 3 фото) й

2. Зробіть файл, пов'язаний з кожним файлом даних з перетравленням файлу даних. Наприклад, якщо файл даних 46088.ncі тип травлення .sha256, потім файл травлення буде мати назву 46088.nc.sha256 .

3. Зробіть файл READ\_ME.txt з інформацією про архів, включаючи список всіх параметрів, які ви вказали для створення цього архіву.

4. Зробіть 3 файли в bigParentПублічний /ArchiveADataset / :

   • Р.zipабо.tar.gzархівний файл datasetID\_timestamp .zip (або.tar.gz) містить всі поетапні файли даних та файли перетравлення. Цей файл може бути будь-яким розміром, обмеженим тільки дисковим простором.
   • Файл перетравлення для файлу архіву, наприклад, datasetID\_timestamp .zip.sha256.txt
   • Для типу "оригінал" архіву, текстовий файл datasetID\_timestamp .zip.listOfFiles.txt (або.tar.gz) які списують всі файли у файлах.zip (або.tar.gz) файл.

Якщо ви готуєте архів для NCEI, це файли, які ви надішлемо на NCEI, можливо, черезНадіслати2NCEIабоАТРАК (NCEI Advanced Tracking and Ресурсний інструмент для архівних колекцій) й 5. Видалити всі застарілі файли, щоб тільки файл архіву (Наприклад,.zip) , травлення (English, Українська, Français...) архіву, (необов'язково) Файли .listOfFiles.txt залишаються.

English, Українська, Français... Файли метаданих

Файл метаданих ISO 19115 .xml не входить до архіву архіву архіву архіву архіву архіву архіву архіву ISO 19115.xml. Якщо ви хочете/need, щоб подати файл ISO 19115 для вашого облікового запису на NCEI, ви можете надсилати їх на файл метаданих ISO 19115 .xml, який ви хочете, щоб подати файл метаданих ISO 19115 для ваших даних NCEI.ERDDAP™створений для набору даних (алеNMFSлюди повинні отримати файл ISO 19115 для своїх даних з InPort, якщоERDDAP™не подається, що файл) й

Проблеми? Сугести? АрхівADataset новий. Якщо у вас виникли проблеми або пропозиції, звертайтеся до насрозділ про отримання додаткової підтримкий