Додаткові відомості
Що потрібно знати
Помилки проксі
Іноді запит наERDDAP™Поверніть помилку Proxy, HTTP 502 Поганий шлюз, або деякі аналогічні помилки. Ці помилки кидаються за допомогою Apache або Tomcat, неERDDAP™сам.
- Якщо кожен запит генерує ці помилки, особливо коли ви в першу чергу налаштуєте вашуERDDAP™, то, ймовірно, це проксі або погана помилка воріт, і рішення, ймовірно, виправитиERDDAPПараметри проксій Це також може бути проблема, коли встановленоERDDAP™раптом починає кинути ці помилки для кожного запиту.
- В іншому випадку, "проксі" помилки, як правило, час від помилок, що кидаються Apache або Tomcat. Навіть коли вони трапляються порівняно швидко, це деякі відповіді від Apache або Tomcat, що відбувається, колиERDDAP™дуже зайнятий, пам'яті або обмежений деякими іншими ресурсами. У цих випадках див. поради нижче, щоб мати справу зERDDAP™відповідаючи повільной
Запити на тривалий час (>30 разових точок) від сітчастого набору даних схильні до своєчасного виходу з ладу, які часто з'являються як проксі-помилки, оскільки він займає значний час дляERDDAP™Щоб відкрити всі файли даних в одному режимі. ЯкщоERDDAP™Якщо ви хочете провести час, проблема швидше за все може статися. Якщо файли даних компресовані, проблема швидше за все, може статися, хоча це важко для користувача визначити, чи зберігаються файли даних. Розчин полягає в тому, щоб зробити кілька запитів, кожен з меншим діапазоном часу. Скільки часу? Я рекомендую, починаючи дійсно невеликий (~30 разових точок?) , потім (приблизно) подвійний діапазон часу, поки запит не зникає, а потім повернутися до одного купання. Далі робимо всі запити (кожен для різних шматків часу) необхідно для отримання всіх даних. АнжелаERDDAP™адміністратор може зменшити цю проблему шляхом збільшенняНалаштування часу Apacheй
Моніторинг
Ми хочемо, щоб наші послуги, щоб знайти свою аудиторію та бути широко використані, але іноді вашіERDDAP™може бути використаний занадто багато, викликаючи проблеми, включаючи супер повільні відповіді для всіх запитів. Наш план уникати проблем:
- МоніторингERDDAP™черезСтатус на серверий Має тонну корисної інформації. Якщо ви бачите, що величезна кількість запитів, які надходять, або тонн пам'яті, які використовуються, або тонн невиконаних запитів, або кожен майор LoadDatasets приймається довгий час, або див. будь-який знак речей, які отримують bogged вниз і відповідаючи повільно, після чого подивітьсяERDDAPРФайл: Log.txtщоб побачити, що відбувається.
Також корисно зауважити, як швидко реагувати на сторінку стану. Якщо вона відповіла повільно, це важливий показник, якийERDDAP™дуже зайнятий.
- МоніторингERDDAP™черезЩоденний звітелектронна пошта.
- Перегляд для застарілих даних через Головна /erddap/outOfDateDatasets.htmlвеб-сторінка, яка базується на додатковомуtestOutOfDateглобальний атрибут.
Зовнішні монітори
Методи, перераховані вище,ERDDAP- способи моніторингу себе. Також можна скористатися зовнішніми системами для моніторингу Ваших данихERDDAPй Один проект для цьогоПроект «Аксіом»й Такі зовнішні системи мають деякі переваги:
- Вони можуть бути налаштовані, щоб надати інформацію, яку ви хочете, щоб ви зрозуміли, як ви хочете.
- Інформація про нихERDDAP™щоERDDAP™не може легко дістатися або взагалі (наприклад, використання процесора, диск безкоштовного простору,ERDDAP™час відповіді, як видно з точки зору користувача,ERDDAP™час,
- Вони можуть надати сповіщення (електронні листи, телефонні дзвінки, тексти) для адміністраторів, коли виникають проблеми.
Мульти Симулянт Запити
- Користувачі Blacklist роблять кілька одночасних запитів! Якщо ви зрозуміли, що хтось користувач робить більше одного одночасного запиту, багаторазово і безперервно, то додайте IP-адресу доERDDAP[:ru]<JavaScript licenses API Веб-сайт (/docs/server-admin/datasets#requestblacklist) у васdatasets.xmlфайл. Часті запити всі з однієї IP-адреси. Іноді вони з декількох IP-адрес, але чітко однаковий користувач. Ви також можете відхилити людей, які роблять тонни недійсних запитів або тонн незрівнянних запитів.
Далі для кожного запиту вони роблять,ERDDAP™повернення:
HTTP ERROR 403 - Access Forbidden --
Your IP address is on this ERDDAP's request blacklist.
Did you often submit more than one request at a time?
Did you often submit identical requests in a short period of time?
Did you submit a large number of invalid requests?
If you are ready to avoid these problems, please email \[ERDDAP™ administrator's email address\] to request to be taken off of the blacklist.
Сподіваємось, користувач побачить це повідомлення і зв'яжеться з вами, щоб дізнатися, як виправити проблему і вимкнути чорний список. Іноді вон и просто переключають IP адреси і спробуйте знову.
Який баланс сили між наступною і оборонною зброєю в умовах війни. Тут оборонна зброя (ERDDAP) має фіксовану ємність, обмежену кількістю ядер в процесорі, пропускною спроможністю диска та пропускною спроможністю мережі. Але наступна зброя (користувачів, неможливі сценарії) мати необмежену потужність:
- Одноразовий запит для даних з багатьох точок часу може викликатиERDDAPвідкрити величезну кількість файлів (в послідовності або частково багатопрочитане) й У крайніх випадках один "прості" запит може легко зв'язати RAID, прикріплений доERDDAP™за хвилину, ефективно блокує обробку інших запитів.
- Один запит може споживати велику пам'ять пам'яті (алеERDDAP™кодується для мінімізації пам'яті, необхідної для обробки великих запитів) й
- Паралелізація до Легко для розумного користувача, щоб паралізувати велике завдання, генеруючи багато ниток, кожен з яких подає окремий запит (які можуть бути великими або малими) й Ця поведінка заохочується комп'ютерною науковою спільнотою як ефективний спосіб боротьби з великою проблемою (і паралелізм ефективний в інших умовах) й Повернутися до війни аналогія: користувачі можуть зробити по-справжньому необмежену кількість одночасних запитів з вартістю кожного, по суті, нульовою, але вартість кожного запиту, що надходить вERDDAP™може бути великим іERDDAP- Скінченна можливість реагування. Очистити,ERDDAP™втратити цю битву, якщо б не булоERDDAP™Користувачі адміністратора blacklists, які здійснюють одночасні запити, які незрівнянно переповнені іншим користувачам.
- Кілька скриптів - Тепер думають про те, що відбувається, коли є кілька розумних користувачів, які працюють паралельно скрипти. Якщо один користувач може генерувати багато запитів, які інші користувачі переповнені, то кілька таких користувачів можуть генерувати стільки запитів, якіERDDAP™стає надмірною і здавалося б невідповідною. Це ефективноDDOS атакаЗнову єдиний захистERDDAP™є для користувачів чорного списку, що робить кілька одночасних запитів, які неспішно переповнені іншими користувачами.
- Витратні витрати - У цьому світі масових технологічних компаній (English, Українська, Français...) , Користувачі, які можуть очікувати, що в основному необмежені можливості від постачальників. Оскільки ці компанії є операціями з грошовими коштами, більше користувачів, вони мають, чим більше доходів, що вони повинні розширити свою ІТ-інфраструктуру. Так вони можуть дозволити собі масивну IT інфраструктуру для обробки запитів. І вони розумно обмежують кількість запитів і вартість кожного запиту від користувачів, обмежуючи види запитів, які користувачі можуть зробити так, щоб ніхто не запит не тягував, і не є підставою (або спосіб) для користувачів, щоб зробити кілька одночасних запитів. Так, ці величезні технологічні компанії можуть мати набагато більше користувачів, ніжERDDAP™, але вони мають масивно більше ресурсів і розумних способів обмежити запити від кожного користувача. Це керована ситуація для великих ІТ компаній (і вони багаті!) але не дляERDDAP™монтаж. Знову єдиний захистERDDAP™є для користувачів чорного списку, що робить кілька одночасних запитів, які неспішно переповнені іншими користувачами.
Отже, користувачі: Не робіть декілька одночасних запитів або ви будете чорними!
Зрозуміло, краще, якщо сервер має багато ядер, багато пам'яті (так ви можете виділити багато пам'ятіERDDAP™, більше, ніж це коли-небудь потребує) Інтернет-з'єднання високої пропускної здатності. Потім пам'ять рідко або ніколи не обмежує фактор, але пропускна здатність мережі стає більш поширеним фактором обмеження. В основному, як є більш і більш одночасні запити, швидкість до будь-якого з них зменшується. У випадку, якщо кожен користувач просто подає запит на один запит.
ERDDAP™Отримання даних з THREDDS
Якщо виERDDAP™отримувати копії файлів даних THREDDS (принаймні для найбільш популярних даних) на іншому RAID, якийERDDAP™має доступ до цього,ERDDAP™може служити дані з файлів безпосередньо. АфішаERD, ми робимо це для наших найпопулярніших даних.
- ERDDAP™може отримати дані безпосередньо і не потрібно чекати THREDDS для перевантаження даних або ...
- ERDDAP™може негайно помітити і ввімкнути нові файли даних, тому не доведеться стерти THREDDS часто, щоб побачити, чи змінилися дані. Головна<JavaScript licenses API Веб-сайт (/Документи/сервер-адміністрування/datasets#updateeverynmillis) й
- Навантаження розщеплюється між 2 RAIDS і 2 серверами, замість того, щоб запит був важко на обохERDDAP™і THREDDS.
- Ви не уникнете проблеми з невідповідністю THREDDS, що мають невеликий (за замовчуванням) максимальний розмір запиту.ERDDAP™має систему, щоб впоратися з неправильним, але уникнути проблеми краще.
- Ви маєте резервну копію даних, які завжди є гарною ідеєю.
У будь-якому випадку, не коли-небудь закінчуються THREDDS іERDDAP™в тому ж Tomcat. Запустіть їх в окремі Tomcats або краще, на окремих серверах.
Ми знайдемо, що THREDDS періодично потрапляє в стан, де запити просто висять. Якщо виERDDAP™отримувати дані з THREDDS і THREDDS в цьому стані,ERDDAP™має захист (це говорить про те, що дані на основі THREDDS не доступні) , але це все ще складно дляERDDAP™зERDDAP™до тих пір, поки час від часу, він намагається перезавантажити дані з голодних THREDDS. Деякі групи (в тому числіERD) Уникнути цього проактивно перезавантаження THREDDS часто (e.g., нічний час в бронюванні) й
Відповідаючи Повільно
- ЯкщоERDDAP™Відповідає Повільно або якщо тільки певні запити, які відповідають повільно, Ви можете дізнатися, чи є уповільнення розумних та тимчасових (наприклад, через багато запитів від сценаріїв абоWMSКористувачі) , або якщо щось незрозуміло, і вам потрібнозапустіть і перезапустіть Tomcat іERDDAP™й
ЯкщоERDDAP™Відповідаючи повільно, див. поради нижче, щоб визначити причину, які сподіваються, дозволять виправити проблему. Ви можете мати певну початкову точку (Наприклад, URL-адреса запиту) або вагу стартова точка (Наприклад,ERDDAP™повільність) й Ви можете знати користувача (e.g., тому що вони по електронній пошті) чи ні. Ви можете мати інші відключення, або ні. З усіх цих ситуацій і всіх можливих причин виникнення проблем, пов'язаних з ними, порада нижче намагається боротися з усіма можливими стартовими точками і всі можливі проблеми, пов'язані з повільними реагуваннями.
- Шукаємо відчуттівERDDAP's log файл ( bigParentПублічний Веб-сайт: www.facebook.com) й
\[У рідкісних випадках виникають відключенняФайл журналу Tomcat ( домка Українська) й\]
Переглядайте повідомлення про помилки. Шукайте велику кількість запитів, що надходять від одного (або кілька) користувачів і, можливо, перехопити багато ресурсів сервера (пам'ять, час процесора, доступ до диска, пропускна здатність інтернету) й
Якщо неприємність пов'язана один користувач , ви можете часто отримати чіткість про те, що користувач є через веб-сервіси, такі як https://whatismyipaddress.com/ip-lookup Щоб надати вам інформацію, пов'язані з IP-адресою користувача (які можна знайти вERDDAPРJavaScript licenses API Веб-сайт Go1.13.8Головна) й
- Якщо користувач має бути бо погано (точно, пошуковий двигун, який намагається заповнитиERDDAP™форми з кожною можливою перестановкою значень в’їзду) , переконайтеся, що ви повинні належним чином налаштувати серверJavaScript licenses API Веб-сайт Go1.13.8файл.
- Якщо користувач має бути **Головна (й) ** що робить кілька одночасних запитів, зв'яжіться з користувачем, поясніть, що вашERDDAP™має обмежені ресурси (Наприклад, пам'ять, час процесора, доступ до диска, пропускна здатність до Інтернету) , і запитати їх, щоб розглянути інших користувачів і просто зробити запит на один раз. Якщо ви не вимкнете.
- Якщо користувач має бути Головна що робить велику кількість часових запитів, попросіть користувача розглянути інші користувачі, поставивши невеликий пауза (2 хв) у скрипті між запитами.
- WMSПрограмне забезпечення для клієнтів може бути дуже затребуваним. Один клієнт часто просить 6 користувацьких зображень одночасно. Якщо користувач має бутиWMSКлієнт, який робить законні запити, ви можете:
- Ігнорувати його. (рекомендується, тому що вони дуже швидко рухаються)
- Вимкніть серверWMSПослугиERDDAPEnglish, Українська, Français... (не рекомендується)
- Якщо з'являються запити stupid, insane, зайвий, або шкідливий, Якщо ви не можете вирішити проблему, будь-яким іншим чином, враховуйте тимчасово або постійно додаючи IP-адресу користувача на [xml.ua]<JavaScript licenses API Веб-сайтdatasets.xmlГоловна (/docs/server-admin/datasets#requestblacklist) й
- Спробуйте дублювати проблему самостійно, від вашого комп'ютера.
З'ясуйте, якщо проблема з одними даними або усіма датами, для одного користувача або всіх користувачів, для всього певних типів запитів і т.д. Якщо ви можете дублювати проблему, спробуйте звужувати проблему. Якщо ви не можете дублювати проблему, то проблема може бути пов'язана з комп'ютером користувача, підключенням до Інтернету або підключенням вашого закладу. - Якщо просто один набір даних Відповідає повільно (можливо тільки для один тип запиту від одного користувача) Проблема може бути:
- ERDDAP- доступ до вихідних даних (недорогий від реляційних баз даних, Кассандра та віддалених даних) може бути тимчасово або назавжди. Спробуйте перевірити швидкість джерела незалежно відERDDAPй Якщо це повільне, можливо, ви можете поліпшити його.
- Чи є проблема, пов'язана з конкретним запитом або загальним типом запиту? Чим більше запитаного субсету даних, тим ймовірніше запит не буде. Якщо користувач робить величезні запити, запитайте користувача, щоб зробити менші запити, які швидше за все, щоб отримати швидку і успішну відповідь.
Практично всі набори даних краще при обробці деяких видів запитів, ніж інші види запитів. Наприклад, коли датасет зберігає різні часові шматки в різних файлах, запити на дані з величезної кількості точок часу можуть бути дуже повільними. Якщо поточні запити є складним типом, розгляньте варіант набору даних, які оптимізовані для цих запитів. Або просто поясніть користувача, який тип запиту складний і трудомісткий, і запитайте їх терпіння.
-
Не оптимально налаштовані дані. Ви можете внести зміни до данихdatasets.xmlкурка, щоб допомогтиERDDAP™обробляти дані, які краще. Наприклад,
- EDDGridВідNcFiles даних, що надходять дані з стиснених файлів nc4/hdf5, повільно при отриманні даних для всього географічного діапазону (Наприклад, для карти світу) тому, що весь файл повинен бути пригнічений. Ви можете конвертувати файли в некомпресовані файли, але потім вимога диска буде набагато більшою, набагато більше. Це, ймовірно, краще, просто прийняти, що такі дан і будуть повільніше в певних обставинах.
- Конфігурація [<subsetVariables>] (/Документи/сервер-адміністрування/datasets#subsetvariables) тег має величезний вплив на те, якERDDAP™ручки EDDTable datasets.
- Ви можете збільшитиШвидкість EDDTableЗ альбомуDatabaseдатасет.
- Багато EDDTable datasets можуть бути спливаючізберігання копії даних вNetCDFContiguous Ragged Array файли, якіERDDAP™можна швидко прочитати.
Якщо ви хочете допомогти прискорити конкретний набір даних, скористайтеся описом проблеми та роз'ємом данихdatasets.xmlі подивитися нашірозділ про отримання додаткової підтримкий
- Якщо все вERDDAP™Про нас Головна уповільнення, проблема може бути:
- Комп'ютер, який працюєERDDAP™може не мати достатньо пам'яті або обробки потужності. Добре бігтиERDDAP™на сучасному, багатоядерному сервері. Для важкого використання сервер повинен мати 64-розрядну операційну систему і 8 ГБ або більше пам'яті.
- Комп'ютер, який працюєERDDAP™може також виконувати інші додатки, які споживають багато системних ресурсів. Якщо так, ви от римаєте виділений сервер дляERDDAP? Приклад (це не кінець) , ви можете отримати чотириядерний Mac Mini Server з 8 ГБ пам'яті для ~ $1100.
- Якщо все вERDDAP™Про нас Населений пункт сповільнювати, переглядатиERDDAPР /erddap/status.htmlГоловна у Вашому браузері.
- Чи єERDDAP™Статус сторінки не завантажується? Якщо так,МистецтвоERDDAP™й
- Про насERDDAP™завантаження сторінок сайту повільно (Наприклад: 0) ? Це знак, що все вERDDAP™не обов'язково.ERDDAP™може бути дійсно зайнятий.
- Для "Відповідальний час (з останнього основних LoadDatasets) ", це n= великий номер? Що вказує на те, що було багато невдалих запитів. Що може бути неприємний або початок неприємностей. Час медіана для відмов часто великі (Наприклад, 210000 мс) й що означає, що (чи?) багато активних ниток. які тиснуть (як пам'ять, відкриті файли, відкриті розетки, ...) й що не добре.
- Для "Відповідальний час" (з останнього основних LoadDatasets) ", це n= великий номер? Що свідчить про те, що останнім часом було багато успішних запитів. Це не складно. Це просто означає, що вашERDDAP™важке використання.
- Чи є "