ERDDAP™Изменения
ERDDAP™Является ярким примеромИнновации, управляемые пользователямигде инновации часто исходят от потребителей (ERDDAP™пользователи) Не только производители (ERDDAP™разработчики) . На протяжении многих лет большинство идей для новых функций и измененийERDDAP™Они пришли от пользователей. Эти пользователи указаны ниже за их отличные идеи. Спасибо! Пожалуйста, сохраняйте эти замечательные предложения!
Вот изменения, связанные с каждымERDDAP™освободить.
Версия 2.25
(выпущен 2024-10-31)
- Новые особенности и изменения (для пользователей) :
- EDDTableFromFiles теперь может поддерживать запросы только с выводами (Глобалы, сценарий jexl или переменные) .
- ВещиERDDAP™Администраторы должны знать и делать:
- Версия 2.25 требуетJava21 или больше. Это версия LTS, которая доступна уже более года.
- SharedWatchService теперь по умолчанию. Если вам нужно отключить его, пожалуйста, свяжитесь с Крисом. Джон на noaa.gov, чтобы сообщить мне, так что я могу улучшить его в будущих версиях и добавить: <Использование SharedWatchService>false</useSharedWatchService> to your setup.xml.
- TheERDDAP™Сервлет теперь начнется при запуске сервера. Это означает, что наборы данных начнут загружаться немедленно, а не ждать, пока будет сделан запрос.
- Параметр removeMVRows в EDDTableFromMultidimNcFiles теперь будет иметь эффект. Настройка его на ложный может значительно ускорить некоторые запросы, но это может не подходить для всех наборов данных. Для получения дополнительной информации см.Описание параметра.
- Наборы данных (EDDTable FromNcFiles и другиеEDDGridИз NcFiles) Теперь поддерживается использование файл ов zarr. Они должны включать «zarr» в файл NameRegex или PathRegex. Видишь?zarr secion в документации наборов данныхдля более подробной информации.
- Поддерживается новый тип набора данных EDDTableFromParquetFiles. Видишь?EDDTableFromParquetFiles secion в документации наборов данныхдля более подробной информации.
- Метрики ПрометеяТеперь они доступны в /erddap/metrics.
- Доступна новая реализация XML-парсера. Новый парсер позволяет использовать XInclude вdatasets.xml. Спасибо Аюшу Сингху за эту функцию.
- Новый параметр вdatasets.xmlКонтроль необычной активности электронной почты. Необычная активность Неудачный процент дефолтов до старого значения 25%. Спасибо Аюшу Сингху за эту функцию.
- Новый параметр в setup.xml, который контролирует, отображаются ли ошибки загрузки набора данных на странице status.html. Он не соответствует действительности, чтобы отключить ошибки набора данных на странице состояния, установить showLoadErrorsOnStatusPage на ложный:<Обсуждение LoadErrorsOnStatusPage</showLoadErrorsOnStatusPage>
- Некоторые небольшие изменения и исправления ошибок.
- ДляERDDAP™Разработчики:
- Тестирование разделено на единицу и интеграцию (медленно) Тесты. Также было включено больше тестов, и тесты были сделаны менее скользкими.
- Ошибка Prone (Некоторые чеки до сих пор отключены) Spot Bugs интегрируется через Maven.
- Полная база кода, отформатированная в соответствии с Руководством по стилю Google.
Версия 2.24
(выпущено 2024-06-07)
- Новые особенности и изменения (для пользователей) :
- Новая цветовая палитра EK80 для акустических наборов данных. Спасибо Робу Чермаку за это.
- Исправьте проблему, когда EDDTableAggregateRows не отображает правильные диапазоны от всех детей. Спасибо Марко Альба за исправление и сообщение об ошибке.
- ВещиERDDAP™Администраторы должны знать и делать:
- Чтобы сделать: изменение безопасности: Google Authentication может потребовать изменений в CSP.
В частности, вам также может потребоваться добавить https://accounts.google.com/gsi/style Ступенька и https://accounts.google.com/gsi/ Объединить-Src. Для скрипта-src теперь можно использовать https://accounts.google.com/gsi/client.
Для получения дополнительной информации вы можете перейти вСтраница GoogleКонфигурация CSP.
- Новый сервис Shared Watch. Это новая опция для просмотра каталогов обновлений. Он имеет один поток для каждой файловой системы вместо одного потока для набора данных. Скорее всего, это резко сократит количество потоков, используемых для наблюдения за изменениями. Это означает, что все наборы данных обновляются вместе, а не каждый набор данных имеет свою собственную частоту обновления. Скорее всего, это будет означать более частые обновления для большинства наборов данных.
Чтобы включить это дополнение<Использование SharedWatchService>Правда</useSharedWatchService> to your setup.xml.
Пожалуйста, попробуйте это и сообщите, как это работает для вас. Джон на noaa.gov.
- Исправьте неправильные имена в журналах. Спасибо Аюшу Син гху за исправление.
- Некоторые небольшие изменения и исправления ошибок.
- Улучшения дляERDDAP™Разработчики:
- Поддержка локального развития с помощью Docker. Спасибо Мэтту Хопсону и Роже.
- Поддержка локального развития с использованием Jetty и улучшения документации. Спасибо, Мика Венгрен.
- Изменения в тестах для уменьшения проблем пересекают платформу. Спасибо. Шейн Сент-Сэвидж.
Версия 2.23
(выпущено 2023-02-27)
Обратите внимание, что этот релиз был сделан Бобом Саймонсом, тем самым показывая, что он по-прежнему активен во время перехода к Крису Джону, его преемнику. Начиная с этого выпуска, все изменения кода производятся Chis John, если не указано иное.
- Новые особенности и изменения (для пользователей) :
- (Никто)
- ВещиERDDAP™Администраторы должны знать и делать:
- Чтобы сделать: изменение безопасности: Google Authentication теперь выполняется через новую библиотеку Google Identity Services, которая является частью «Sign In with Google». Поддержка Google старой системы Google Sign In будет прекращена в 2023-03-31 годах. Если вы используете Google AuthenticationERDDAP™Установка, вы должны обновитьERDDAP™v2.23+ до этого. (Боб сожалеет о коротком уведомлении. Это Боб виноват.)
- NCCSV теперь v1.2. Изменения заключаются в том, что файлы теперь кодируются UTF-8. (Они были ASCII) и поэтому теперь может включать любой символ Unicode как есть, без кодирования как \u_hhhh_, хотя это все еще разрешено. При написании файлов NCCSVERDDAP™Теперь пишет файлы v1.2. ERDDAP™По-прежнему будут считывать файлы NCCSV, которые соответствуют спецификациям v1.0 и v1.1. Благодаря Pauline-Chauvet, n-a-t-e и thogar-компьютеру, которые предлагают это и проводят тесты для обеспечения того, чтобы различные программы электронных таблиц могли импортировать файлы UTF-8. Спасибо Бобу Саймонсу за изменение кода.
- НОВОСТИ: На веб-странице status.html теперь есть строка в верхней части, которая указывает, какие наборы данных загружаются в настоящее время, и связанная с ними статистика, или нет, если набор данных не загружается. Это может быть очень полезно дляERDDAP™Администраторы пытаются выяснить, зачем загружать Наборы данных занимают так много времени. Кроме того, nGridDatasets, nTableDatasets и nTotalDatasets считаются ниже, которые теперь являются мгновенными. (Ранее они были по состоянию на конец последней крупной нагрузки. Наборы данных) . Это изменение для Роя Мендельсона. Спасибо Бобу Саймонсу за изменение кода.
- Усовершенствовано: Генерировать наборы данных Xml меняет CF-1.10 (CF-1.6) в атрибутах «Конвенции». Спасибо Бобу Саймонсу за изменение кода.
- Некоторые небольшие изменения и исправления ошибок.
Версия 2.22
(выпущенный 2022-12-08)
Обратите внимание, что этот релиз был сделан Бобом Саймонсом, тем самым показывая, что он все еще рядом и активен во время перехода к своему преемнику.
- Новые особенности и изменения (для пользователей) :
- (Никто)
- ВещиERDDAP™Администраторы должны знать и делать:
- Делать: ничего.
- Безопасность BUG FIX: В коде для выбора языка была ошибка, связанная с Cross Site Scripting. БлагодаряNOAAСканирование безопасности, чтобы поймать это. Это показывает, чтоNOAAБезопасность активно и регулярно ищет слабые места в безопасности.ERDDAP.
- Безопасность FIX: Многие библиотеки, используемыеERDDAP™Обновлены, как обычно, в рамках данного релиза. На этот раз это включало обновление драйвера PostgreSQL. (У которого был баг безопасности) 42.5.1.
- Внедрение: небольшие измененияERDDAPСистема управления памятью должна снижать вероятность отказа данного запроса из-за отсутствия доступной памяти.
- Некоторые небольшие изменения и исправления ошибок.
Версия 2.21
(выпущенный 2022-10-09)
- Новые особенности и изменения (для пользователей) :
- (Никто)
- ВещиERDDAP™Администраторы должны знать и делать:
- Для этого: ForJava17, вы не должны использовать \-d64 в JAVA\_OPTS в setenv.bat или setenv.sh. Если он есть, пожалуйста, удалите его. Я думаю, что 64-битный режим теперь выбирается при загрузке 64-битной версии.Java. Спасибо Сэму Вудману.
- BUG FIX: Иногда новая система электронной почты пыталась войти в систему слишком часто, что пр иводило к тому, что серверы электронной почты Google отклоняли все будущие попытки входа в систему. Электронная почта позволяет избежать этих и связанных с ними проблем.
Версия 2.20
(выпущенный 2022-09-30)
- Не используйте v2.20. Это неправильно. Но администраторы по-прежнему должны делать элементы TO DO, перечисленные ниже, при обновлении до v2.21 +.
- Новые особенности и изменения (для пользователей) :
- (Никто)
- ВещиERDDAP™Администраторы должны знать и делать:
- УПРАВЛЕНО: Мы повторно включили старую систему управления памятью (Math2.ensureПамять) Модифицирована новая система управления памятью (EDStatic.shedThisRequest) Чтобы лучше с ним работать. Видишь?Состояние памятиДля деталей.
- Изменить: По умолчанию для<ipAddressMaxЗапросы вdatasets.xmlОн был увеличен с 7 до 15. Очевидно, что некоторые законныеWMSКлиент может генерировать более 7 одновременных запросов.
Версия 2.19
(выпущенный 2022-09-01)
- Не используйте v2.19. Это неправильно. Но администраторы по-прежнему должны делать элементы TO DO, перечисленные ниже, при обновлении до v2.20 +.
- Новые особенности и изменения (для пользователей) :
- НОВОСТИ: Существует новая функция на стороне сервера.orderByСпускаясь, который работает какorderByНо в порядке убывания. Спасибо Адаму Лидбеттеру.
- Усовершенствовано: теперь, графики (Но не карты) Расширится, чтобы заполнить доступное пространство на холсте, т.е. пространство, не используемое легендой. Вы можете получить высокие графики, квадратные графики или широкие графики, добавив и манипулируя &.size=width|height параметр (где ширина и высота указывают размер холста, в пикселях) По запросу URL. (Это не вариант на странице .graph. Вы должны добавить его в URL вручную.) Если вы не указываете параметр &.size, запросы на .smallPng, .png, .largePng, .smallPdf, .pdf и .large.pdf имеют заранее определенные размеры холста, поэтому ваш график будет расширяться, чтобы заполнить доступное пространство, но обычно будет примерно квадратным. Спасибо Бобу Флемингу.
- ВещиERDDAP™Администраторы должны знать и делать:
- Чтобы сделать:ERDDAP™Теперь требуетсяJava17 и связанный с ним Tomcat 10. Вы должны следовать заERDDAP™Инструкция по установке (или эквивалент, например, для Docker) устанавливатьJava17 и Томкэт 10 и копируйте ваши\[кот\]Каталог контента из вашей установки Tomcat 8\[кот\]Директория. Нет никаких других изменений, которые вы должны внести в своиERDDAPУстановка связана с этим изменением. Другими словами,ERDDAP™работает, как это было раньше.
Не забудьте сделатьERDDAP- связанные изменения в сервере Tomcat.xml и context.xml при обновлении Tomcat. Видишь?ERDDAP?Инструкция по установке Tomcat.
Мое впечатление отJava17 - это то, что он предпочитает больше вычислительной мощности и памяти для длительных, более крупных приложений, таких как:ERDDAP™работает немного медленнее, чемJava8 компьютеров с низким энергопотреблением (Например, 2 ядра и минимальная оперативная память) работает немного быстрее, чемJava8 с более мощными компьютерами (Например, 4+ ядра и обильная RAM) . Поэтому, если вы видит е плохую производительность, используйте такие программы, как Linux.вершинапроверить использование ресурсов и рассмотреть возможность предоставленияERDDAP™Больше ресурсов, особенно памяти. Память дешевая! Большинство телефонов имеют больше процессоров и памяти, чем серверы, которые некоторые из вас используют для запуска.ERDDAP! Спасибо Эрин Тернбулл.
- Для этого: Если вы используетеERDDAP™Чтобы получить доступ к Кассандре, для Кассандры нужно продолжать использовать версиюJavaЧто ты использовал для управления Кассандрой. Просто переключись наJava17 баллов за Tomcat+ERDDAP.
- Для этого: Рекомендуем: Если процессор вашего сервера имеет 4+ ядра и 8+ ГБ оперативной памяти, рассмотрите возможность изменения этих настроек в вашем компьютере.datasets.xmlфайл:
<nGridThreads>3</nGridThreads>
<nTableThreads>3</nTableThreads>
Если у вашего сервера меньше ресурсов, придерживайтесь «1» для обеих этих настроек. Системы nThreads дляEDDGridИз материалов и EDDTable Из материалов были значительно улучшены. Эти изменения привели к значительному улучшению скорости. (Например, 2X ускорение, когда nThreads установлен на 2 или более) для самых сложных запросов (когда необходимо обработать большое количество файлов для получения результатов) . Некоторые изменения, связанные с Крисом Джоном, также приведут к общему ускорению.ERDDAP. Код для этих изменений внес Крис Джон. Спасибо, Крис!
- Предупреждение: дефисы вdatasetIDОни обесценены и больше не поддерживаются. (Хотя технически это разрешено) . Вероятно, они будут запрещены в следующем выпуске. Если вы и спользуете дефисы, переключитесь на подчеркивания сейчас, чтобы избежать неприятностей. Если вы внесете изменения сейчас, это будет происходить с вашей собственной скоростью. Если вы подождете до следующего выпуска, вы будете в панике, и вам придется иметь дело с этим в тот день.
- НОВОСТИ: Теперь, для.htmlTableответы данных, если данные в ячейке строки содержат данные: изображение/png;base64, за которым следует закодированное изображение .png base64,ERDDAP™Отобразится икона (чтобы пользователь мог видеть изображение, если оно нависает над ним) и кнопки для сохранения текста или изображения в буфер обмена. Спасибо Марко Альба (кто внес код) Боб Саймонс / Bob Simons (кто слегка изменил) .
- Оригинальное название: DoNotAddStandardNames Если вы включаете \-doNotAddStandardNames в качестве параметра командной строки при генерации Наборы данных Xml, генерировать Наборы данных Xml не будет добавлятьstandard\_nameкaddAttributesдля любых переменных, кроме переменных широты, долготы, высоты, глубины или времени (которые очевидныstandard\_names) . Это может быть полезно, если вы используете выход из генерации. Наборы данных Xml непосредственно вERDDAP™Не редактируя выход, потому что генерировать Наборы данных Xml часто угадываетstandard\_nameнеправильно. (Обратите внимание, что мы всегда рекомендуем вам редактировать вывод перед его использованием.ERDDAP.) Использование этого параметра будет иметь другие незначительные связанные эффекты, потому чтоstandard\_nameчасто используется для других целей, например, для создания новогоlong\_name, а также для создания цветовых баров. Спасибо Кевину О'Брайену.
- НОВОСТИ: Теперь вы можете<Обновление MaxEvents>10</updateMaxEvents> вdatasets.xml (рядом с другими вершинами,) Чтобы изменить максимальное количество изменений файла (По умолчанию 10) Обработка будет осуществляться с помощью системы EveryNMillis. большее число (100?) Это может быть полезно, когда очень важно постоянно обновлять набор данных. Видишь?Обновление документации MaxEvents. Спасибо Джону Мореру.
- НОВОСТИ: Добавлена поддержка глобальной "real\_time=правда|Ложный атрибут струн. Если это ложно (по умолчанию) и если набор данных не использует обновление EveryNMillis,ERDDAP™будет кэшировать ответы на запросы типов файлов, где весь файл должен быть создан доERDDAP™Вы можете начать отправлять ответ пользователю и повторно использовать его в течение примерно 15 минут. (например,.nc.png) . Если это установлено верно или если набор данных использует обновление EveryNMillis,ERDDAP™Никогда не будет кэшировать файлы ответа и всегда будет возвращать вновь созданные файлы. Спасибо Джону Мореру.
- НОВОСТИ: Электронные письма теперь отправляются в отдельной электронной почте. Это делает загрузку наборов данных и других действий, которые генерируют электронные письма быстрее, потому что загрузка наборов данных не должна ждать отправки электронной почты, что иногда занимает много времени. Новая система может отправлять несколько электронных писем за сеанс электронной почты, тем самым уменьшая количество входов на сервер электронной почты и снижая риск отказа, потому что они слишком часты. Есть статистика для emailThread на странице status.html и диагностические сообщения в log.txt — ищите «emailThread». Обратите внимание, что подсчёт nEmailsPerSession=0 указывает на проблемы, т.е. сеанс электронной почты не смог отправить никаких писем. Спасибо Бобу Саймонсу.
- Перемены: электронные письма теперь отправляются с немного другим кодом (Потому чтоJava17 и изменение на emailThread) . Если у вас возникли проблемы с отправкой электронной почты, пожалуйста, напишитеerd.data at noaa.gov.
- Действия подписки, которые «прикасаются» к удаленному URL-адресу, теперь обрабатываются отдельным сенсорным потоком. Это делает загрузку наборов данных и других действий, которые касаются URL-адресов быстрее, потому что загрузка наборов данных не должна ждать завершения касания, что иногда занимает много времени. Есть статистика для touchThread на странице status.html и диагностические сообщения в log.txt — ищите «touchThread». Спасибо Бобу Саймонсу.
- НОВОСТИ: На странице status.html, в серии «Major LoadDatasets Time Series», есть новая колонка «shed», которая указывает количество запросов, которые были пропущены из-за текущего времени.ERDDAP™Использование памяти было слишком высоким. Запросы возвращают код состояния HTTP 503 "Service Available". Эти запросы не обязательно были проблемой. Они только что прибыли в напряженное время. Это было частью реконструкции того, какERDDAP™имеет дело с высоким использованием памяти.
- НОВОСТИ: На компьютерах Unix/Linux теперь есть строка «OS Info» на веб-странице status.html с текущей информацией об операционной системе, включая загрузку процессора и использование памяти.
- УПРАВЛЕНИЕ: Сейчас, когдаERDDAP™перезапускается и QuickRestart=true, наборы данных EDDTableFromFiles будут повторно использовать поднабор.ncотличающийся.nc. Для некоторых наборов данных это значительно сокращает время загрузки набора данных. (Например, от 60 секунд до 0,3) . Вместе с новой электронной почтойThread и задачейThread (смотреть выше) Это должно значительно ускорить возобновлениеERDDAP™Для многихERDDAP™Установки. Спасибо Бену Адамсу и Джону Керфуту.
- Изменены: ранее сиротские наборы данных (наборы данных, которые живут вERDDAP™но не находится вdatasets.xml) Их просто отметили по статусу. html и log.txt после каждой основной загрузки. Теперь они автоматически удаляются изERDDAP™и отмечены на status.html и в log.txt и отправлены по электронной почте За все. Если вы хотите удалить набор данных изERDDAP™Теперь все, что вам нужно сделать, это удалить свой кусок xml.datasets.xmlОн будет удален в следующих основных наборах данных. Спасибо Бобу Саймонсу.
- Знать BUG в netcdf-java v5.5.2 и v5.5.3: TheEDDGridИз Тредд Вариант каталога в GenerateDatasets Xml использовался для работы с каталогами THREDDS, которые включают ссылки на наборы данных в удаленных каталогах THREDDS. Теперь нет. Я сообщил об этой проблеме разработчикам netcdf-java.
- BUG FIX: для пользователей Docker настройка параметров setup.xmlERDDAP\_paramName: для внутри- и булевых параметров (например, email SmtpPort) ,ERDDAP™Неправильно искали только paramName. Теперь он ищет ERDDAP_paramName. Спасибо Алессандро де Донно.
- Изменение: TheERDDAP™Система тестирования теперь использует автоматизированную систему для проверки того, что вновь созданные тестовые изображения соответствуют ожиданиям. Спасибо Крису Джон за предложение и Боб Саймонс за реализацию.
Версия 2.18
(выпущенный 2022-02-23)
- Новые особенности и изменения (для пользователей) :
- Никто
- ВещиERDDAP™Администраторы должны знать и делать:
- BUG FIX:.ncФайлы не были закрыты в некоторых случаях. Теперь они есть. Спасибо Марко Альбе, Роланду Швейцеру, Джону Мау реру и другим.
Версия 2.17
(выпущенный 2022-02-16)
- Новые особенности и изменения (для пользователей) :
- BUG FIX: После изменений вorderByНесколько лет назад Tabledap's Make A Graph не обрабатывала многие запросы, которые использовались.orderBy_Xxx_. Теперь так и есть. Спасибо Морису Либесу.
- Изменение: ранееERDDAP™отклоненные запросы. прозрачный Png, когда значения широты и/или долготы были частично или полностью вне диапазона. (ERDDAP™Вопросы GitHub #19, опубликованные Робом Фуллером - спасибо за публикацию этого Роба) Теперь он возвращает прозрачные пиксели для любых областей изображения. Это полезно для многих клиентских приложений. Изменения в коде были сделаны Крисом Джоном. Большое спасибо, Крис!
- Изменение: ранееERDDAP™отклоненные запросы сетки, в которых значения индекса для данного измерения были\[высокий: низкий\]. Теперь он делает эти запросы действительными, меняя низкие и высокие значения. Это решает давнюю проблему для пользователей и для внешних программ, таких как xtracto, которые должны были отслеживать несколько наборов данных, которые имеют значения широты, которые варьируются от высокого до низкого, чтобы сделать запрос как\[ (50) : (20) \]Чтобы запрос в индексном пространстве был\[Низкий: высокий\]. Видишь? https://coastwatch.pfeg.noaa.gov/erddap/griddap/jplAquariusSSS3MonthV5.html Теперь просьба как\[ (20) : (50) \]для одного из этих наборов данных автоматически интерпретируется как\[ (50) : (20) \].
- Запросы .esriAscii теперь запускают диалоговое окно «File: Save As» в браузере пользователя. Спасибо Джоэлу Ван Норду.
- BUG FIX: Теперь, если переменная долготы набора данных ребенкаEDDGridLonPM180 илиEDDGridНабор данных Lon0360 имеетvalid\_minи/илиvalid\_maxАтрибуты удаляются вEDDGridLonPM180 илиEDDGridНабор данных Lon0360. Спасибо Рою Мендельсону.
- ВещиERDDAP™Администраторы должны знать и делать:
- Если бы вы установили<DataProviderFormActive>, чтобы временно справиться с уязвимостью XSS, пожалуйста, верните ее в истинное положение.
- Уязвимость XSS в форме поставщика данных. Спасибо Хенаро Контрерасу Гутьерресу.
- BUG FIX: Если в каталоге AWS S3 было более 10000 файлов,ERDDAP™В результате была допущена «внутренняя ошибка». Теперь это исправлено. Спасибо Энди Зиглеру.
- BUG FIX:EDDGridSideBySide не позволяет изменятьsourceNames в разных наборах данных для детей должны быть одинаковыми. Теперь так и есть. Спасибо Джошуа Стэнфорду.
Версия 2.16
(выпущенный 2021-12-17)
- Новые особенности и изменения (для пользователей) :
- Перемены/заплатки: Многочисленные небольшие изменения в системе перевода благодаря предложениям языковых редакторов. Благодаря Мелани Абекассис, Марко Альба, Джесси Барретт, Филипе Фернандес, Этьен Годин, Дженнифер Севаджян и Майку Смиту.
- СДЕЛАЛ надлежащий отказ от ответственности и атрибуцию для Google Translate, как того требуют условия Google Translate. Кроме того,<Тег html> в HTML для каждой веб-страницы теперь правильно идентифицирует неанглийские веб-страницы как переведенные машиной. Спасибо Майку Смиту.
- BUG FIX: Веб-страницы входа в систему теперь работают должным образом с различными языковыми настройкам и. Спасибо Майку Смиту.
- НОВОСТИorderByФильтр. Новые кнопки Check All и Uncheck AllEDDGridВеб-страница формы доступа к данным. Благодаря кодовому вкладу Марко Альбы.
- ВещиERDDAP™Администраторы должны знать и делать:
- Сделать: если у вас есть <QuestionMarkImageFile>QuestionMark.jpg</questionMarkImageFile в файле setup.xml необходимо удалить весь тег (рекомендуется, поэтому используется файл по умолчанию) или изменить его на: <QuestionMarkImageFile>QuestionMark.png</questionMarkImageFile
- Просто чтобы вы знали,УсыновлениеЗаменил AdoptOpenJDK в качестве основного/рекомендуемого источникаJava (OpenJDK) .
- Изменить: Файлы журналаERDDAP™Генерировать наборы данных Xml и DasDds теперь являются UTF-8, а не набором символов по умолчанию. Я провел большую проверку и внес несколько изменений, чтобы убедиться, чтоERDDAP™всегда указывает правильный набор символов при чтении или записи всех видов файлов, и больше не (в нескольких случаях) Полагается на набор символов по умолчанию компьютера. Это исправило несколько ошибок и приблизило меня к цели использования UTF-8 для максимально возможного количества типов файлов. (Например, .log, .xml, .html,.json,.jsonЯ..ncЗаголовок) . Многие старые типы файлов требуют использования ISO-8859-1. (например,OPeNDAP.das, .dds, .csv,.tsv,.nc3,.nccsv.cpt) . Раньше я пытался работать с группой CF и сUnidataДобавить поддержку UTF-8 в.nc3 файла; оба были устойчивы.
- При загрузке файлов с AWS S3,ERDDAPтайник В системе UrlEDDGridИз материалов и EDDTable FromFiles теперь использует новый AWS Transfer Manager для загрузки файлов через параллельные фрагменты (Таким образом, очень быстро) . Целевая пропускная способность установлена на уровне 20 Гбит/с для каждого файла, поэтому это хорошо работает со всеми типами экземпляров AWS, но особенно с теми, которые имеют отличную производительность сети. С этим изменениемERDDAPтайник Система FromUrl теперь предлагает сопоставимые скорости с подходом xarray к параллельным загрузкам предварительно разбитых файлов, но без необходимости конвертировать исходные файлы из исходных файлов..ncи.hdfв разбитые файлы xarray. На самом деле,ERDDAPСистема лучше, если есть последующий запрос на чтение из того же файла.ERDDAP™Теперь есть локальная копия файла. Наше сообщество потратило годы на стандартизацию.ncи.hdfФайлы. Теперь нам не нужно бросать все это, чтобы получить хорошую производительность при хранении данных в AWS S3. Спасибо Ричу Сигнеллу.
- Изменение: SearchEngine=Lucene на данный момент обесценен. Это сложная система, которая часто дает результаты, которые немного отличаются от более желательного поведения поисковой системы. Почти всеERDDAP™Инсталляции, экономия времени Lucene не компенсируют различия в результатах. Используйте SearchEngine=original, если это возможно. Если это вызывает проблемы, пожалуйста, напишите Бобу.
- Поисковая система Lucene теперь больше похожа на оригинальную поисковую систему. Больше нет случаев, когда луцен думает, что набор данных совпадает, а оригинал - нет. Кроме того, рейтинги луцена теперь равны рейтингам оригинала (Потому что оригинал теперь всегда используется для вычисления рейтинга.) .
- BUG FIX: Начиная с недавнего выпуска,ERDDAP™Мы перестали видеть более 1000 объектов в данном ведре AWS S3. Сейчас,ERDDAP™Он снова видит все предметы. Спасибо Энди Зиглеру.
- BUG FIX: теперь EDDTableAggregate Rows удаляетactual\_rangeатрибут, когда один или несколько наборов данных ребенка никогда не знают его переменных; "actual\_range (Например, EDDTableFromDatabase) . Спасибо Эрику Гелетти.
Версия 2.15
(выпущенный 2021-11-19)
- Новые особенности и изменения (для пользователей) :
- ERDDAP™Имеет новую систему, позволяющую пользователю указывать язык, который будет использоваться для всех веб-страниц. ЕслиERDDAP™Установка настроена на его использование, список языков появится в правом верхнем углу каждой веб-страницы.ERDDAP™URL-адреса из этой версии продолжают работать и всегда возвращают английский контент, как и раньше.
Переведены не все тексты и не все веб-страницы. Были временные ограничения, которые помешали Ци и Бобу достичь 100%.
Очевидный вопрос: почему мы приложили столько усилий, когда Chrome будет переводить веб-страницы на лету? Ответ: таким образом, мы получаем гораздо больше контроля над тем, как выполняется перевод. Примечательно, что есть много слов, которые не следует переводить на веб-страницы, например, заголовки и резюме наборов данных, имена переменных, параметры, единицы и организации. Большая часть усилий по переводу заключалась в определении слов и фраз, которые не следует переводить. Кроме того, машинные переводы имели тенденцию смешивать определенные типы разметки HTML. Управление переводом позволило минимизировать эту проблему.
Переводчиком выступил Qi Zeng (Стажер Google Summer of Code) Боб Саймонс использует сервис Google Translation. Это был огромный проект. Спасибо. Ци!
-
BUG FIX:ERDDAP™Теперь ORCID ID имеет X в качестве последней цифры. Спасибо Морису Либесу.
-
ВещиERDDAP™Администраторы должны знать и делать:
-
Чтобы сделать:
- Вы должны внести несколько изменений, связанных сERDDAPНовая система позволяет пользователям указывать язык для веб-страниц.
- На первой строке вашего setup.xml иdatasets.xmlИзмените кодировку на: «UTF-8» и измените кодировку документа в текстовом редакторе, чтобы он сохранялся как файл UTF-8. Генерировать наборы данных Xml предполагает, чтоdatasets.xmlЭто файл UTF-8.
- Программисты, которые компилируютERDDAP: ВсеERDDAP™По умолчанию файлы .java должны рассматриваться как файлы UTF-8. Возможно, вам потребуется добавить «-кодирование UTF-8» в командную строку javac. (Правда.)
- Чтобы включить эту систему (настоятельно рекомендуется) в<StartBodyHtml5> тег, который вы указываете вdatasets.xmlизменить "&!loginInfo" на "&!loginInfo";|&!language;" так, чтобы список языков появлялся в верхнем правом углу каждогоERDDAP™Веб-страница.
- ERDDAP™использует только<StartBodyHtml5> тег, который вы указываете вdatasets.xmlуказать HTML-контент для баннера в верхней части каждогоERDDAP™Веб-страница, независимо от того, какой язык выберет пользователь. Если вы измените этот тег на использование "&EasierAccessToScientificData;Вместо "упрощения доступа к научным данным" "&BroughtToYouBy;"Вместо "Принесено тебе"ERDDAP™Мы будем использовать переведенные версии этих фраз в баннере.
- Аналогично, новый дефолт<Краткое описание HTML> вdatasets.xmlэто
- Вы должны внести несколько изменений, связанных сERDDAPНовая система позволяет пользователям указывать язык для веб-страниц.
<theShortDescriptionHtml><!\\[CDATA\\[
<h1>ERDDAP</h1>
&erddapIs;
&thisParticularErddap;
\\[standardShortDescriptionHtml\\]
\\]\\]></theShortDescriptionHtml>
Последние 3 строки контента будут заменены переведенным текстом. Если вы преобразуете любой из них (Особенно и это специальный rddap;) или все тексты в явном видеdatasets.xml (который имеет приоритет, если он) SMS.xml, этот текст будет отображаться независимо от того, какой язык выберет пользователь. Это не идеально, но я подумал, что немногие администраторы захотят редактировать.<ShortDescriptionHtml> в 35 различных файлах, чтобы обеспечить 35 различных переведенных версий этого тега.
- Некоторые ошибки теперь обрабатываются немного по-другому и поэтому могут быть добавлены к подсчету «Неудавшихся з апросов» на status.html и в Daily Report Email. Так что эти цифры могут быть несколько больше, чем раньше.
- BUG FIX: Генерировать наборы данных Xml дляEDDGridLon0360 иEDDGridLonPM180 теперь исключает исходные наборы данныхdatasetID=
".\*\_LonPM180" иdatasetID=".\*_Lon0360", соответственно.
Версия 2.14
(выпущенный 2021-07-02)
- Новые особенности и изменения (для пользователей) :
- (ни одного)
- ВещиERDDAP™Администраторы должны знать и делать:
- НЬЮ:EDDGridLon0360, который делает сетчатый набор данных со значениями долготы >=0 и<=360 из сетчатого набора данных со значениями долготы >=-180 и<=180. Видишь?EDDGridДокументация LON0360. Спасибо Дейлу Робинсону.
- НЬЮ:ERDDAP™Теперь администраторы могут переопределить любое значение в setup.xml с помощью переменной средыERDDAP\_valueName перед запускомERDDAP. Например, использоватьERDDAP\_baseUrl перекрывает<Базовое значение. Это может быть удобно при развертыванииERDDAP™с контейнером, так как вы можете установить стандартные настройки в setup.xml, а затем предоставить специальные настройки через переменные среды. Если вы предоставляете секретную информациюERDDAP™С помощью этого метода убедитесь, что информация останется секретной.ERDDAP™считывает переменные среды только один раз на стартап, в первую секунду запуска, поэтому один из способов использовать это: установить переменные среды, начатьERDDAP™Подожди, покаERDDAP™Запускается, затем отключаются переменные среды. Спасибо Марку Портье.
- Теперь, если некоторые файлы в EDDTable From... Набор файлов с большим количеством файлов имеет очень длинные значения строки, набор данных будет загружаться намного быстрее и отвечать на запросы намного быстрее. Раньше,ERDDAP™Выделите много места для значений min и max String в файлах, которые хранятся с файловой информацией для таких наборов данных. Полученный файл был огромным, заставляя его писать и читать медленно. Спасибо OBIS.
- Усовершенствовано: сейчас,ERDDAP™лучше интерпретирует необычные и недействительные последовательности символов в файлах CSV. Спасибо OBIS.
- FIX: После года проблем с Кассандрой я наконец успешно установил Кассандру (v2) Таким образом, удалось повторить испытания с Cassandra v2. Теперь я могу с большей уверенностью заявить, чтоERDDAP™Работает с Cassandra v2 и v3. Спасибо ONC.
Версия 2.12
(выпущенный 2021-05-14)
- Новые особенности и изменения (для пользователей) :
- BUG FIX: Если вы находитесь в черном списке подписки, вы не можете запросить список своих подписок.
- ВещиERDDAP™Администраторы должны знать и делать:
- Система автоматически ограничивает способность злонамеренных пользователей и чрезмерно агрессивных законных пользователей делать большое количество одновременных запросов, которые ухудшают производительность системы для других пользователей. Есть 3 новых факультативных тега вdatasets.xmlкоторую вы можете/должны добавить сразу после<ГрафBackgroundColor>:
<ipAddressMaxRequests></ipAddressMaxRequests> <!-- current default=7 -->
<ipAddressMaxRequestsActive></ipAddressMaxRequestsActive> <!-- current default=2 -->
<ipAddressUnlimited></ipAddressUnlimited> <!-- default=empty -->
Для получения дополнительной информации см.ipAddressMaxRequests.ERDDAP™Также сейчас печатается "Количество уникальных пользователей" (С момента запуска) "на странице status.html. Спасибо человеку в Китае, который напал на меня.ERDDAP™установка.
-
Изменение поведения водителя Postgresql: Когда я обновил драйвер Postgresql, имена столбцов в списке таблиц, сгенерированных Postgresql и GenerateDatasetsXml, как и раньше, возвращались на верхнюю строчку, а не на ниж нюю. Я не знаю, повлияет ли это на другие вещи, поскольку базы данных часто считают эти имена нечувствительными. Мой тестовый набор данных по-прежнему работает правильно. Но если ваш набор данных перестанет работать с этим.ERDDAP™Обновление, это возможная причина, чтобы преследовать первым.
-
BUG FIX:ERDDAP™В настоящее время также корректно обрабатывает частные файлы AWS S3. Были и другие улучшения в обработке файлов AWS S3. Спасибо Майклу Ганглу и Дилану Пью.
-
НЬЮ:EDDGridИз NcFiles иEDDGridИз NcFiles Unpacked теперь может считывать данные из «структур».nc4 и.hdf4 файла. Чтобы определить переменную, которая является структурой,<sourceName> Необходимо использовать формат: fullStructureName|memberName, например, group1/myStruct|Мой член. Спасибо NRL.
-
Теперь, если текущее использование памяти плюс этот запрос даже немного высок, сетчатые наборы nПотоки для этой просьбы к 1. Таким образом,ERDDAP™Сохраняет память, когда памяти мало. Спасибо человеку в Китае, который напал на меня.ERDDAP™установка.
-
Новая система мониторинга количества открытых файлов (которые включают в себя розетки и некоторые другие вещи, а не только файлы) Tomcat на компьютерах Linux. Если некоторые файлы по ошибке никогда не закрываются, количество открытых файлов может увеличиваться до тех пор, пока оно не превысит максимально допустимое. Теперь о компьютерах Linux (Информация недоступна для Windows) :
- На крайнем правом углу веб-страницы status.html есть новая колонка «Открытые файлы», показывающая процент максимально открытых файлов. В Windows он просто показывает «?».
- КогдаERDDAP™генерирует эту информацию в конце каждой основной перезагрузки набора данных, она будет печататься в журнал. txt файл: openFileCount=current of max=max%=percent
- Если процент составляет >50%, на адрес электронной почтыERDDAP™Администратор и электронная почта Все На адреса электронной почты.
Чтобы узнать больше, или если вы видите эту проблему на своем сайте.ERDDAP™Видишь?Слишком много открытых файлов. Спасибо человеку в Китае, который напал на меня.ERDDAP™установка.
- Я добавил много проверок и обработки «Слишком много открытых файлов», поэтому задача просто прекращается, и пользователь видит сообщение об ошибке. Файлы данных больше не будут помечены как плохие, если их чтение приводит к ошибке «Слишком много открытых файлов».
- НОВОСТИ\[BigParent Директория\]/badFilesFlag каталог: Если вы поместите файл в этот каталог сdatasetIDкак имя файла (Содержимое файла не имеет значения) ,ERDDAP™Скачать BadFiles.ncФайл для этого набора данных (если есть) Перезагрузите набор данных как можно скорее. Это вызываетERDDAP™Чтобы попытаться снова работать с файлами, которые были ранее (Ошибочно?) отмечен как плохой. Спасибо Марко Альбе.
- Перемены: при запуске, еслиEDDGridИз... материалов или из... Набор данных файлов изначально содержит 0 файлов в списке известных файлов. (Например, это новый набор данных) ТогдаERDDAP™Откладывает загрузку и устанавливает флаг, чтобы он был загружен как можно скорее после завершения основных наборов данных загрузки. Это ускоряет начальный запуск, когда появляются новые наборы данных.
- Изменены: FileVisitorDNLS.testAWSS3 () FileVisitorSubdir.testAWSS3 () Используйте AWS v2 (не v1) СДК. Теперь GitERDDAP™Дистрибутив теперь включает в себя все необходимые файлы, и вам больше не нужно вручную добавлять массивный файл v1 AWS SDK.
- Меняется: я переключился на использование Maven для обнаружения зависимостей (Файлы .jar в /lib) . Изменение на v2 в AWS SDK потребовало этого. В будущем это будет необходимо для других импортных кодов. Огромное спасибо Кайлу Уилкоксу, который предоставил созданный им pom.xml, который решил для меня несколько проблем.
- Измененный: параметр Classpath (-кп) Используется в GenerateDatasetXml, DasDds и других небольших программах.ERDDAP™, а в советах программистам теперь намного проще и больше никогда не стоит меняться, так как речь идет о каталоге, а не об отдельных файлах:
\-cp классы;C:\programs\\tomcat\lib\servlet-api.jar;lib\*
(Для Linux и Mac вместо «;») .
(Я должен был сделать это несколько лет назад, когда это стало возможным.)
- Оригинальное название: GenerateDatasets У Xml есть новая утилита: FindDuplicateTime, которая будет искать через коллекцию сетчатых устройств..nc (связанный) Файлы для поиска файлов с дублирующими значениями времени. Видишь?Найти дубликаты Время
- НЬЮ:datasets.xmlТеперь может включать в себя<Palettes > Tag, который перекрывает<палитры > значение тега от messages.xml (или возвращается к значению message.xml, если о но пустое) . Это позволяет вам изменить список доступных палитр.ERDDAP™Бежит. Кроме того, если у вас есть подкаталог cptfiles вERDDAP™каталог контента,ERDDAP™будет копировать все файлы \*.cpt в этом каталоге в\[кот\]/webapps/erddap/WEB-INF/cptfils каталог каждый разERDDAP™Начинается. Вместе эти изменения позволяют добавлять палитры и сохранять изменения при установке новой версии.ERDDAP. Видишь?палитры документации
Спасибо Дженнифер Севаджян, Мелани Абекассис и, возможно, другим людям CoastWatch. - Изменилось: [<DownTroubleMillis (/docs/server-admin/datasets#slowdowntroublemillis) В настоящее время используется для всех неудачных запросов, а не только для нескольких типов.
- Измененный поток RunLoadDatasets теперь прерывает поток LoadDatasets на 3/4 LoadDatasets MaxMinutes, поэтому у LoadDatasets больше времени, чтобы заметить прерывание и выйти изящно. Для этого есть больше и лучше диагностических сообщений.
- Изменен со старой версии Lucene на v8.7.0.
- Изменение: Электронные письма, отправленныеERDDAP™Теперь появляется с фиксированным шрифтом ширины.
- Изменить:EDDGridFromFiles теперь получает значения оси, а также атрибуты от FIRST|Последний ф айл, как указано в<Метаданные из>. Спасибо. (не) Кен Кейси и др.
- Поддержка недействительных блоков «degree\_North» и «degree\_East», которые ошибочно используются в последних файлах (с 2020 года-10-01) AVHRR Pathfinder версия 5.3 L3-Collated (L3C) Наборы данных SST (nceiPH53sstd1day и nceiPH53sst1 день) .ERDDAP™Теперь их можно стандартизировать до действительных единиц. Спасибо. (не) Кен Кейси и др.
Версия 2.11
(Выпущено 2020-12-04)
- Новые особенности и изменения (для пользователей) :
- BUG FIX: OrderByMean выбрасывает NullPointerException, если переменная имеет только одну из \_FillValue или отсутствует Определенная ценность. Теперь он правильно справляется с ситуацией. Спасибо Марко Альбе.
- BUG FIX: Были проблемы с текстовыми файлами ODV, созданнымиERDDAP™v2.10. Эти проблемы решены. Спасибо Шону Беллу.
- BUG FIX: Только чтоERDDAP™v2.10: Если границы lat lon были указаны в URL-адресе, ограничивающий ящик не был нарисован на карте мира. Теперь это снова. Спасибо Джону Мореру.
- ВещиERDDAP™Администраторы должны знать и делать:
- BUG FIX: Только чтоERDDAP™v2.10: файлы сценариев для ArchiveADataset, GenerateDatasets Xml и DasDds не работали, потому что у них не было изменений в классе.ERDDAP™v2.10 Теперь они делают. Спасибо Марко Альбе.
- НОВОСТИ: Вdatasets.xmlТеперь вы можете иметь тег:
<emailDiagnosticsToErdData></emailDiagnosticsToErdData> <!-- true (the default) or false -->
В настоящее время, если это правда (или если тег пуст, или если тега нет в файле) когда запрос пользователя приводит к NullPointerException,ERDDAP™Отправит по электронной почте след к стекуerd.data at noaa.gov (тотERDDAP™команда разработчиков) . Это должно быть безопасно, так как нет конфиденциальной информации. (Например, запрос Url) Он включен в электронную почту. Это должно позволить поймать любые неясные, совершенно неожиданные ошибки, которые приводят к NullPointerExceptions. В противном случае пользователь видит исключения, ноERDDAP™Разработчики этого не делают, поэтому мы не знаем, что есть проблема, которую нужно решить.
Возможно, что этот тег приведет к другой, аналогичной диагностической информации, отправляемой по электронной почте.erd.data at noaa.govв будущем. Содержание электронной почты всегда будет минимальным и связано с ошибками, а не, например, с информацией об использовании. Спасибо Марко Альбе.
- Изменено: теперь общие типы сжатых файлов (.bz2,.gz,.gzip,.tar,.tgz,.z,.zip) Запрещены также запросы на байтовый диапазон. Это указывается через<РасширенияNoRangeRequests> в Messages.xml.
- ЗНАЙТЕ ПРОБЛЕМУ: Как и в случаеERDDAP™2.10,.ncФайлы мл, которые пытаются изменить атрибут, не меняют атрибут. Это известная ошибка в netcdf-java, о которой я сообщил, и они говорят, что она будет исправлена в следующем выпуске netcdf-java.
Версия 2.10
(Выпущено 2020-11-05)
- Новые особенности и изменения (для пользователей) :
- НОВОЕ: НовоеинтерполироватьПреобразователь эффективно интерполирует значения из значений сетчатого набора данных. Это особенно полезно для исследователей, работающих с данными о следах животных. Этот преобразователь принимает в таблице с широтой, долготой и временными колонками. (Возможно, другие колонны) и возвращает таблицу с дополнительными столбцами с интерполированными значениями. Таким образом, это похоже на популярноеXractomaticСценарий изначально создан Дэйвом Фоли, но предлагает преимущество обработки до 100 баллов за запрос. Спасибо Дэйву Фоли и Джордану Уотсону (NMFS) .
- Расширенный поиск теперь строг для запросов, не связанных с HTML. Теперь он будет делать исключения для запросов с постоянными ошибками. (Например, запросы, где minLat > maxLat) временные ошибки (Например, запросы на astandard\_nameкоторого не существует) . Для запросов .html расширенный поиск не изменился: как и в случае с поисками Google, он делает все возможное и незаметно исправляет или игнорирует ошибки. Спасибо Ричу Сигнеллу.
- Усовершенствованная: карта на странице расширенного поиска теперь больше (Вы все еще должны прищуриться, но меньше) и значительно более точным (Но все же не идеально) . Спасибо Джону Мореру.
- Настройка «Нарисовать маску земли» на веб-страницах Make A Graph и настройка &.land = ... в URL-адресах, которые запрашивают карту, теперь поддерживает еще два варианта: «Очередь» просто рисует маску очертания, политических границ, озер и рек. "Выключено" ничего не рисует. Видишь?&land=... документация. Спасибо Джону Мореру.
- Усовершенствованные: Графы и карты, созданныеERDDAP™Теперь можно использовать три новых типа маркеров: Безграничный заполненный квадрат, Безграничный заполненный круг, Безграничный заполненный треугольник. Код для этого был предоставлен Марко Альбой из ETT / EMODnet Physics. Спасибо Марко Альбе.
- НЬЮ:"files"Система поддерживает простой Реакции типа фа йла (.csv,.htmlTable,.itx,.json,.jsonlCSV1,.jsonlCSV,.jsonlKVP,.mat,.nc,.nccsv,.tsvили.xhtml.) Например, https://coastwatch.pfeg.noaa.gov/erddap/files/jplMURSST41/.csv . Спасибо Кайлу Уилкоксу.
- Усовершенствованные: URL-адреса, генерируемые при использовании пользователем формы доступа к данным (.html) или Make-A-Graph (граф) Веб-страница теперь правильно кодирует символы\[и\]. Это делает URL-адреса немного сложнее для чтения, но лучше с точки зрения веб-безопасности. Теперь у администраторов есть возможность настройки расслабленного QueryChars. "\[\]|В файле Tomcat server.xml (менее безопасный) или нет (Более безопасный) . Благодаря Антуану Керику, Доминику Фуллер-Роуэллу и другим.
- НОВОСТИ: Если запрос на наборы данных EDDTable включает &add Переменные Где? (атрибут Имя, атрибут Значение) ,ERDDAP™Все переменные, имеющие атрибут attribute Имя = атрибут Значение в списке запрашиваемых переменных. Видишь?&add Переменные Где документация. Спасибо Aurelie Briand и др.
- Изменилось:ERDDAP™Отказывается от запросов на байт-диапазон /files/.ncили.hdfФайлы. Не пытайтесь подключиться к удаленному.ncили.hdfФайлы как локальные файлы. Это ужасно неэффективно и часто вызывает другие проблемы. Вместо этого:
- Использовать(OPeN)DAPклиентское программное обеспечение для подключения кERDDAP?DAPУслуги для этого набора данных (которые имеют /griddap/ или /tabledap/ в URL) . Вот чтоDAPЭто для.
- Используйте форму доступа к данным для запроса подмножества данных.
- Если вам нужен весь файл или повторный доступ в течение длительного периода времени, используйтеcurl,wgetили ваш браузер, чтобы загрузить весь файл, а затем получить доступ к данным из вашей локальной копии файла.
- Оригинальное название: The .odv Опция вывода Txt была переписана для поддержки новой версииODV .txtФайлы и для поддержки правильного представления траектории, временных рядов и данных профиля.
- Теперь поисковые термины в двойных цитатах интерпретируются как json строка, поэтому они могут иметь закодированные символы. Среди прочего, это позволяет вам искать точное соответствие для атрибута, например, «институт =NOAA\n"не будет соответствовать набору данных с учреждением=NOAA NMFS. Спасибо Дэну Новаки.
- УПРАВЛЕНО: В дополнительных местах, числа с плавающей запятой (Поплавки, превращенные в двойники) Теперь они выглядят как немного более округленная версия числа в дополнительных местах, например, поплавок, ранее показанный как двойной 32,27998779296875, теперь может выглядеть как 32,28. Спасибо Кайлу Уилкоксу.
- BUG FIX: неподписанные целые аудиофайлы были прочитаны несколько неправильно. Теперь их правильно читают.
- ВещиERDDAP™Администраторы должны знать и делать:
- Оригинальное название: The First Time You RunERDDAP™v2.10, некоторые наборы данных на основе локальных файлов данных будут загружаться очень Медленно, потому чтоERDDAP™Необходимо воссоздать свою базу данных файловой информации. После медленной начальной перезагрузки они будут загружаться быстро, как и раньше. Пожалуйста, будьте терпеливы.
- Вещи, которые вы должны сделать:
- При первом запуске v2.10 некоторые наборы данных могут не загружаться.ERDDAP™Сейчас ужесточили некоторые метаданные. Как и прежде,ERDDAP™Он отправит вам ежедневный отчет, когда он впервые загрузится. Это будет включать сообщения об ошибках для каждого из наборов данных, которые не загружались. Прочитайте сообщения об ошибках, чтобы выяснить проблемы. В большинстве случаев вам просто нужно внести небольшое изменение в метаданные набора данных, чтобы решить проблему.
- вdatasets.xmlВ поисках<sourceName>= (примечание'='знак, который идентифицируетфиксированная стоимостьsourceName) . Для большинстваERDDAP™Настройки, это редкость. Если какое-либо из значений после'='Это струны (Не цифры) Теперь вы должны включить строку в двойные цитаты. Например, До этого:<sourceName>=KZ401</sourceName> После:<sourceName>="KZ401"</sourceName>
- НОВОСТИ: В setup.xml появилась новая опция,<defaultAccessibleViaFiles>, который устанавливает по умолчанию<Доступные файлы для каждого из наборов данных. По умолчанию этот новый тег является ложным, который имитирует предыдущий.ERDDAP™поведение. Эта настройка более низкого уровня может быть отменена данным набором данных.<Настройка AccessViaFiles.
РЕКОМЕНДУЕТСЯ (Потому что есть пользователи, которые хотят этого.) : Если вы хотите сделать все ЭДД... Из файлов наборы данных доступны через файловую систему, затем
- Добавьте этот тег в файл setup.xml:
<defaultAccessibleViaFiles>true</defaultAccessibleViaFiles>
- (необязательно) Удалить все The
<accessibleViaFiles>true</accessibleViaFiles>
вdatasets.xmlТак как дефолт теперь верн.
- Добавить атрибуты \_FillValue: ERDDAP™\_FillValue для всех целочисленных переменных: максимальное значение типа данных (например, 127 для байтовых переменных) . Теперь нет. Чтобы избежать отображения этих значений в качестве значений данных (Недостающие ценности) Вы должны четко указать их через атрибуты \_FillValue. С этого момента каждый раз, когда вы начинаетеERDDAP™, он отправит администратору электронное письмо с таблицей .csv со списком целочисленных переменных источника, которые не имеют \_FillValue илиmissing\_valueатрибуты и предлагаемые новые атрибуты \_FillValue. Видишь?Добавить \_Fill Атрибуты ценностиДля получения дополнительной информации и инструкций.
- Если вы компилируетеERDDAP™, вам нужно изменить параметр классового пути на командных строках javac, чтобы добавить ссылку на эти новые банки: lib/commons-jexl.jar;lib/aws-java-sdk.jar;lib/jackson-annotations.jar;lib/jackson-core.jar;lib/jackson-databind.jar .
- Tomcat 9 теперь является рекомендуемой версией TomcatERDDAP. Последняя версия Tomcat 8.5+ также хороша. Мы убралиERDDAP?Инструкция по установке Tomcat.
Последняя версияJava8 (неJava9, 10, 11...) изУсыновить OpenJDKостается рекомендуемой версиейJavaдляERDDAP.Java8 имеет долгосрочную поддержку от AdoptOpenJDK, поэтому он по-прежнему безопасен для использования, но не забывайте периодически получать последнюю версию его по соображениям безопасности.
- Script SourceNames / Производные переменные в табличных наборах данных
Наборы данных EDDTableFromFiles, EDDTableFromDatabase и EDDTableFromFileNames теперь могут включать в себя выражения и скрипты.sourceName. Это позволяет создавать новые переменные на основе существующих переменных в исходных файлах. Расчет для данной новой переменной производится в пределах одной строки результатов, неоднократно для всех строк. Например, сделать переменную долготы со значениями в диапазоне -180 - 180° из переменной со значениями в диапазоне 0 - 360°:
<sourceName>=Math2.anglePM180 (row.columnDouble ("лон") ) </sourceName>
Подробнее см.Сценарий SourceNames
Спасибо Бобу Саймонсу (Кто планировал это раньшеERDDAP™v1.0 и, наконец, нашел способ его реализации) Кевин О'Брайен, Роланд Швейцер, Джон Маурер и библиотека Apache JEXL для выполнения действительно сложной части (И делать это хорошо) . - НОВОСТИ: Неподписанные целочисленные типы данных (ubyte, ushort, uint, ulong) Сейчас они поддерживаются. Обратите внимание, что многие типы файлов (Например, .das, .dds,.nc3) Мы не поддерживаем все эти новые типы данных. Видишь?Данные Тип документацииПодробнее о том, какERDDAP™Мы имеем дело с этими различиями. В частности, поскольку(OPeN)DAP, в частности, ответ .dds, не поддерживает подписанные байты, лонги или улонги, вы можете использоватьERDDAPТабличное представление .das и .das, как видно изhttp.../erdap/ информация /_datasetID.html web page (Например, https://coastwatch.pfeg.noaa.gov/erddap/info/cwwcNDBCMet/index.html ) которые вы также можете получить в других типах файлов или.nccsvОтвет на метаданные (Например, https://coastwatch.pfeg.noaa.gov/erddap/tabledap/cwwcNDBCMet.nccsvMetadata ) Обе системы поддерживают все типы данных во всех ситуациях.
ПРЕДУПРЕЖДЕНИЕ: Для наборов данных, которые затронуты этим изменением, возможно, что вы увидите проблемы с набором данных, потому что данные, которыеERDDAP™Ссылки из источника могут быть разными (Например, переменные, ранее считанные как подписанные целые числа, теперь могут быть считаны как неподписанные целые числа.) . Возникающие проблемы включают в себя: новые файлы, не добавляемые в набор данных, и/или ошибки при попытке доступа к данным. Если у набора данных есть проблемы, первое, что нужно попробовать, этоустановить жесткий Флагдля набора данных. Если это не решит проблему, вы должны посмотреть журнал. txt, чтобы увидеть сообщения об ошибке, углубиться вdatasets.xmlдля набора данных и/или, возможно, повторно генерировать Datasets.xml для набора данных. Благодаря netcdf-java 5.x (Что заставило проблему) Предстоящий CF 1.9.
- Продвинутый: есть сейчасЛучшая документация/советыКак создать набор данных из файлов в ведрах AWS S3 Спасибо Мике Венгрену.
- Перемены: есть несколько изменений, связанных с"files"система.
- Код для этого был переписан, чтобы его можно было использовать для большего количества классов.
- НЬЮ-ЙОРК: Запросы пользователей на списки каталогов теперь могут потребовать, чтобы ответ был одним из стандартных типов таблиц, добавив желаемое расширение файла: .csv,.htmlTable,.itx,.json,.jsonlCSV1,.jsonlCSV,.jsonlKVP,.mat,.nc,.nccsv,.tsvили.xhtml). Например,
https://coastwatch.pfeg.noaa.gov/erddap/files/jplMURSST41/.csv
Спасибо Кайлу Уилкоксу и Шейну Сент-Сэвиджу. - Оригинальное название: Now, Generate Наборы данных Xml не включает в себя<Доступные файлы> тег на выходе. Предполагается, что набор данных будет опираться на ценность нового<Доступные файлы > Скачать setup.xml Видишь?доступный Файлы.
- Дополнительные типы наборов данных теперь поддерживаются ViaFiles:EDDGridSideBySide,EDDGridСовокупность существующих измерений,EDDGridFromErddap, EDDTableFromErddapEDDGridEDDTable, EDDTable FromEDDGridиEDDGridОт Этопо. Для этого файлы из заданного пульта данных/детей будут доступны только в том случае, если доступны как родитель, так и пу льт данных/детей. ViaFiles set to true (Возможно, через<Доступные файлы>. Спасибо Дэмиану Смиту и Робу Фуллеру.
- TO DO / РЕКОМЕНДАЦИЯ: Мы рекомендуем сделать все соответствующие наборы данных доступными через файловую систему.<По умолчанию AccessibleViaFiles> соответствует действительности в setup.xml, поскольку существует группа пользователей, для которых это предпочтительный способ получения данных. Среди прочих причин,"files"Система позволяет пользователям легко видеть, какие файлы доступны и когда они в последний раз изменились, что облегчает пользователю сохранение собственной копии всего набора данных. Если вы обычно не хотите делать наборы данных доступными через файловую систему, установите<По умолчаниюДоступные файлы> Ложные. В любом случае, просто используйте<* для немногих наборов данных, которые являются исключениями из общей политики, установленной<Доступные файлы > (Например, когда набор данных использует.ncМЛ файлы, которые не очень полезны для пользователей) .
- УПРАВЛЕНИЕ: Теперь, если исходный набор данных имеет информацию CF grid\_mapping, генерировать Наборы данных Xml для сетчатых наборов данных добавит информацию в глобальную<AddAtts, и информация будет добавлена в глобальную<SourceAtts> каждый раз, когда данные считываются из файла. Информация появится в глобальных атрибутах набора данных в виде набора атрибутов с префиксом grid\mapping\.
- Поддержка групп при чтении.nc4.4 (В определенной степени в.hdf5) Файлы. Как правило, aERDDAP™Набор данных будет построен из переменных в одной из групп файла. Генерировать наборы данных Xml дляEDDGridИз NcFiles иEDDGridИз NcFiles Unpacked просит «группу» (Например, "" для любых/всех групп, "someGroup", "someGroup/someSubGroup" или ""\[корень\]"только для корневой группы) . Спасибо Чарльзу Карлтону и Джессике Хаусман.
- Усовершенствовано: Генерировать наборы данных Xml дляEDDGridИз NcFiles иEDDGridИз NcFiles Теперь Unpacked поддерживает дополнительный параметр «DimensionsCSV», который позволяет указать имена источников измерений, которые вы хотите использовать. Используйте «», чтобы получить переменные, которые используют большинство измерений. Кроме то го, связанная небольшая ошибка, которая произошла с этим типом файла, теперь исправлена. Спасибо Суджалу Манандару.
- BUG FIX: Генерировать наборы данных Xml теперь правильно перечисляет «EDDTable FromJsonlCSVFiles» (Не "EDDTable FromJsonlCSV") Один из вариантов EDDType. Спасибо Энди Зиглеру.
- Усовершенствовано:EDDGridИз NcFiles Unpacked теперь стандартизирует атрибуты «единиц» для стандартных / «канонических» удунитов (Тот же метод, что и конвертер блоков) . Например,"meter per second","meters/second","m.s^-1"и"m s-1"Все становится"m s-1". Спасибо Энди Зиглеру.
ПРЕДУПРЕЖДЕНИЕ: Возможно, это вызовет проблемы для некоторых существующих наборов данных. (Например, чтобы новые файлы были помечены как «плохие».) . Если да,установить жесткий ФлагДля набора данных, чтобы все исходные файлы были перечитаны с новой системой.
- Усовершенствовано: теперь переменная<sourceName> может указывать фиксированное значение =NaN, и переменная может иметьactual\_rangeатрибут, который определяет конечный диапазон. Иногда это полезно, так что набор данных (В частности, набор данных EDDTableFromFileNames) может иметь фиктивную переменную (s) (например, широта, долгота, время) с фиксированными значениями NaN, но с действительнымиactual\_range (как установлено атрибутом) . Затем в Advanced Search пользователь может искать наборы данных, которые имеют данные в определенной широте, долготе, временном диапазоне, и этот набор данных сможет сказать, что он имеет соответствующие данные. (Хотя все фактические строки данных покажут NaN) . Видишь?Документация с фиксированной стоимостью. Спасибо Мэтью Биддлу.
- НОВОСТИ: Теперь,datasets.xmlфрагмент для набора данных EDDTableFromAsciiFiles или EDDTableFromColumnarAsciiFiles может включать в себя тег, который сообщаетERDDAP™игнорировать все строки в верхней части файла до и включая строку, которая соответствует указанному регулярному выражению. Например, <SkpHeaderToRegex\\*\*Конец лидера.\</skipHeaderToRegex будет игнорировать все линии вплоть до и включая линию, начинающуюся с "\*\** Конец руководителя". Смотри.<skipHeaderToRegex> документация (/docs/server-admin/datasets#skipheadertoregex) . Спасибо Эли Хантеру
- НОВОСТИ: Теперь,datasets.xmlEDDTableFromAsciiFiles или EDDTableFromColumnarAsciiFilesdataset может включать в себя тег, который сообщаетERDDAP™игнорировать все строки в файле, которые соответствуют указанному регулярному выражению. Например,
<skipLinesRegex>#.\\*</skipLinesRegex>
Пропустите все строки, которые начинаются с «#». Смотри.<skipLinesRegex> документация (/docs/server-admin/datasets#skiplinesregex) . Спасибо Эли Хантеру.
- НОВЫЙ:datasets.xmlКуски для любого набора данных EDDTable теперь могут включать &add Переменные Где? (attributeNamesCSV) . Если это так,ERDDAP™Добавить виджет для каждого из указанных атрибутов Имена в форме доступа к данным набора данных (.html веб-страница) Чтобы пользователям было легко добавлять и добавлять Переменные Где? (атрибут Имя, атрибут Значение) к просьбе. Видишь?&add Переменные Где документация. Спасибо Aurelie Briand и др.
- НОВОСТИ Инструмент третьей стороны:ERDDAP- кремень ERDDAP-lint - это программа от Роба Фуллера и Адама Лидбеттера из Ирландского института морской пехоты, которую вы можете использовать для улучшения метаданны х.ERDDAP™наборы данных.ERDDAP-lint "содержит правила и простое статическое веб-приложение для проведения некоторых тестов проверки против вашегоERDDAP™Сервер. Все тесты проводятся в веб-браузере". Как будто[Инструмент Unix/Linux](https://en.wikipedia.org/wiki/Lint_(software)Вы можете изменить существующие правила или добавить новые. Видишь?ERDDAP- кременьЗа дополнительной информацией.
Этот инструмент особенно полезен для наборов данных, которые вы создали некоторое время назад и теперь хотите обновить свои текущие настройки метаданных. Ранние версии GenerateDatasets Xml не приложила никаких усилий для создания глобальной сети.creator\_name,creator\_emailСоздатель_тип, илиcreator\_urlметаданные. Вы можете использоватьERDDAP- идентифицировать наборы данных, в которых отсутствуют эти атрибуты метаданных.
Спасибо Робу и Адаму за то, что создали этот инструмент и сделали его доступным для всех.ERDDAP™сообщество.
- НОВОСТИ: Теперь все в порядке, если некоторые файлы вEDDGridНабор данных FromFiles не имеет всех переменных набора данных. Фа йлы будут включены так, как если бы они имели переменные. (Все недостающие ценности) . Спасибо Дейлу Робинсону и Дагу Латорнеллу.
- В файле журнала и Daily Report появилась новая статистика использования, чтобы помочь администраторам идентифицировать пользователей, которые вызывают проблемы с памятью. Статистика называется «OutOfMemory». (Размер массива) "Вне памяти" (Слишком большой) «OutOfMemory» (Слишком большой) ". Они показывают IP-адреса пользователей, которые сделали запросы в этих категориях, и количество запросов, которые они сделали. Если бы не было проблемных запросов, эта статистика не появилась бы. "Вне памяти (Размер массива) «Вне памяти» (Слишком большой) "запросы, как правило, не являются проблемой, поскольку запросы были настолько большими, чтоERDDAP™Быстро поймали и вернули сообщение об ошибке. "Вне памяти" (Слишком большой) "запросы более опасны, посколькуERDDAP™Приложил некоторые усилия, прежде чем понял, что в настоящее время не хватает памяти для обработки запроса. (Хотя проблема может заключаться в других запросах непосредственно перед этими запросами.) .
Существует также новая статистика под названием «Большой запрос, IP-адрес», которая показывает IP-адреса пользователей, которые делали большие запросы. (В настоящее время сетчатый.ncФайлы > 1 Гб) .
Кроме того, таблица временных рядов на странице status.html теперь включает столбец «memFail», показывающий количество запросов, которые не удались с «OutOfMemory». (Слишком большой) "ошибки, возникшие после последнего крупного набора данных о нагрузке. Любое число, кроме 0, является, по крайней мере, поводом для беспокойства. Спасибо Бобу Саймонсу.
- НОВОСТИ: Новая версияHyraxотображает списки каталогов иначе, чем раньше.ERDDAP™Теперь можно читать старые и новые каталоги.
- Перезагрузка набора данных и ответы пользователей, которые занимают более 10 секунд (успешно или безуспешно) Помечены " (>10s!) ". Таким образом, вы можете искать файл log.txt для этой фразы, чтобы найти наборы данных, которые медленно перезагружались, или количество запросов, которые медленно заканчивались. Затем вы можете посмотреть выше в файле log.txt, чтобы увидеть, что такое проблема набора данных или что такое запрос пользователя и от кого он был. Эти медленные нагрузки на набор данных и запросы пользователей иногда облагаются налогом.ERDDAP. Таким образом, знание этих запросов может помочь вам определить и решить проблемы.
- УПРАВЛЕНО: При проверке набора данных CF DSGERDDAP™Теперь гарантируется, что переменные с атрибутами cf\role находятся в соответствующем списке переменных cdm\...\ и не находятся в других списках переменных cdm\...\_. Например, если набор данных TimeeriesProfile имеет переменную «station\_id», которая имеет атрибут cf\_role=timeseries\_id, то «station\_id» должна быть в списке переменных cf\timeseries\, но не должна быть в списке переменных cf\profile\. Спасибо Мике Венгрену.
- «Упростить» теперь быстрее, использует меньше памяти и может вернуть LongArray. БлагодаряUnidata.
- Усовершенствовано: FastRestart теперь значительно быстрее для EDDTableFrom (связанный с nc) Файлы (За исключением EDDTable FromNcCFFiles и EDDTable FromInvalidCRAFiles) Потому что сделать Ожидаемый (и другое место) Теперь просто считывает метаданные файла выборки вместо того, чтобы читать все данные. Спасибо Джессике Остин.
- В настоящее время существует поддержка струн времени с точностью больше, чем до миллисекунды, если все дополнительные цифры равны 0, например, «2020-05-22T01:02:03.456000000Z». Спасибо Ибо Цзян.
- УПРАВЛЕНО: GenerateDatasetsXml's EDD.suggestDestinationName используется для удаления '(' и всего после. Теперь он удаляется (.\только в том случае, если это конецsourceName. Теперь он также удаляет\[.\\]Только если это конецsourceName. Спасибо Жюльену Полу.
- Усовершенствовано: Генерировать наборы данных Xml делает переменнуюdestinationNames уникальный путем добавления \_2, \_3, ... по мере необходимости. Спасибо Жюльену Полу.
- Когда Calendar2.parseDateTime парирует dd, hh или HH, первая «цифра» теперь может быть пространством.
- ЗНАЙТЕ ПРОБЛЕМУ: Начиная сERDDAP™2.10,.ncФайлы мл, которые пытаются изменить атрибут, не меняют атрибут. Это известная ошибка в netcdf-java, о которой я сообщил, и они говорят, что она будет исправлена в следующем выпуске netcdf-java.
- BROKEN LINKS FIX: Я создала правильную систему для тестирования неработающих ссылокERDDAP™Веб-страницы, поэтому сейчас должно быть очень мало неработающих ссылок (По крайней мере, с каждой датой релиза - часто возникают новые неработающие ссылки) .
- BUG FIX: EDDTableFromHttpGet не работает с определенными типами запросов. Теперь нет. Спасибо Эмме в BODC.
- BUG FIX: Для обработки некоторых запросов EDDTable создал временный файл для каждой запрашиваемой переменной с именем файла, заканчивающимся именем переменной. Если имя переменной также является типом сжатия (Например, .Z) ,ERDDAPПопытаться (и провал) Декомпрессия временного файла. Теперь временные имена файлов заканчиваются на ".temp". Спасибо Мэтью Биддлу.
- BUG FIX: GenerateDatasetsXml и Calendar2.convertToJavaВремя даты Формат теперь гораздо реже вносит неправильные изменения при попытке исправить недействительный формат даты. Примечательно, что ни один автоматически предложенный формат даты не будет изменен. Спасибо Мэтью Биддлу.
- BUG FIX: Если была ошибка при получении контента с удаленного URL-адреса, и если контент errorStream сжат,ERDDAP™Теперь правильно декомпрессирует сообщение об ошибке. Спасибо Бобу Саймонсу.
- BUG FIX:<ПодпискаToRemoteErddapDataset> не применялась, когда EDD... FromErddap dataset — набор данных для детей. Вот оно. Спасибо Крису Ромсосу.
- BUG FIX: Генерировать наборы данных Xml больше не думает, что имя переменной источника, начинающееся с латина, может быть широтой. Спасибо Винсенту Луццо.
- Ошибка OutOfMemory при чтении файла данных при обработке запроса пользователя не является причиной для добавления файла в список BadFiles. Спасибо Бобу Саймонсу.
Версия 2.02
(Выпущено 2019-08-21)
-
Новые особенности и изменения (для пользователей) :
-
НОВОСТИ: В настоящее время существует два способа поиска наборов данных по несколькимERDDAPС. Они работают немного по-разному и имеют разные интерфейсы и опции.
- SearchMultipleERDDAPs.htmlБоб Саймонс / Bob SimonsNOAA NMFS SWFSC ERD.
- http://erddap.com Роб Фуллер, Морской институт Ирландии.
Спасибо Тайлеру Мюррею за первоначальную просьбу.
- УПРАВЛЕНО: просьба к"files"Система для загрузки файла, который фактически находится на удаленном сайте (Например, AWS S3) теперь приводит к перенаправлению, поэтому пользователь фактически загружает данные из источника, вместо того, чтобы использоватьERDDAP™как посредника. Спасибо Энди Зигл еру иNOAA.
- В качестве примера новых функций, связанных с AWS S3, и для облегчения просмотра и загрузки файлов из общедоступных ведер AWS S3 мы создали ~110 выборочных наборов данныхЭто позволяет любому просматривать содержимое почти всех AWS S3 Open Data. Если вы нажмете на"files"Ссылка для любого из этих наборов данных выборки, вы можете просматривать дерево каталогов и файлы в этом ведре S3. Из-за того, как эти наборы данных работают, эти списки каталогов всегда идеально обновлены.ERDDAP™Поймать их на лету. Если вы нажмете вниз по дереву каталога на фактическое имя файла и нажмете на имя файла,ERDDAP™Ваш запрос будет перенаправлен на AWS S3, чтобы вы могли загрузить файл непосредственно из AWS.ERDDAP™Администраторы могут Читайте инструкции, как это сделать для других ведер S3. Спасибо Энди Зиглеру иNOAA.
- ВещиERDDAP™Администраторы должны знать и делать:
- Вещи, которые вам нужно сделать: нет
- Усовершенствовано:ERDDAPСпособ хранения массивов строк (Струнный массив) Теперь она намного эффективнее памяти. Струна Решетки используются повсеместноERDDAP™Особенно при чтении табличных файлов данных ASCII. Кроме того, другие изменения делают чтение CSV / TSV / SSV ASCII, столбцовых ASCII и табличных файлов данных jsonlCSV быстрее и намного эффективнее памяти. Результат: для 764 МБ тестового файла ASCII (Но сжатый до 52 МБ.gzфайл) с 3 503 266 строками и 33 колонками максимальное использование памяти снизилось с 10 ГБ до 0,6 ГБ (на пике) . Время, чтобы прочитать его прошло от ~7 минут (сильно зависит от того, сколько физической памяти находится в компьютере;) До ~36 секунд (10 для упрощения () Используется только для генерации данных Xml) . Во многих других местахERDDAP™Это позволит повысить эффективность памяти. Спасибо Тайлеру Мюррею и Мэтью Биддлу.
Я искал другое решение (хранение строк в StringArray в виде UTF-8-кодированных байтовых массивов) . Это снижает использование памяти еще на 33 %, но за счет 33 % замедления. По сравнению с системой, которая сейчас используется, это казалось плохим компромиссом. Легче дать компьютеру больше памяти (Купить больше памяти за $ 200) чем сделать его быстрее (Купить новый компьютер) .
Если это удобно, по-прежнему рекомендуется разделить огромные табличные файлы данных на несколько небольших файлов на основе некоторых критериев.stationIDи/или время.ERDDAP™Часто достаточно открыть один из маленьких файлов в ответ на запрос пользователя, чтобы он мог ответить намного быстрее.
- Продвинутый: есть сейчасERDDAP™Документация AWS S3, который описывает, как получитьERDDAP™Работа с файлами данных в AWS S3.
Кроме того,ERDDAP™В AWS S3 появились новые функцииJavaAPI.
Кроме того,ERDDAP™Теперь URL-адреса AWS S3 могут содержать дополнительные символы (период, дефис, подчеркивание) Названия ведра.
Кроме того,ERDDAP™Теперь требуется, чтобы URL-адреса AWS S3 были идентифицированы определенным образом:
https://bucketName.s3._aws-region._amazonaws.com/prefix/
где префикс необязателен. Спасибо Энди Зиглеру иNOAA. - Усовершенствовано: Генерировать наборы данных Xml теперь лечит дополнительные распространенныеmissing\_values stand-ins как недостающие значения и поэтому с большей вероятностью преобразует столбец в числовой тип данных. Кроме того, PrimitiveArray.simplify () Теперь журналы, конкретное значение данных которых заставило его рассматривать данный столбец как столбец строк. Спасибо Мэтью Биддлу.
- Усовершенствовано:<Запрос Blacklist теперь поддерживается.\.\ (или:\:\для IPv6) в конце IP-адресов, чтобы вы могли занести в черный список большую часть IP-адресов, например, 110,52.\.\ (Китай Unicom Tianjin) . См. документацию для [<Черный список>> (/docs/server-admin/datasets#requestblacklist) Спасибо China Unicom и China Telecom.
- Усовершенствовано: если источник набора данных не указывает"institution"атрибут, GenerateDatasets Xml и loadDataset теперь получают его из атрибута «создатель\_институт» (Если доступно) . Спасибо Мике Венгрену.
- BUG FIX: стандартизация Что не всегда применялось к файлам данных ASCII. Кроме того, EDDTable не справлялся должным образом с ограничениями на временны е значения, когда у источника были временные значения струн и стандартизация. Что было использовано. Спасибо Паломе де ла Валле.
Раньше я не говорил четко: вы должны просто использовать стандартизацию. Какие особенности, когда они действительно нужны (Например, когда различные исходные файлы хранят значения времени по-разному.) потому что некоторые запросы к наборам данных, которые используют стандартизацию Что будет обрабатываться немного медленнее.
- BUG FIX: Ошибка в коде, используемомEDDGridИз-за NcFiles он потерпел неудачу.nc4 и.hdf5 файлов, которые «длинны» (Int64) переменных. Теперь это исправлено. Спасибо Фридеманну Вобусу.
- BUG FIX: Небольшие изменения в ISO 19115, чтобы сделать другой валидатор счастливым. Спасибо Крису МакДермайлу и Анне Милан.
Версия 2.01
(Выпущено 2019-07-02)
- Новые особенности и изменения (для пользователей) :
- Нет.
- ВещиERDDAP™Администраторы должны знать и делать:
- BUG FIX: Ошибка в коде, которая генерирует форму доступа к даннымtabledapНаборы данных привели к тому, что эта веб-страница была пустой для некоторых наборов данных. Кроме того, я улучшил обработку неожиданных ошибок на всех HTML-страницах. (обычно) Отобразить сообщение об ошибке. Спасибо Марко Альбе.
- Усовершенствовано: Генерировать наборы данных Xml больше не печатает длинное предупреждение в верхней части вывода. Вместо этого, пожалуйста, посмотритеРедактировать Генерировать Наборы данных Выход Xml. Спасибо Стивену Бауму.
- Усовершенствовано: Генерировать наборы данных Xml дает несколько иные рекомендации в различных ситуациях.<Обновить EveryNMillis> для EDD... From...Files datasets. Генерировать наборы данных Xml теперь отказывает оригинальной системе «экстракта» для наборов данных EDDTableFromFiles.
Версия 2.00
(Выпущено 2019-06-26)
-
ERDDAP™V2.00 наконец-то здесь! Да!
-
Мы приносим извинения за длительную задержку, необходимую для завершения этой версии. Спасибо за ваше терпение.
-
Хорошей новостью является то, что дополнительное время было использовано для добавления дополнительных функций, которые пользователи запросили. Плохая новость заключается в том, что даже с задержкой были добавлены не все запрошенные функции. Мы сожалеем, но казалось более важным получить это освобождение, чем откладывать больше. (навсегда?) Постоянно добавлять новые функции. Мы обещаем вернуться к более частым выпускам в будущем.
-
"Версия 2?!" Есть ли большие изменения и несовместимости? Большие новые функции? Да. Большие несовместимости или изменения для администраторов или пользователей? Нет. Мы перешли от v1.82 к v2.00:
- Отчасти отпраздновать 10 лет (Сейчас 11) После первого публичного опубликованияERDDAP™ (v1.00 на 2008-05-06, который внешне выглядел удивительно как v2.00) . В то время,ERDDAP™От одной установки до почти 100 установок в 12 странах мира (Австралия, Бельгия, Канада, Франция, Индия, Ирландия, Италия, Южная Африка, Испания, Таиланд, Великобритания, США) .
- Отчасти для того, чтобы отметить значительное дополнение в совершенно новом направлении:ERDDAP™Теперь есть система проглатывания данных, чтобы перейти к существующим службам сервера данных. (смотретьEDDTable FromHttpGet) ,
- И отчасти потому, что это был не большой скачок с 1,82 до 2,00 в цифрах, так что это казалось подходящим временем.
-
Еще одна хорошая новость заключается в том, что в настоящее время существуют две другие группы, вносящие свой вклад в код.ERDDAP™ (В этом варианте и с указанием они будут продолжены.) Роб Фуллер и Адам Лидбеттер из Морского института Ирландии и Роланд Швейцер из PMEL и Weathertop Consulting. Большое спасибо. Это правда, что они работают над проектами по своему выбору, но это классическая модель разработки с открытым исходным кодом - группы вносят код для функций, которые они больше всего хотели бы видеть добавленными. Дополнительные преимущества для участников: они могут использовать новые функции, как только они закончат; им не нужно ждать следующего выпуска.ERDDAP. Ваша группа также может внести свой вклад! Видишь?ERDDAP™Руководство программиста.
-
Надеемся, что вам понравитсяERDDAP™v2.00 С нетерпением ждем следующих 10 летERDDAP™Развитие и все большее использование по всему миру.
-
Новые особенности и изменения (для пользователей) :
-
НЬЮ:orderByMeanфильтр дляtabledapНаборы данных будут вычислять средства для указанных групп. Кроме того, всеorderByВарианты теперь поддерживают дополнительный способ определения групп: numericVariable\[/номера\[Время\]\[:offset\]\], например, время/1 день или глубина/10:5. Например,stationIDВремя, WaterTemp&orderByMean ("stationIDВремя / день) Сортировать результаты поstationIDи время, затем вычислите и верните среднее значение температуры воды для каждогоstationIDна каждый день. Это удивительно полезные и мощные новые функции. Новый код для этих функций и изменения в старый код были внесены Робом Фуллером и Адамом Лидбеттером из Морского института Ирландии и представлены через Git. Спасибо, Роб и Адам!
-
НОВОСТИ: тип выходного файла для табличных наборов данных:данны е Столик, JSON-файл, отформатированный для использования сGoogle Visualizationклиентская библиотека (Google Charts) . Код для этого был предоставлен Роландом Швейцером и представлен через Git. Спасибо, Роланд!
-
НОВОСТИ: тип выходного файла для табличных наборов данных:.jsonlCSV1, которое подобно существующему.jsonlCSVВариант, но с названиями колонок на первой строке. Спасибо Юджину Бургеру.
-
Если администратор позволяет это, пользователи теперь могут войти в систему со своимОРКИДсчет. Это система аутентификации OAuth 2.0, похожая на Google. ORCID широко используется исследователями для уникальной идентификации себя. Учетные записи ORCID бесплатны и не имеют проблем с конфиденциальностью, которые есть у учетных записей Google. Видишь?ERDDAP?Инструкции по аутентификации Orcid. Благодаря BCO-DMO (Адам Шепард, Дэни Кинкейд и др.) .
-
Новый конвертер URL преобразует устаревшие URL-адреса в современные URL-адреса. См. .../erddap/convert/urls.htmlERDDAP™установки, например, Ссылка на конвертер вERD ERDDAP. Это должно быть полезно для менеджеров данных. Это также используется внутри GenerateDatasetsXml. Спасибо Бобу Саймонсу и Шэрон Месик.
-
Продвинутый:Преобразователь временитеперь есть опции для преобразования любого общего времени строки в время строки ISO8601 или преобразованияUDUNITS- как временные единицы, входящие в правильнуюUDUNITSСтруна временных единиц. Это также должно быть полезно дляERDDAP™администраторам, которым необходимо знать, какой формат указать для атрибута «единицы» для переменных времени строки. Это также используется внутри GenerateDatasetsXml и стандартизирует функцию EDDTableFromFiles. Спасибо Бобу Саймонсу.
-
НОВЫЙ:Конвертер UnitsИмеется новая опция «Стандартизировать UDUnits». Например, "deg\_C/m" и "degrees\_Cmeter-1" оба преобразуются в "Степень _C m-1". Эта функция также используется стандартизованной функцией EDDTableFromFiles. Спасибо Бобу Саймонсу.
-
НОВОСТИ: Для графов (кроме поверхностных графов) на сетчатке иtabledapНа веб-страницах Make A Graph, когда ось x не является осью времени, если видно только подмножество диапазона переменной x-оси, теперь над графиком есть кнопки для смещения оси X влево или вправо. Благодаря проекту Carrie Wall Bell / Hydrophone.
-
НОВОСТИ: Для графов ось X и/или Y теперь может использовать шкалу журнала. Пользователи могут управлять шкалой Y Axis с помощью нового выпадающего виджета на сетке иtabledapСоздайте графические веб-страницы. Видишь?.xRange и . yRange документация. Благодаря проекту Carrie Wall Bell / Hydrophone.
-
Усовершенствовано:ERDDAP™Теперь лучше использовать различные коды ошибок HTTP и теперь возвращает(OPeN)DAPv2.0-форматированная полезная нагрузка сообщения об ошибке. Видишь?Подробности. Спасибо Антуану Керику и Орели Брайанд.
-
Не используйте Netcdf-java/c или другие программные средства для подключения к.ncили.hdfФайлы, обслуживаемыеERDDAPs/files/система, как если бы они были локальными файлами.ERDDAP™Сейчас эти просьбы отклоняются. Это ужасно неэффективно и часто вызывает другие проблемы. Вместо этого:
-
Использовать(OPeN)DAPклиентское программное обеспечение для подключения кERDDAP?DAPУслуги для набора данных (которые имеют /griddap/ или /tabledap/ в URL) . Вот чтоDAPЭто для и делает так хорошо.
-
Или используйте форму доступа к данным для запроса подмножества данных.
-
Или, если вам нужен весь файл или повторный доступ в течение длительного периода времени, используйтеcurl,wgetили ваш браузер, чтобы загрузить весь файл, а затем получить доступ к данным из вашей локальной копии файла.
-
-
Альбом: On TheERDDAP™На главной странице полнотекстовый поиск теперь выше «Просмотреть список всех наборов данных», поскольку он является лучшей отправной точкой для большинства пользователей. Спасибо Дидье Малларино и Морису Либесу.
-
Усовершенствовано: на DataProviderForm3.html В настоящее время существуют раскрывающиеся списки общихstandard\_nameС. Спасибо кому-то на собрании ИОС ДМАК.
-
УПРАВЛЕНО: На веб-страницах /files/ теперь есть ссылка на новый раздел «Что я могу сделать с этими файлами?» В этом разделе описаны различные типы файлов и даны рекомендац ии по работе с ними. Спасибо Морису Либесу.
-
Ответ: Почти каждый запросERDDAP™Они должны быть, по крайней мере, немного быстрее, а иногда и намного быстрее.
-
BUG FIX: При некоторых обстоятельствах, когда набор данных EDDTable сохраняет данные в некоторых типах.ncФайлы, глобальный атрибут «id» был установлен на имя файла, которое включает в себя хэш, чтобы сделать его уникальным для этого запроса. «Ид» остается неизменным (если указано) или установленный в наборе данныхdatasetID (Если не указано) . Спасибо Джону Мореру.
-
ВещиERDDAP™Администраторы должны знать и делать:
-
Это освобождение займет некоторое время и работу от вас. Пожалуйста, будьте терпеливы и планируйте потратить несколько часов на необходимые изменения и еще несколько часов на эксперименты с новыми функциями.
-
Для безопасности сделайте резервную копию вашего текущего setup.xml иdatasets.xmlфайлы, чтобы вы могли вернуться к ним в маловероятном случае, когда вам нужно вернуться кERDDAP™v1.82.
-
Для этого: РекомендуемоеJavaТеперь это OpenJDK от AdoptOpenJDK. 8 (LTS) + Горячая точка. Это открытый вариантJavaне имеет ограничений по использованию (в отличие отOracle?Javaраспределение) . Он получен изOracle?Javaв постоянном движении, сOracleБлагословение. По соображениям безопасности важно сохранитьJavaобновленная версия. Видишь?ERDDAP?JavaИнструкция по установке.
-
Исполнитель: AdoptOpenJDK'sJavaТребуется небольшое дополнение к вашей установке Tomcat:Инструкции кэша ресурсов. Я думаю, что это замена настройки -XX:MaxPermSize, которая (усыновление) OpenJDK больше не поддерживает
-
TO DO: новый дефолт и рекомендации<fontFamily> seting in setup.xml is DejaVu Sans встроен в AdoptOpenJDKJava. Видишь? пересмотренные инструкции по установке шрифтов.
-
Для этого многие теги переходят с setup.xml наdatasets.xml. Преимущество заключается в том, что вы можете изменить свои ценности.ERDDAP™Бежит, не перезагружаясьERDDAP. В частности, вы можете легко изменить<startBodyHtml5> для отображения временного сообщения наERDDAP™домашняя страница (Например, "Проверить новый набор данных JPL MUR SST v4.1 ..." или "ЭтоERDDAP™будет отключен для технического обслуживания 2019-05-08T17:00:00 PDT до 2019-05-08T20:00:00 PDT".) . Если / когда вы меняете эти тегиdatasets.xmlИзменения вступят в силу в следующий разERDDAP™читатьdatasets.xml.
- Скопируйте этот контент в свойdatasets.xmlФайл (в любом месте, близком к началу файла, после того, как<erddapDatasets>:
<!-- The tags below are described in setupDatasetsXml.html.
The defaults listed below are as of ERDDAP™ v2.00. -->
<cacheMinutes></cacheMinutes> <!-- default=60 -->
<decompressedCacheMaxGB></decompressedCacheMaxGB> <!-- default=10 -->
<decompressedCacheMaxMinutesOld></decompressedCacheMaxMinutesOld> <!-- default=15 -->
<drawLandMask></drawLandMask> <!-- "over" or "under" (default) -->
<graphBackgroundColor></graphBackgroundColor> <!-- 0xAARRGGBB, default is 0xffccccff -->
<loadDatasetsMinMinutes></loadDatasetsMinMinutes> <!-- usually=default=15 -->
<loadDatasetsMaxMinutes></loadDatasetsMaxMinutes> <!-- default=60 -->
<logLevel></logLevel> <!-- "warning" (fewest messages), "info" (default), or "all" (most messages) -->
<nGridThreads></nGridThreads> <!-- default=1 -->
<nTableThreads></nTableThreads> <!-- default=1 -->
<partialRequestMaxBytes></partialRequestMaxBytes> <!-- default=490000000 -->
<partialRequestMaxCells></partialRequestMaxCells> <!-- default=10000000 -->
<slowDownTroubleMillis></slowDownTroubleMillis> <!-- default=1000 -->
<unusualActivity></unusualActivity> <!-- default=10000 -->
<!-- The defaults for the following tags are in messages.xml. -->
<startHeadHtml5></startHeadHtml5>
<startBodyHtml5></startBodyHtml5> <!-- This is often customized. -->
<theShortDescriptionHtml></theShortDescriptionHtml> <!-- This is often customized. -->
<endBodyHtml5></endBodyHtml5>
<standardLicense></standardLicense>
<standardContact></standardContact>
<standardDataLicenses></standardDataLicenses>
<standardDisclaimerOfEndorsement></standardDisclaimerOfEndorsement>
<standardDisclaimerOfExternalLinks></standardDisclaimerOfExternalLinks>
<standardGeneralDisclaimer></standardGeneralDisclaimer>
<standardPrivacyPolicy></standardPrivacyPolicy>
- Один за другим, скопируйте значение (если есть) для каждого из этих тегов из файла setup.xml в новый тег, который вы только что вставили (выше) вdatasets.xml. Например, если вы использовали значение 30 для<CacheMinutes в setup.xml, вы должны скопировать это значение в новый<CacheMinutes > Tag indatasets.xml (Хотя, если значение совпадает с новым значением по умолчанию, лучше просто оставить тег вdatasets.xmlпустой) .
Если ваша стоимость отличается от нового предлагаемого по умолчанию (кроме<Бодихтмл5> и<ShortDescriptionHtml>, который полезен для настройкиERDDAP™Установка), пожалуйста, рассмотрите возможность перехода на новые значения по умолчанию. Особенно это касается<PartialRequestMaxBytes<PartialRequestMaxCells>, где значение по умолчанию/предполагаемое значение значительно изменилось за эти годы.
После копирования каждого значения удалите тег и его описание из setup.xml. Лучше иметь эти теги вdatasets.xml. В настоящее время существуют более совершенные описания вНастройкаDatasetsXml.html.
Причуда новой системы заключается в том, что самая первая веб-страница при запускеERDDAPБудет ли дефолтERDDAP™Веб-страница. Каждая последующая веб-страница будет использовать контент ... HTML, который вы указываете вdatasets.xml.
- Оригинальное название: The First Time You RunERDDAP™v2.0, будут загружаться наборы данных на основе локальных файлов данных очень Медленно, потому чтоERDDAP™Необходимо воссоздать свою базу данных файлов в несколько ином формате. После медленной начальной перезагрузки они будут загружаться быстро, как и раньше. Пожалуйста, будьте терпеливы.
EDDTable FromHttpGet
- Оригинальное название: EDDTable FromHttpGet
До сих пор,ERDDAP™Просто прочитайте данные и сделайте их доступными для пользователей. Сейчас,ERDDAP™Имеет простую, эффективную систему для приема данных в реальном времени от датчиков. Среди других функций этот набор данных предлагает мелкозернистую версию: он запоминает каждое изменение, внесенные в набор данных, когда и кем. Обычно пользователям просто нужна последняя версия набора данных со всеми изменениями. Но есть возможность для пользователей запрашивать данные из набора данных, как это было в любой момент времени. Это способствует воспроизводимой науке. Таким образом, в отличие от большинства других наборов данных в реальном времени, эти наборы данных имеют право на использование.DOIs. Потому что они встречаютDOIтребование, чтобы набор данных не менялся, за исключением агрегирования. Видишь?EDDTable FromHttpGet. Спасибо OOI (Давным-давно и сейчас) За разговоры о необходимости этого и Евгения Бургера за напоминание о работе над тем, что важно. - Большая новая фотография:ERDDAP™теперь может обслуживать данные непосредственно из сжатых извне файлов данных, включая.tgz,.tar.gz,.tar.gzip,.gz,.gzip,.zip,.bz2, или .Z. Наборы данных могут включать в себя смесь сжатых извне файлов (Может быть, старые файлы?) и не сжатые вовне файлы, и вы можете сжать/декомпрессировать файл в любое время.
Это отлично работает! В большинстве случаев замедление, связанное с декомпрессией файлов, незначительно. Мы настоятельно рекомендуем вам попробовать это, особенно для наборов данных и / или файлов данных, которые используются нечасто.
Это может сэкономить вам 30 000 долларов или больше! Это один из немногихERDDAP™функции, которые могут сэкономить вам много денег - если вы сжимаете много файлов данных, вам понадобится гораздо меньше RAID / жестких дисков для хранения данных или, наоборот, вы можете обслуживать гораздо больше данных (до 10x) С теми рейдами, которые у вас уже есть. Если эта функция убережет вас от покупки другого RAID, то она сэкономит вам около 30 000 долларов.
Видишь?Внешне сжатые файлы документация. Спасибо Бенуа Перримонду и Паломе де ла Валле.
-
Большая новая фотография: ВсеEDDGridВсе наборы данных FromFiles и EDDTableFromFiles поддерживают<CacheFromUrl> tag и a<cacheSizeGB> tag. Если кэш-SizeGB не указан, он будет загружать и поддерживать полную копию файлов удаленного набора данных. Если кэш-SizeGB указан и равен >0, он будет загружать файлы из удаленного набора данных по мере необходимости в локальный кэш с ограниченным размером, что полезно при работе с облачным хранилищем. (Например, S3) Файлы данных. Видишь?кэш Документация UrlДля деталей. Спасибо Бобу Саймонсу и Рою Мендельсону (кто годами писал сценарии для создания локальных копий удаленных файлов) Ллойд Коттен, Юджин Бургер, Конор Делани (Когда он работал в Amazon Web Services) Google Cloud Platform.
-
Новый EDDTable FromJsonlCSV Кл асс может считывать табличные данные из Джон Линии файлов CSV («Лучше, чем CSV») . Спасибо сотрудникам Морского института Ирландии за то, что рассказали мне об этом формате, и Юджину Бургеру и PMEL за просьбу поддержать его в качестве входного типа.
-
НОВОСТИ: ВсеEDDGridи все наборы данных EDDTableFromFiles поддерживают<nThreads> Setting, который сообщаетERDDAP™Сколько потоков использовать при ответе на запрос. Видишь?nПотоки документацииДля деталей. Роб Боченек из Axiom Data Science, Юджин Бургер, Конор Делани (Когда он работал в Amazon Web Services) Google Cloud Platform.
-
Новая стандартизация Что для всех подклассов EDDTable FromFiles - Ранее, если для данной переменной значения важных атрибутов (например,scale\_factor,add\_offset,missing\_value, \_FillValue, единицы) Не были последовательными, EDDTableFromFiles выбирал одно значение для каждого атрибута, чтобы быть «действительным» и отмечать файлы с другими значениями атрибутов как «плохие файлы». Теперь существует система стандартизации файлов, как только EDDTableFromFiles считывает файлы. Видишь?Стандартизация EDDTableFromFile Что?. Один изERDDAPОсновная цель состоит в том, чтобы сделать файлы данных и наборы данных доступными последовательным образом. стандартизировать Что является важным новым инструментом, чтобы сделать это реальностью? Спасибо Марко Альбе, Маргарет О'Брайен (Другие пользователи EML) BCO-DMO и пользователи InPort.
-
Новый EDDTableFromInvalidCRAFiles позволяет сделать набор данных из коллекцииNetCDF (v3 или v4) .ncФайлы, которые используют конкретный, недействительный вариант CF DSG Contiguous Ragged Array (КРА) Файлы. Образцы файлов для этого типа набора данных можно найти в https://data.nodc.noaa.gov/thredds/catalog/ncei/wod/ \[2020-10-21 Этот сервер теперь недоступен.\]. ХотяERDDAP™Поддерживает этот тип файла, это недействительный тип файла, который никто не должен начинать использовать. Группы, которые в настоящее время используют этот тип файла, настоятельно рекомендуется использовать.ERDDAP™для создания действительных файлов CF DSG CRA и прекращения использования этих файлов. Спасибо Аджаю Кришнан и Тиму Бойеру.
-
EDDTable FromThreddsFiles и EDDTable FromHyraxФайлы теперь обесценены. Перейдите на EDDTableFromNcFiles (или вариант) плюс<cacheFromUrl>. Если это не работает по какой-то причине, электронная почтаerd.data at noaa.gov. Если до 2020 года жалоб не будет, эти типы наборов данных могут быть удалены.
-
Усовершенствовано - Система автоматического преобразования ISO 8601 раз в ISO 8601 раз (Введено в v1.82) Он был значительно расширен для работы с большим количеством дополнительных форматов. Это влияет на генерацию наборов данных Xml иERDDAPОбработка исходных метаданных.
-
Усовершенствовано - С третьим крупным пересмотром системы синхронизации времени String (И, надеюсь, последний) ,ERDDAP™больше не используетсяJavaDateTimeFormatter из-за ошибок, которые иногда влияют на экстремальные времена<=0000).ERDDAP™Теперь использует собственную систему для разбора временных струн.
-
ПРЕДУПРЕЖДЕНИЕ: Новая система синхронизации струнного времени несколько строже. Если один из ваших наборов данных внезапно имеет только отсутствующие значения для значений времени, причина почти наверняка заключается в том, что строка формата времени немного ошибочна. В журнале должны быть сообщения об ошибках. txt, относящийся к значениям времени, которые не соответствовали формату времени, что должно помочь вам исправить строку формата времени для этого набора данных. Если вам нужна помощь, используйте опциюERDDAPПреобразователь времени, который преобразует\[s\]любое общее время строки в строку ISO 8601 - это указывает формат, который преобразователь использовал для разбора исходной строки.
-
Рекомендация: самый быстрый, простой и дешевый способ ускоритьERDDAPДоступ к табличным данным заключается в размещении файлов данных на твердотельном накопителе (SSD) . Большинство табличных наборов данных относительно малы, поэтому SSD емкостью 1 или 2 ТБ, вероятно, достаточно для хранения всех файлов данных для всех ваших табличных наборов данных. SSD в конечном итоге изнашивается, если вы записываете данные в ячейку, удаляете их и записываете новые данные в эту ячейку слишком много раз. Вместо этого я рекомендую (как можно больше) Вы просто используете свой SSD, чтобы записать данные один раз и прочитать их много раз. Тогда даже твердотельный накопитель потребительского класса должен работать очень долго, вероятно, намного дольше, чем любой жесткий диск. (HDD) . Потребительские SSD теперь дешевы (в 2018 году ~ 200 долларов за 1 ТБ или ~ 400 долларов за 2 ТБ) И цены продолжают стремительно падать. КогдаERDDAP™Получает доступ к файлу данных, SSD предлагает оба варианта.
- более короткая задержка (~0,1 мс против ~3 мс для HDD, против ~10 (?) ms для RAID против ~55ms для Amazon S3) и
- более высокая пропускная способность (~500 Мб/с против ~75 Мб/с для HDD против ~500 Мб/с для RAID) .
Таким образом, вы можете получить повышение производительности ~ 10X (vs HDD) За 200 долларов! По сравнению с большинством других возможных изменений в вашей системе (Новый сервер за 10 тысяч долларов? Новый рейд за 35 тысяч долларов? Новый сетевой коммутатор за 5000 долларов? и т.д.) Это, безусловно, лучший возврат инвестиций (Рой) . Если ваш сервер не загружен памятью, дополнительная память для вашего сервера также является отличным и относительно недорогим способом ускорить все аспекты работы.ERDDAP.
\[SSD также отлично подходит для сетчатых данных, но большинство сетчатых наборов данных намного больше, что делает SSD очень дорогим.\]
-
НОВОСТИ: Каждый, кто вошел в систему, получает роль\[кто-нибудь заплатит в\]Даже если нет<User> Tag для нихdatasets.xml. Если вы устанавливаете набор данных<Доступность> для\[кто-нибудь заплатит в\]Для тех, кто вошел вERDDAP™ (Например, через свою учетную запись Gmail или Orcid.) будет р азрешено получить доступ к набору данных, даже если вы не указали<User> Tag для нихdatasets.xml. Спасибо Морису Либесу.
-
Продвинутый:UDUNITSКонвертер блоков /UCUM был значительно улучшен. Он лучше обрабатывает недействительные струны единиц (Начиная с акцента на сохранение информации, а не на обеспечение законности) . Кроме того, результаты теперь имеют стандартизированный синтаксис.
-
НОВЫЙ:UDUNITSПреобразователь блоков /UCUM имеет новую опцию стандартизацииUDUNITSструна. Это хорошо работает для действительногоUDUNITSструны и достаточно хорошо для нестандартных / недействительныхUDUNITSструны. Например, например,UDUNITS= "метры в секунду", "метр/секунда","m.s^-1"и"m s-1"Всем вернется "мс-1". Это необходимо для новой стандартизации. Какая система описана выше. Спасибо Марко Альбе, Маргарет О'Брайен (Другие пользователи EML) BCO-DMO и пользователи InPort.
-
EDDTableFromMultidimNcFiles теперь имеетлечить отклоненияВариант, который говоритERDDAP™для обработки определенных измерений (Например, LAT и LON) Как будто это другие измерения. (Например, время) . Э то полезно для некоторых неправильных файлов, которые используют разные размеры для разных переменных, когда они должны были использовать только одно измерение. (Например, время) . Спасибо Марко Альбе и Морису Либесу.
-
НОВОСТИ: Теперь всеEDDGridНаборы данных ...Файлы поддерживают новую специальную осьsourceNameкоторый говоритERDDAP™Для извлечения информации из имени файла (просто filename.ext) и использовать ценность для заменить существующее значение самой левой оси. Формат является \\\*replaceFromFileName,dataType,extractRegex,captureGroupNumber Видишь?Эта документация. БлагодаряNOAAНабор данных Pathfinder Daily.
-
НОВОСТИ: Теперь всеEDDGridНаборы данных ...Файлы поддерживают новую специальную осьsourceNameкоторый говоритERDDAP™Для извлечения информации из файла PathName (Каталоги + filename.ext)
\*\**pathName,dataType,extractRegex,captureGroupNumber Для этого всегда используется название пути.'/'Как персонаж разделителя каталога, никогда не ''. Видишь?Эта документация. Спасибо Паломе де ла Валле. -
НОВОСТИ: Теперь все EDDTable из... Наборы данных файлов поддерживают дополнительную псевдо переменнуюsourceNames, которые извлекают информацию из имени файла (просто filename.ext) (смотреть\*\**Фильм) или от полного имени файла (/dir1/dir2/filename.ext) (смотреть\\\*pathName) . Спасибо Паломе де ла Валле.
-
Оригинальное:If anEDDGridнабор данных имеет один или несколько очень больших размеров (Например, миллионы ценностей) который занимает много памяти, вы можете установить новый<ИзмерениеЦенностиВ памяти> (/docs/server-admin/datasets#dimensionvaluesinmemory) Ложь - ложная (Дефолт является истинным) , что заставляет набор данных хранить значения на диске и извлекать их при необходимости. Спасибо Дэвиду Родригесу и Ричу Синьеллу. (Re:EDDGridИз аудиофайлов) .
-
В оригинале: If You Reordered thedataVariables для набора данных EDDTableFromFiles и перезагрузки набора данных, EDDTableFromFiles перечитает все файлы данных. Теперь он может обрабатывать переупорядочение без перечитывания всех файлов данных. Спасибо Роланду Швейцеру.
-
УПРАВЛЕНИЕ: Сейчас, когдаERDDAP™Считывает табличные файлы данных ASCII, NCCSV и JSON Lines CSV, если обнаруживает ошибку на данной строке (Например, неправильное количество элементов) Он записывает предупреждающее сообщение (Предупреждение: Пропуск линии #"... "Неожиданное количество предметов...) кlog.txt файлЗатем он продолжает читать остальные файлы данных. Таким образом, вы несете ответственность за периодический просмотр. (или написать сценарий для этого) для этого сообщения в журнале. txt для устранения проблем в файлах данных.ERDDAP™Он настроен таким образом, чтобы пользователи могли продолжать читать все доступные действительные данные, даже если некоторые строки файла имеют недостатки. Раньше,ERDDAP™Пометил файл как «плохой» и удалил его из набора данных.
-
Усовершенствовано: когда точное время (Например, до ближайшей секунды или миллисекунды) Они хранятся в источнике как «минуты с момента ...» (или более крупные единицы) ,ERDDAP™Теперь округляет их до ближайшей миллисекунды при чтении значений вERDDAP. В противном случае числа с плавающей точкой будут повреждены и запросы на данные в определенное время. (например, &time=2018-06-15T01:30:00) Не получится. Ранее они рассчитывали их максимально точно. (и все еще делает, если единицы, например, "секунды с ..." или "миллисекунды с ...") . Лучше всего избежать этой проблемы, не используя большие блоки. (Например, минуты или часы) хранить точные временные значения (Например, микросекунды) Компьютеры плохо справляются с десятичными цифрами. Спасибо Марко Альбе.
-
Перемены в EDDTable FromEDDGridЧто делает его намного лучше. EDDTable FromEDDGridпозволяет пользователям запрашивать сетчатые наборы данных, как если бы они были табличными наборами данных («Запрос по стоимости») .
- Теперь он поддерживает a<maxAxis0> тег (По умолчанию 10) который определяет максимальное число осей\[0\] (обычно"time") Значения, которые можно задать сразу. Это предотвращает наивные запросы от получения EDDTableFrom.EDDGridПоиск по всему сетчатому набору данных (Который провалится с ошибкой тайм-аута) .
- Генерировать наборы данных Xml теперь имеет возможность генерировать EDDTableFromEDDGridнаборы данных для всех сетчатых наборов данных в заданномERDDAP™который соответствует определенному регексу (использовать .\* для сопоставления всех наборов данных) . Наборы данных, которые он создает, имеют дополнительную информацию в атрибуте резюме, указывающем, что это табличная версия сетчатого набора данных. и ихdatasetIDЭтоdatasetIDСетчатый набор данных плюс «\_AsATable».
- Существует большое ускорение для наиболее распространенной настройки: когда сетчатый набор данных является одним из самых распространенных.EDDGridИз на бора данных Erddap, который находится в том жеERDDAP.
Спасибо Джеймсу Галлахеру и Эду Армстронгу.
- НОВОСТИ: генерировать Наборы данных Xml для всех типов наборов данных теперь с гораздо большей вероятностью добавит \_FillValue илиmissing\_valueАтрибут числовой переменнойaddAttributes. Например, это происходит, когда строка не имеет маркеров значений. (Например, "", "", "?", "NA", "nd", "NaN") для этой переменной в файле выборки преобразуются вERDDAPУникальные недостающие ценности (127 в байтовых колонках, 32767 в коротких колонках, 2147483647 int columns, 9223372036854775807 в длинных столбцах и NaN в поплавке и двойных переменных) . Это также происходит для значений NaN в поплавке и двойных переменных. Кроме того, «nd» был добавлен к списку общих отсутствующих маркеров значений в колонках числовых данных.ERDDAP™Надо искать. Спасибо Мэтту Биддлу из BCO-DMO.
- Усовершенствовано: опция ncdump в генерации Наборы данных Xml больше похож на ncdump (Использование Netcdf-java версии ncdump) . Теперь он печатает новый список вариантов. Теперь, для.ncмл файлов, он печатает вывод ncdump для результата.ncИзменения файла мл, применяемые к базовому.ncили.hdfФайл.
- BUG FIX: Была утечка файловой ручки (В конечном итоге этоERDDAP™чтобы заморозить) вызывается при создании некоторых типов выходных файлов, например, .geotif, особенно при возникновении ошибок при создании. Я думаю/надеюсь, что все это уже исправлено. Если вы все еще видите проблемы, пожалуйста, скажите мне тип набора данных. (сетка или стол) Тип файла, который вызывает проблему. Спасибо Стивену Билу, Линн ДеВитт, Джибэй Чжао и другим.
- BUG FIX: TheWMS LeafletДемо не полностью / правильно преобразовало ось «глубина» в «высоту». Так оно и есть, и запросы разбитых легенд фиксированы. Кроме того, все опции оси в выпадающих списках всегда находятся в порядке восходящей сортировки. Спасибо Антуану Керику и Орели Брайанд.
- BUG FIX: EDDTable FromFiles теперь корректно поддерживает ограничения на струнные переменные, которые были созданы из переменных в ф айлах данных. Спасибо Антуану Керику и Орели Брайанд.
- BUG FIX: Теперь, когда набор данных становится недоступным, набор данных пытается уведомить (с сообщением «Этот набор данных в настоящее время недоступен».) абоненты, перечисленные действия, rss и наборы данных lonPM180, которые полагаются на него. Спасибо Рою Мендельсону и Бобу Саймонсу.
- BUG FIX: Две ошибки, связанные с EDDTableCopy. Спасибо Сэму МакКлатчи.
- Количество неудавшихся запросов, отображаемых на странице status.html, увеличится, потому что больше вещей считаются неудачами, чем раньше.
- Усовершенствовано:ERDDAPСтатус.html теперь показывает "Запросы" (Среднее время в мс) "в серии временных рамок. Ранее он показывал медианное время, усеченное до целых секунд.
- В выводе jsonld имя jsonld теперь происходит от набора данных."title"вERDDAPи jsonld "headline" теперь исходит из набора данныхdatasetID"внутри"ERDDAP. Ранее он был отменен. Мне это кажется неправильным, потому что в обычном английском языке «имя» обычно короткое. (идеально) Уникальный идентификатор, который редко/никогда не меняется (Например, Роберт Миддлэм Саймонс) Не описание, которое не является уникальным и которое может легко и часто меняться. (Например, "Парень, который пишет программное обеспечение дляNOAAВысокий парень, который пишет программное обеспечение дляNOAA") . Было бы здорово, если бы schema.orgИмяВ контексте набора данных они были более конкретными. Разработчики программного обеспечения должны иметь возможность писать реализацию спецификации, основываясь только на спецификации, без руководства экспертов. Но я предпочитаю Google (Особенно Наташа Нет) НЦЭИ (Особенно Джон Рельф) И Роб Фуллер.
- УПРАВЛЕНИЕ: На выходе jsonld, четыре значения «пространственного покрытия GeoShape» теперь являются minLat minLon maxLat maxLon. Ранее позиции lat и lon были отменены. Было бы здорово, если бы schema.orgГеоформаУкажите правильный порядок. Разработчики программного обеспечения должны иметь возможность писать реализацию спецификации, основываясь только на спецификации, без руководства экспертов. Спасибо Наташе Ной и Робу Фуллеру.
Версия 1.82
(выпущенный 2018-01-26)
- Новые особенности (для пользователей) :
- Многочисленные тонкие изменения внешнего вида и чувстваERDDAP™Веб-страницы.
- Усовершенствовано:ERDDAP™Теперь он использует HTML 5 и CSS.
- Веб-страницы были слегка изменены, чтобы сделать их более чистыми и менее «занятыми». (Они все еще плотные, и есть еще вещи, на которые можно пожаловаться, но, надеюсь, гораздо меньше, чем раньше.) Спасибо Джону Керфуту за комментарии.
- Веб-страницы теперь выглядят намного лучше на мобильных телефонах и других небольших устройствах, особенно если вы используете их в ландшафтной ориентации. Они также лучше смотрятся в очень маленьких и очень больших окнах в настольных браузерах.
- Улучшено: для повышения безопасности и по другим причинам, использование устаревшей версии OpenlayersWMSДемонстрационные страницы были замененыLeaflet.
- НОВОСТИ: поддержка предварительного просмотра изображений, аудио и видео файлов в"files"система (Например,Этот тестовый набор данных) и в.htmlTableответы, когда ячейка имеет URL изображения, аудио или видео файла (Например,Эта просьба) . Если вы нависаете над значком «?», вы должны увидеть предварительный просмотр изображения, аудио или видеофайла. Вы также можете нажать на ссылку файла, чтобы просмотреть полный экран файла в вашем браузере. Видишь?Документация Media Files. Обратите внимание, что разные браузеры поддерживают разные типы файлов, поэтому примеры могут не работать в вашем браузере. Благодаря этим людям / ссылкам для идей и шаблонному коду для подсказок изображений только для CSS (был в https://codepen.io/electricalbah/pen/eJRLVd ) Отложенная загрузка изображения (был в https://varvy.com/pagespeed/defer-images.html ) (Код был изменен перед использованием вERDDAP) . Спасибо Каре Уилсон, Мэттью Остину и Адаму Шепарду / BCO-DMO за запросы на поддержку изображений. Спасибо Джиму Потемре, Ричу Сигнеллу, OOI и Кэрри Уолл Белл за запросы на поддержку аудио/гидрофонных файлов. Спасибо OOI за то, что показали необходимость поддержки видео.
- НОВОСТИ: Подмножество данных из любогоERDDAP™набор данных (Обычно это набор данных из аудиофайлов.) Теперь его можно сохранить в аудиофайле .wav. (документация) Спасибо Джиму Потемре, Ричу Сигнеллу, OOI и Кэрри Уолл Белл за запросы на поддержку аудио/гидрофонных файлов.
- IMPROVED: формат для веб-доступных папок (ВСФ) (Например, папки /files/) Он был обновлен для использования таблицы HTML. Новый формат имитирует более позднюю версию каталога с перечислением веб-страниц, созданных более поздними версиями Apache. Люди обнаружат, что изменения облегчают чтение информации. Программное обеспечение, которое анализирует эти документы (Например, программное обеспечение, которое собирает документы ISO 19115ERDDAP) Придется пересмотреть, но новый формат будет легче разбирать, чем предыдущий. (Внимание, Анна Милан.)
- НОВОСТИoutOfDateDatasets.htmlСтраница. (пример) Эта веб-страница показывает таблицу со всеми наборами данных в реальном времени, которые имеют<testOutOfDateтег (см. ниже) , ранжируется по тому, насколько устаревшими являются наборы данных. Эта приборная панель должна быть полезной дляERDDAP™администраторы и конечные пользователи, когда они хотят знать, какие наборы данных являются устаревшими. Для устаревших наборов данных, предположительно, существует проблема с источником данных, так чтоERDDAP™не может видеть/получать данные из более поздних временных точек. Администраторы: Если вам не нужна страница Out-Of-Date Datasets, добавьте это в свой setup.xml: <OutOfDateDatasetsActive>false</OfDateDatasetsActive> Сейчас естьtestOutOfDateвыходить Столбцы даты вallDatasetsнабор данных. Спасибо Бобу Саймонсу, который хотел этого в течение многих лет, и умным людям из Морского института Ирландии, которые дали мне вдохновение через их посвященный Raspberry Pi и монитор, который всегда показывает такой экран в их офисе.
- Усовершенствовано:.htmlTableи.xhtmlРеакция теперь лучше отформатирована, более компактна и, следовательно, загружается быстрее. Благодаря HTML5 и CSS.
- Новый тип выходного файла для наборов данных griddap: .timeGaps. Он показывает список пробелов в значениях времени, которые больше, чем средний разрыв. (пример) Это полезно дляERDDAP™администраторы и конечные пользователи, когда они хотят знать, есть ли неожиданные пробелы в значениях времени для набора данных, которые, как ожидается, будут иметь регулярно распределенные значения времени. Спасибо Бобу Саймонсу и Рою Мендельсону, которые нуждались в этой функции.
- Усовершенствованный: график по умолчанию дляallDatasetsНабор данных теперь представляет собой карту с x=maxLon и y=maxLat. Спасибо Джону Керфуту, Ричу Сигнеллу и OOI-CI.
- НЬЮ:эрддапы- не являетсяERDDAP™характерно, но будет представлять интерес для многихERDDAP™пользователей. Эрддапы (ERDDAP™+Python) являетсяPythonБиблиотека, созданная Филипе Фернандесом, которая "воспользоваласьERDDAP?RESTfulВеб-сервисы и создаетERDDAP™URL для любого запроса, такого как поиск наборов данных, получение метаданных, загрузка данных и т.д. Спасибо Филиппу Фернандесу.
- Я должен был упомянуть раньше: Существует сторонний пакет R, предназначенный для облегчения работы сERDDAP™В пределах R:редактировать. БлагодаряРОПЕНСИРой Мендельсон.
- ВещиERDDAP™Администраторы должны знать и делать:
- TO DO: В setup.xml, прямо внизу<adminInstitution>, пожалуйста, добавьте<adminInstitutionUrl> тег, который определяет URL для вашего учреждения (или группа) .
- Эти 3 теги в setup.xml больше не используются: <начинать HeadHtml,<StartBodyHtml и другие<EndBodyHtml. Их заменяют на <StartHeadHtml5><Бодихтмл5> и<endBodyHtml5>, которые имеют значения по умолчанию, указанные в сообщениях.xml (показанный ниже) .
Мы рекомендуем использовать дефолт<StartHeadHtml5><EndBodyHtml5. Мы рекомендуем: Если вы внесли изменения в оригинал<StartBodyHtml> и/или хотите настроитьERDDAP™Пожалуйста, скопируйте новый<StartBodyHtml5> тег (снизу) Введите setup.xml и измените его для настройкиERDDAP™так чтоERDDAPВеб- страницы отражают вашу организацию, а неNOAA ERD. В частности, пожалуйста, измените «Принесено вам» в вашу организацию. (s) . Если вам нужна помощь, пожалуйста, пишитеerd.data at noaa.gov. (Если вы не хотите настраивать свойERDDAP™Теперь используйте по умолчанию<БодиХтмл5>.
Затем удалите 3 старых тега в setup.xml, которые больше не используются.
<startBodyHtml5><!\\[CDATA\\[
<body>
<table class="compact nowrap" style="width:100%; background-color:#128CB5;">
<tr>
<td style="text-align:center; width:80px;"><a rel="bookmark"
href="https://www.noaa.gov/"><img
title="National Oceanic and Atmospheric Administration"
src="&erddapUrl;/images/noaab.png" alt="NOAA"
style="vertical-align:middle;"></a></td>
<td style="text-align:left; font-size:x-large; color:#FFFFFF; ">
<strong>ERDDAP</strong>
<br><small><small><small>Easier access to scientific data</small></small></small>
</td>
<td style="text-align:right; font-size:small;">
&loginInfo;
<br>Brought to you by
<a title="National Oceanic and Atmospheric Administration" rel="bookmark"
href="https://www.noaa.gov">NOAA</a>
<a title="National Marine Fisheries Service" rel="bookmark"
href="https://www.fisheries.noaa.gov">NMFS</a>
<a title="Southwest Fisheries Science Center" rel="bookmark"
href="https://www.fisheries.noaa.gov/about/southwest-fisheries-science-center">SWFSC</a>
<a title="Environmental Research Division" rel="bookmark"
href="https://www.fisheries.noaa.gov/about/environmental-research-division-southwest-fisheries-science-center">ERD</a>
</td>
</tr>
</table>
\\]\\]></startBodyHtml5>
Есть дополнительные способы, которыми вы можетенастраиватьERDDAP™такERDDAPВеб-страницы отражают вашу организацию, а неNOAA ERD.
- Для этого: The<EDDGrid...Example> Tags (начиная с)<EDDGridIdExample>) и<EDDTable... Пример > теги (начиная с<EDDTableIdExample>) в файле setup.xml используются для создания примеров в griddap иtabledapДокументация. html веб-страницы в вашемERDDAP.
Если вы не настроили эти теги, пожалуйста, удалите их из файла setup.xml. Теперь все они имеют дефолты в message.xml, которые относятся к наборам данных в Bob's.ERDDAP™в https://coastwatch.pfeg.noaa.gov/erddap/index.html . Таким образом, вам больше не нужно иметь определенные наборы данных.ERDDAP. Если вы хотите отменить дефолты, скопируйте некоторые или все эти теги в свой setup.xml и измените их значения. Если вы хотите, чтобы примеры указывали на вашиERDDAP™Самый простой метод – это:
- Включите эти два набора данных в свойERDDAP™Добавив это в свойdatasets.xml:
<dataset type="EDDGridFromErddap" datasetID="jplMURSST41" active="true">
<sourceUrl>https://coastwatch.pfeg.noaa.gov/erddap/griddap/jplMURSST41</sourceUrl>
</dataset>
<dataset type="EDDTableFromErddap" datasetID="pmelTaoDySst" active="true">
<sourceUrl>https://coastwatch.pfeg.noaa.gov/erddap/tabledap/pmelTaoDySst</sourceUrl>
</dataset>
- Добавьте этот тег в setup.xml, но измените URL на свойERDDAP? (https?) URL:
<EDDGridErddapUrlExample>https://coastwatch.pfeg.noaa.gov/erddap/</EDDGridErddapUrlExample>
<EDDTableErddapUrlExample>https://coastwatch.pfeg.noaa.gov/erddap/</EDDTableErddapUrlExample>
Если вы настроили эти теги, оставьте их как есть и, пожалуйста, добавьте эти 2 новых теги в свой setup.xml, чтобы указатьERDDAP™URL для этих наборов данных, но измените URL на свойERDDAP? (https?) URL:
<EDDGridErddapUrlExample>https://coastwatch.pfeg.noaa.gov/erddap/</EDDGridErddapUrlExample>
<EDDTableErddapUrlExample>https://coastwatch.pfeg.noaa.gov/erddap/</EDDTableErddapUrlExample>
- Чтобы сделать:ERDDAP™Теперь используется файл css, называемый erddap2.css. Если вы внесли изменения в\[кот\]/webapps/erddap/images/erddap.css, рассмотреть возможность внесения аналогичных изменений в erddap2.css (В том же каталоге) .
- НЬЮ:ERDDAPВеб-страницы теперь имеют большое количество практически невидимых внутренних ссылок. (Текст черный и не подчеркнутый) . Если вы зависаете над одной из этих ссылок (Обычно первые несколько слов заголовков и абзацев) Курсор становится рукой. Если вы нажмете на ссылку, URL будет внутренней ссылкой на этот раздел документа. Это позволяет легко ссылаться на конкретные разделы документации. Спасибо Бобу Саймонсу, который хотел этого годами.
- НЬЮ:ERDDAP™Теперь поддержкаБайтовый диапазон / Accept-RangesЗапросы на части /файлов / файлов. Это было необходимо для поддержки аудио и видео зрителей в браузерах.
- TO DO: Теперь, чтобы улучшить безопасность, если вы указали<baseHttpsUrl> в setup.xml (Таким образом, поддержкаhttps) Рекомендуемый флаг Url являетсяhttpsURL-адрес с более безопасным flagKey. Если это так, любые предыдущие флаги/флагкеи станут недействительными. Администраторы: Если эти изменения касаются вашейERDDAP™и если вашERDDAP™иметьEDDGridFromErddap и EDDTable FromErddap подписывается на удаленныйERDDAPПосле того, как вы обновитеERDDAPВашERDDAP™Вы автоматически попытаетесь подписаться на новый flagUrl, поэтому вам следует удалить старые подписки и проверить новые подписки, когда вы получите новые электронные письма для проверки подписки.
- Сделать: если вашERDDAP™иметьEDDGridНаборы данных erdVH3 на береговых часах БобаERDDAP™Пожалуйста, измените их на новые наборы данных erdVH2018.
- TO DO: Если вы включите какой-либо из наборов данных jplAquariusSSSERDDAP™Пожалуйста, измените "V4" вdatasetIDОт "V5".
- Чтобы сделать:actual\_rangeТеперь это стандартный атрибут CF. (По состоянию на CF-1.7) Это означает, что если переменная используетadd\_offsetи/илиscale\_factorЧтобы упаковать значения данных, затемactual\_rangeзначения должны использовать неупакованный тип данных и быть неупакованными значениями. К сожалению, это противоречит нашим предыдущим советам. Генерировать наборы данных Xml распаковывает пакетыactual\_rangeзначения, но это не исправит существующие наборы данных в вашемdatasets.xmlФайл.
Итак, пожалуйста, проверьте ваши наборы данных: если значения переменной упакованы и еслиactual\_rangeуказывается как упакованные значения данных, пожалуйста, добавьте<addAttributes>actual\_rangeзначение для указания неупакованных значений. В противном случае набор данных не будет загружаться вERDDAP. Простой и почти идеальный способ сделать это - найти ваш сайт.datasets.xmlИсточник атрибуты, которые имеют
<att name="actual\\_range" type="shortList">
or <att name="actual\\_range" type="intList">
иscale\_factorКроме 1.0. Это те, ктоactual\_rangeатрибуты, которые вам, возможно, придется исправить.
Для переменных осей вEDDGridнаборы данных,ERDDAP™всегда устанавливаетactual\_rangeАтрибут является фактическим диапазоном значений, поскольку он знает эти значения.
Для переменных оси с нисходящими значениями (Например, некоторые переменные широты) ,ERDDAP™созданныйactual\_rangeс помощью\[0\]...\[последний\]Ценности, которые были высокими... низкими. Теперь он всегда использует низкие ... высокие значения, чтобы сделать новое определение CF.
Правильность этогоactual\_rangeЗначения особенно важны для наборов данных EDDTable, поскольк уERDDAP™быстро отклоняет запросы пользователей на значения данных, которые меньшеactual\_rangeминимального значения или которое превышаетactual\_rangeМаксимальное значение.
Связанный: фактический \_min, фактический \_max,data\_minиdata\_maxТеперь атрибуты обесцениваются. Пожалуйста, преобразуйте ваши наборы данных для использованияactual\_rangeВместо этого.
- Делать (необязательно, но рекомендуется) : Для каждого набора данных в режиме реального времени и прогнозаERDDAP™Пожалуйста, добавьте [...]<testOutOfDate> (/docs/server-admin/datasets#testoutofdate) Тег со значением в формеnow-nUnits, например,now-2 дня. Если максимальное значение времени для набора данных старше этого значения, набор данных считается устаревшим и будет помечен как таковой наoutOfDateDatasets.htmlВеб-страница. Это дает вам простой способ увидеть, когда что-то не так с источником набора данных.
- Семантическая разметка наборов данных с json-ld (Джон связанные данные)
ERDDAP™Сейчас используетджон-лд (Джон связанные данные) чтобы сделать ваш ка талог данных и наборы данных частьюСемантическая паутинаЭто идея Тима Бернерса-Ли сделать веб-контент более машиночитаемым и машинным «понятным». Поисковые системы (Google в частности) и другие семантические инструменты могут использовать эту структурированную разметку для облегчения обнаружения и индексации. Структурированная разметка json-ld выглядит как невидимая для людей<сценарий код на http://.../erddap/info/index.html веб-страница (Что такое семантическая паутинаDataCatalog) и на каждой http://.../erddap/info/datasetID/index.html веб-страница (Что такое семантическая паутинаНабор данных) . (Особая благодарность Адаму Лидбеттеру и Робу Фуллеру из Морского института в Ирландии за то, что они проделали трудную часть работы, чтобы сделать эту часть своей жизни.ERDDAP.) - Есть новые типы наборов данных, которые могут считывать данные и з аудиофайлов: EDDGridИз аудиофайловкоторые рассматривают аудиоданные как сетчатые данные. EDDTable FromAudioFiles, который рассматривает аудиоданные как табличные данные. Спасибо Джиму Потемре, Ричу Сигнеллу, OOI и Кэрри Уолл Белл за запросы на поддержку аудио/гидрофонных файлов.
- Изменения в генерации наборов данных Xml (и связанных с ними изменений) :
- НЬЮ:ERDDAP™Теперь есть система для автоматическогоОбновление устаревших URLОба в генерируемых наборах данных Xml и при загрузке наборов данных. Если у вас есть предложения по дополнительным URL-адресам, которые должны быть обнаружены и обновлены, или если вы считаете, что это должно быть преобразовано в услугу. (как конвертеры) Пожалуйста, emailerd.data at noaa.gov.
- Оригинальное название: If GenerateDatasets Xml видит CFstandard\_name (который должен быть ниже) с персонажем верхнего регистра, он добавляет всю версию нижнего регистра к<addAttributes>. Кроме того, когда набор данных загружается, еслиERDDAP™Посмотреть CFstandard\_nameс характером верхнего регистра, он молча меняет его наstandard\_name. Спасибо Ричу Сигнеллу.
- Оригинальное название: If GenerateDatasets Xml видит атрибут со временем, которое не находится в формате ISO 8601, он добавляет время форматирования ISO 8601 к<addAttributes>. ЕслиERDDAP™не распознает формат, оставляет значение времени неизменным. Если вы видите формат, которыйERDDAP™не распознает и не исправляет, пожалуйста, отправьте его по электронной почтеerd.data at noaa.gov.
- Усовершенствованный: код низкого уровня дляEDDGridИз Тредд Вариант каталога в GenerateDatasets Xml теперь полагается наUnidatanetcdf-java каталог crawler code (Толстяки. Каталожные классы) Чтобы он мог обрабатывать все каталоги THREDDS (которые могут быть удивительно сложными) . Спасибо Роланду Швейцеру за то, что он предложил это изменение.UnidataДля кода.
- Оригинальное название: GenerateDatasets Xml дляEDDGridFromDap теперь добавляет «StartYear-EndYear» к концу заголовка на основе фактических значений оси времени. EndYear = «настоящее», если данные существуют за последние 150 дней.
- Оригинальное название: GenerateDatasets Xml дляEDDGridFromDap теперь добавляет ",\[резолюция\]°" к названию, если набор данных равномерно расположен и одинаков для лат и lon.
- Преобразователь времени теперь имеет дополнительные функции, в частности возможность конвертировать время строк в широком спектре распространенных форматов в строки ISO 8601 или в UDUnits-совместимое число. Все ранее поддерживаемые функции продолжают работать, без изменений.
- BUG FIX: Генерировать наборы данных Xml и конвертер ключевых слов теперь включают «Наука о Земле» в начале ключевых слов GCMD Science. Когда набор данных загружается вERDDAP™,ERDDAP™Теперь фиксирует любые ключевые слова GCMD в атрибуте ключевых слов, которые не начинаются с «Наука о Земле» или используют что-либо, кроме заглавного дела. (где заглавна первая буква каждого слова) .
- УПРАВЛЕНИЕ: Когда вы предлагаете<destinationName>'s, Генерировать наборы данных Xml для EDDTableFromAsciiFiles просто использовал хвостовой конецsourceNameс'/' (Некоторые были похожи на файл) . Теперь он использует весьsourceName(например, "blahblahblah (m/s)"). Это изменение будет полезно для некоторых наборов данных, а не для других, но это более безопасное поведение. Спасибо Морису Либесу.
- BUG FIX: Генерировать наборы данных Xml и конструкторы наборов данных теперь гарантируют отсутствие дублирующих имен сто лбцов. Спасибо Морису Либесу.
- BUG FIX: Генерировать наборы данных Xml для EDDTableFromAsciiFiles не писал<columnSeparator> к выходу. Теперь так и есть. Спасибо Морису Либесу.
- Инструмент DasDds теперь распечатывает информацию о временном разрыве (тотTimeGaps Информация) Если набор данных является сетчатым набором данных.
- Расширенный поиск теперь принимает значения времени «теперь_\-nUnits_». Спасибо Ричу Сигнеллу.
- Для повышения безопасности, когда адрес электронной почты в метаданных набора данных или данных записывается на веб-страницу html, «@» заменяется на « at». Это только улавливает адреса электронной почты, которые представляют собой всю ценность метаданных или данных, а не адреса электронной почты, встроенные в более длинные значения.
- В целях повышения безопасности,RSSИнформация для частных наборов данных теперь доступна только пользователям. (иRSSчитатель) которые вошли в систему и уполномочены использовать этот набор данных.
- НОВОСТИ: Теперь, когда набор данных загружен, еслиdate\_created,date\_issued,date\_modified, или атрибут date\_metadata\_modified имеет временное значение, которого нет в формате ISO 8601,ERDDAP™Внесение изменений в форматированное время ISO 8601. ЕслиERDDAP™не распознает формат, оставляет значение времени неизменным. Если вы видите формат, которыйERDDAP™не распознает и не исправляет, пожалуйста, отправьте его по электронной почтеerd.data at noaa.gov.
- Проверено: .dods отзывыEDDGridТеперь наборы данных должны быть значительно быстрее. Спасибо Ричу Сигнеллу.
- Изменения, связанные сERDDAPСоздание документов ISO 19115:
- BUG FIX: при создании документов ISO 19115dataVariableЕдиницы не были закодированы HTML-атрибутом, а процент закодирован. Теперь они есть. Благодаря валидатору ISO 19115 NGDC.
- BUG FIX: при создании документов ISO 19115date\_createdИспользуется как есть, поэтому часто был неправильный формат. Теперь она преобразована в строку ISO 8601 Z. Благодаря валидатору ISO 19115 NGDC.
- BUG FIX: при создании документов ISO 19115ERDDAP™Теперь больше пишет даты с годом = 0000 (Как и наборы данных климатологии) Схема ISO 19115 не допускает даты с годом = 0000. Благодаря валидатору ISO 19115 NGDC.
- НОВОСТИ: Как и прежде, просьбаhttp.../erddap/version возвращает только номер версии (как текст) Например, "ERDDAP\_version=1.82". Теперь просьба кhttp.../erddap/version\string возвращает номер и дополнительный суффикс '\' плюс текст ASCII (Никаких пробелов или управляющих персонажей) Например, "ERDDAP\_version\_string=1.82\_JohnsFork". Люди, делающие вилку, укажут это, изменив EDStatic.erddapVersion. Такой способ не создает проблем для предыдущих версий.ERDDAP. Благодаря аксиоме (В частности, Кайл Уилкокс) Ирландский морской институт (В частности, Роб Фуллер) .
- BUG FIX: Для wms версии=1.3.0, запрос=GetMapcrs=EPSG:4326 (Не CRS:84) Запросы: заказ на коробку должен быть minLat,minLon,maxLat,maxLon. Для запросов CRS:84, как и раньше, заказ на коробку должен быть minLon,minLat,maxLon,maxLat. Это можно исправить с помощьюERDDAP?WMS1.3.0 ОбслуживаниеArcGIS (Спасибо Paola Arce) . Спасибо. (не) тоOGCЧтобы сделать это таким сложным. БлагодаряLeafletДля того, чтобы справиться с этим правильно и дать мне возможность проверить это.
- УПРАВЛЕНИЕ: Предыдущее, предлагаемая ссылка дляRSSПодписка на электронную почту имеетhttpURL для вашегоERDDAP. Теперь этоhttpsURL, если он активен.
- НЬЮ:EDDGridCopy теперь поддерживает дополнительный тег<Только с someValue</onlySince>, где значение представляет собой определенное время форматирования ISO-8601 илиnow-единицы (например,now-2 года) Время. Видишь?только С тех пор документация. Спасибо Дрю П.
- Усовершенствовано: если доступно,ERDDAP™Показать будетhttpsURL (от англ.<baseHttpsUrl>, если таковой имеется) вместоhttpURL, когда он сообщает пользователям URL, чтобы добавить / подтвердить / удалить / перечислить подписку.
- BUG FIX:ERDDAP™теперь позволяет начать действие по подписке с " https://" . (Боб хлопает в лоб.) Спасибо Дженнифер Севаджян.
- BUG FIX:.jsonlKVPтеперь использует ":" между каждым ключом и значением вместо'='. (Боб хлопает в лоб.) Спасибо Александру Барту.
- BUG FIX: Раньше, если вы перезапустилиERDDAP™с QuickRestart=true, и если перед обычной перезагрузкой набора данных вы сделали вызов набору данных EDDTableFromFiles, в котором использовалось обновление EveryNMillis, и если файл данных только что был изменен, запрос потерпит неудачу с ошибкой нулевого указателя. Теперь просьба будет успешной. Спасибо Джону Керфуту.
- НОВОСТИ: Когда набор данных загружается вERDDAP™Ключевые слова теперь перегруппированы в отсортированный порядок, и любые символы новой линии удаляются.
- Теперь, если .geoJson,.jsonили.ncЗапросы OJSON.jsonp параметр, тип ответной мимы - приложение/джаваскрипт. Обратите внимание, что.jsonp не поддерживается.jsonlCSVили.jsonlKVPПотому что это не сработает. Спасибо Робу Фуллеру.
- Тип мима для json lines fileType теперь называется «приложение/x-jsonlines». Это приложение/jsonl. В настоящее время нет окончательного правильного выбора.
- Количество неудавшихся запросов, отображаемых на странице status.html, будет увеличиваться, потому что больше вещей считаются сбоями, чем раньше, например, ClientAbortException.
- Ответ: Теперь, если ответERDDAP™не сжимается, тогда заголовок ответа будет включать «Контент-кодирование» = «идентификация».
- УПРАВЛЕНИЕ: Атрибут «лицензии» не требовался. Теперь, если это не указано, стандартная лицензия от messages.xml (или setup.xml при наличии) Используется как дефолт.
- НОВОСТИ: В настоящее время существует опцияатрибут fileAccessSuffixкоторые могут быть использованы при существующихатрибут fileAccessBaseUrl.
- УПРАВЛЕНИЕ: Для повышения безопасности эта версия была скомпилирована с последнейJavaJDK v8u162.
- Для повышения безопасности несколько распространенных доменов, которые предлагают временные адреса электронной почты (например, @mailinator.com) Теперь они находятся в постоянном черном списке электронной почты для системы подписки.
- НЬЮ-ЙОРК: Чтобы повысить безопасность, результаты в Daily Report теперь включают:
SetDataset IP-адрес флага не работает (Последний ежедневный отчет)
SetDataset IP-адрес флага не работает (С момента запуска)
SetDataset IP-адрес флага успешно (Последний ежедневный отчет)
SetDataset IP-адрес флага успешно (С момента запуска)
"Неудачные" подсчеты позволяют увидеть, кто (Хакер?) Он пытается установить флаг, но терпит неудачу. - Улучшено: для повышения безопасности, адреса электронной почты в<ПодпискаEmailBlacklist> в вашемdatasets.xmlВ настоящее время они считаются нечувствительными к делу.
Версия 1.80
(Выпущено 2017-08-04)
- Новые особенности (для пользователей) :
- НОВОСТИorderByCount () Фильтр позволяет указать, как будет сортироваться таблица результатов (ил и нет) и просто возвращает одну строку для каждой сорт-группы с подсчетом числа непропущенных значений для каждой переменной. Например,orderByCount ("stationID") будет сортироватьstationIDВозвращать по одной строке для каждогоstationID, с подсчетом числа непропущенных значений для каждой переменной. Если просто указатьorderByCount ("") , ответ будет составлять всего одну строку с числом непропущенных значений для каждой переменной данных. Видишь?orderBy... документацияСпасибо Бену Адамсу.
- НОВОСТИ.ncФайл Джейсона Вариант типа для сетчатых и табличных наборов данных. Этот вариант делаетNCOlvl=2 «педантичный» файл JSON со всей информацией, обычно находящейся в.ncФайл. Видишь? http://nco.sourceforge.net/nco.html#json Спасибо Чарли Зендеру.
- BUG FIX: TheorderBy... () Опции на веб-странице Make A Graph теперь обрабатываются правильно.
- BUG FIX: вывод .geoJson теперь не печатает строки, где отсутствуют значения lat или lon. Кроме того, значения высоты (Если доступно) Теперь они включены в координаты, а не в качестве значений данных. Спасибо Джонатану Уилкинсу.
- ВещиERDDAP™Администраторы должны знать и делать:
- Безопасность: Библиотека Protocols.js используется дляOpenLayersДемонстрация наWMSстраницы вERDDAP™Он устарел и имеет ошибку, которая потенциально позволяет его неправильно использовать. (К сожалению, обновлениеOpenLayersи протоколов. Это не просто.) Это открывает возможность создания библиотеки для обеспечения межсайтовой уязвимости. Однако, посколькуERDDAP™использует толькоOpenLayersв конкретном предустановленном виде и только с конкретнымERDDAP- на основе источников данных, мы считаем, что нет межсайтовой уязвимости вERDDAPиспользованиеOpenLayersОднако, если вы не верите в это, вы можете отключить использованиеOpenLayersДемонстрация наWMSстраницы вашегоERDDAP™путем добавления
<openLayersActive>false</openLayersActive>
Введите файл setup.xml. Дефолт является «истинным». Спасибо Чарльзу Карлтону и NCEI.
- Неиспользуемые файлы .jar и дубликаты файлов .jar (Они также находятся в netcdfAll.jar.) были удалены изERDDAP™распределения. Обновлены устаревшие файлы .jar. Спасибо Чарльзу Карлтону и NCEI.
- Безопасность меняется: Файл netcdfAll.jar, распространяемыйERDDAP™Это последняя версия (В настоящее время 4.6.10) Но он по-прежнему содержит внутренние файлы jackson.jar, которые, как известно, являются устаревшими и имеют уязвимости безопасности, в частно сти библиотеки Jackson, которые используются только при доступе к источникам данных Amazon S3. Если вы не получаете доступ к данным через Amazon S3 (Вы бы знали, если бы были) Эти уязвимости не актуальны.
Разработчики Netcdf-java утверждают, что эти уязвимости не актуальны из-за того, как код Netcdf использует эти библиотеки, и в любом случае будут актуальны только при доступе к Amazon S3. Видишь? https://github.com/Unidata/thredds/issues/866 . Я им верю. Если у вас все еще есть опасения по этому поводу, пожалуйста, свяжитесь с разработчиками netcdf-java. (Обратите внимание, что если вы не верите разработчикам netcdf-java и планируете не использоватьERDDAP™Из-за этого вы также не должны использовать THREDDS, потому что THREDDS использует netcdf-java более фундаментально и более широко, чем THREDDS.ERDDAP.)
Подробности: Неприятный код и предупреждения об уязвимостях: netcdfAll-latest.jar/META-INF/maven/com.fasterxml.jackson.core/jackson-databind/pom.xml Видишь? https://nvd.nist.gov/vuln/detail/CVE-2016-7051 - высокий netcdfAll-latest.jar/META-INF/maven/com.fasterxml.jackson.dataformat/jackson-dataformat-cbor/pom.xml Видишь? https://nvd.nist.gov/vuln/detail/CVE-2016-7051 - высокий netcdfAll-latest.jar/META-INF/maven/com.fasterxml.jackson.core/jackson-annotations/pom.xml Видишь? https://nvd.nist.gov/vuln/detail/CVE-2016-7051 - высокий Видишь? https://nvd.nist.gov/vuln/detail/CVE-2016-3720 - Критический netcdfAll-latest.jar/META-INF/maven/com.fasterxml.jackson.core/jackson-core/pom.xml Видишь? https://nvd.nist.gov/vuln/detail/CVE-2016-7051 - высокий Видишь? https://nvd.nist.gov/vuln/detail/CVE-2016-3720 - Критический Для версии 4.6.10, aws-java-sdk-core тянет в версии 2.6.6 артефактов Джексона. (Электронная почта от Netcdf-java) . Спасибо Чарльзу Карлтону и NCEI.
- Смена компилятора: Если вы рекомпилируетеERDDAP™Обратите внимание, что параметр -cp classpath, необходимый для командной строки, теперь намного короче, чем раньше. Посмотреть новый -cp Setting inЭта документация. Спасибо Чарльзу Карлтону и NCEI.
- Новый вариант в GenerateDatasets Xml: EDDTableFromBcodmo, который предназначен только для внутреннего использования в BCO-DMO. Спасибо Адаму Шепарду и BCODMO.
- НОВЫЙ АТТРИБУТ И ФИТАФ: Если колонка EDDTable имеет имена файлов веб-доступных файлов (например, изображение, видео или аудио файлы) Вы можете добавить
<att name="fileAccessBaseUrl">_someBaseURL_</a>
Указать базовый URL (Конец с /) Нужно было сделать имена файлов в полные URL. Тогда для.htmlTableответы,ERDDAP™покажет имя файла как ссылку на объединенный URL (основание Url + имя файла) . Если ты хочешьERDDAP™Чтобы обслуживать связанные файлы, сделайте отдельный набор данных EDDTableFromFileNames для этих файлов. (Это может быть частный набор данных.) . Спасибо Адаму Шепарду и BCODMO.
- РЕКОМЕНД АЦИЯ НОВОГО АТТРИБУТА: Если колонка EDDTable имеет имена файлов, доступных в Интернете (например, изображение, видео или аудио файлы) которые доступны через архив (например,.zipфайл) доступный через URL, использовать
<att name="fileAccessArchiveUrl">_theURL_</att>
Укажите URL для архива. Если ты хочешьERDDAP™Чтобы обслуживать архивный файл, сделайте отдельный набор данных EDDTableFromFileNames для этого файла. (Это может быть частный набор данных.) . Спасибо Адаму Шепарду и BCODMO.
- Улучшения для генерации наборов данных Xml для устранения причин недействительных / плохих<subsetVariables> предложения и дубликаты/плохие предложенные переменные имена и т.д. Спасибо Ричу Сигнеллу, Адаму Шепарду и BCO-DMO.
- НОВЫЙ ВОПРОС: Политическая информация, распространяемая сERDDAPявляется от третьего лица и несколько устаревшим. Также существуют спорные границы в нескольких местах мира, где разные люди будут иметь разные представления о том, что правильно. Мы не делаем никаких заявлений о правильности политических данных, которые приходят сERDDAP. Если вам не нравится информация о политических границахERDDAP™Теперь вы можете сказатьERDDAP™Никогда не рисовать политические границы, добавляя
<politicalBoundariesActive>false</politicalBoundariesActive>
Введите файл setup.xml. Дефолт является «истинным». Спасибо Раджу Девендеру.
- НОВЫЙ ТАГ МЕТАДАТА: В этомdatasets.xmlДля набора данных теперь можно указать номер цвета по умолчанию Барные секции для adataVariableна графиках и картах с
<att name="colorBarNSections">_anInteger_</att>
(Дефолт = 1, который говорит, чтобы позволитьERDDAP™решать) . Видишь?цвет Барные настройки.
- Усовершенствовано: государственный пограничный цвет на картах был фиолетовым (Deep Purple для детей-бумеров) . Теперь он серый (между серой национальной границей и серой землей) .
- BUG FIX:<Изо19115 Файлы и<fgdcFile вdatasets.xmlНе всегда обращались правильно. Теперь они есть. Спасибо BCO-DMO.
Версия 1.78
(Выпущено 2017-05-27)
- Новые особенности (для пользователей) :
- (ни одного)
- ВещиERDDAP™Администраторы должны знать и делать:
- Порядок строк в «Major LoadDatasets Time Series» на странице status.html теперь самый новый сверху и самый старый внизу.
- BUG FIX:ERDDAP™Сейчас пишет.nccsvФайлы с переменной времениactual\_rangeСтандарт ISO-8601 String Time. Это исправляет ошибку с помощью EDDTableFromErddap, анализирующей информацию из удаленного набора данных и из файла QuickRestart для всех наборов данных EDDTableFrom...Files. (Времяactual\_rangeбудет неправильной при первой загрузке набора данных в v1.78, но правильной после его перезагрузки, например, если вы пометите набор данных.)
Версия 1.76
(Выпущено 2017-05-12)
- Новые особенности (для пользователей) :
- Изменения в Tomcat: По просьбамERDDAP™исходит от программного обеспечения, отличного от веб-браузеров (например,curlР,Matlab,Python,Java) : Как и предыдущие изменения в версиях Tomcat (Программное обеспечение нижнего уровня, которое работаетERDDAP) С начала 2016 года все больше и больше символов в части запроса URL-адреса должны Процент закодированных По соображениям безопасности. Браузеры заботятся о процентах кодирования для вас. использоватьERDDAP™в браузере не затрагивается, если запрос не перенаправлен на другойERDDAP.
- Усовершенствовано: ранееERDDAP™лечить переменные char Больше похоже на неподписанные короткие целые числа, чем на символы. Теперь они больше похожи на 1-символьную UCS-2 (Уникод) Струны. Видишь?char документация. Спасибо Орели Брайанд и проекту Argo.
- Усовершенствовано: ранееERDDAP™Незначительная поддержка Однозначные символы Над персонажем #255 в струнах. Теперь, внутри,ERDDAP™Полностью поддерживает 2-байтовые процессоры UCS-2 (символы с номерами от 0 до 65535) в струнах. Когда данные String записываются в различные типы файлов,ERDDAP™Он делает все возможное, чтобы поддерживать 2-байтовые процессоры. Другой пример - файлы .csv, которыеERDDAP™Об этом сообщает ISO-8859-1 Charset. (1-байтовый шарсет) ТакERDDAP™пишет любые символы выше символа #255 с JSON-подобным синтаксисом \u_hhhh_. Видишь?Струнные данные.
- Улучшено: In.ncФайлы, написанныеERDDAP™, переменные char, которые следует интерпретировать как строки, будут иметь атрибут
Кодирование = ISO-8859-1
в.ncфайлы, прочитанныеERDDAP™, переменные char с "\_Encoding" будут интерпретироваться как строки с указанным charset. - Напоминаем:ERDDAP™поддержка JSON-подобное backslash-кодирование специальных символов, когда вы указываете ограничения переменных char и String. Таким образом, вы можете запросить что-то вроде &myString="\u20ac", когда вам нужны строки данных, где myString=€, поскольку 20ac является шестнадцатеричной версией кодовой точки для символа евро. Несколько источников в Интернете показывают но мера точек кода для символов Unicode, например, https://en.wikipedia.org/wiki/Unicode .
- Усовершенствовано: ранееERDDAP™Ограниченная поддержка длинное целое число переменных. ТеперьERDDAP™Полностью поддерживает длинные файлы внутри и делает все возможное при записи длинных данных в различные типы файлов. Видишь?Длинная документация. Благодаря Ирландскому морскому институту, Крейгу Рисиену, Ричу Синьеллу, Кристоферу Вингарду и OOI.
- НОВОСТИ: тип выходного файла для griddap иtabledap: .nccsv которая делает aNetCDF-подобно ASCII, CSV файлу, который также содержит все метаданные, которые были бы в сопоставимом файле..ncФайл. Видишь?NCCSV Спецификация. Спасибо Стиву Хэнкину.
- НЬЮ: orderByClosestфильтр позволяет указать, как будет сортироваться таблица результатов и интервал (Например, 2 часа) . В каждой сортировочной группе будут сохранены только строки, наиболее близкие к интервалу. Например,orderByClosest ("stationIDВремя, 2 часа".) будет сортироватьstationIDи время, но только верните строки для каждогоstationIDгде последнийorderByколонка (время) Ближе всего к 2-часовым интервалам. Это самая близкая вещь вtabledapПеремещать значения в запросе griddap. Эта опция может быть указана через любойtabledapВеб-страница .html, веб-страница .graph и любой URL-адрес, который вы создаете сами. Ирландский морской институт и сеть океанов Канады.
- НЬЮ: orderByLimitфильтр Позволяет указать, как будет отсортирована таблица результатов и предельное число (Например, 100) . В каждой сортировочной группе будут сохранены только первые «лимитные» строки. Например,orderByMax ("stationID100".) будет сортироватьstationID, но возвращают только первые 100 строк для каждогоstationID. Это похоже на пункт LIMIT SQL. Эта опция может быть указана через любойtabledapВеб-страница .html, веб-страница .graph и любой URL-адрес, который вы создаете сами. Ирландский морской институт и сеть океанов Канады.
- Два новых типа файлов ответа .jsonlCSVи.jsonlKVP доступны для запросов к сетчатым наборам данных, табличным наборам данных и многим другим местам вERDDAP (например, запросы информации о наборах данных) . Файлы - это файлы JSON Lines. ( https://jsonlines.org/ ) Каждая линия имеет отдельный объект JSON..jsonlCSVПросто имеет значения в формате CSV..jsonlKVPЕсть ключ: Пары ценностей. Каждая линия стоит сама по себе. Линии не заключены в больший массив JSON или объект. Например, см.Этот образец запроса. Спасибо Дамиану Смиту, Робу Фуллеру, Адаму Лидбеттеру и Морскому институту Ирландии.
- НОВОСТИ: Появились новые документы, описывающие Как получить доступ к частным наборам данныхERDDAP™через скрипты . Спасибо Линн ДеВитт.
- Недостаток: минимальный размер OpenLayers Карта составляла 2 градуса и теперь составляет 4 пикселя данных. Спасибо Расти Холлеману.
- УПРАВЛЕНИЕ: В некоторых распространенных случаях запросы, которые включают: регулярное выражение Ограничения будут обрабатываться намного быстрее.
- ВещиERDDAP™Администраторы должны знать и делать:
- Первый медленный старт: Когда вы впервые запустите эту новую версию, это займет много времени.ERDDAP™Загрузить все наборы данных, потому что он должен перечитать все исходные файлы данных. (Хотя только заголовок для сетчатых файлов данных) . Если вы посмотрите на журналы, вы можете увидеть сообщения об ошибках, в которых говорится «старая / неподдерживаемая расширенная версия» некоторых внутренних файлов.ERDDAP™Мы создадим новые версии внутренних файлов. Пожалуйста, будьте терпеливы.
- Действие:ERDDAP™Сейчас используется новый время классы (Также известен как JSR 310.) Вместо Джоды разобрать струнные времена на числовые. Примечания:
- ЕслиERDDAP™Внезапно возникают проблемы с разбором времени струн для заданного набора данных и, таким образом, просто преобразует большинство или все время в NaN. (Недостающие ценности) Проблема почти всегда заключается в дате. Строка формата времени, которую вы указали как «единицы» переменной. Для новой системы иногда требуется несколько иная строка формата dateTime.
- Если числовые месяцы и дни в строках dateTime не 0-padded (Например, "3/7/2016") Убедитесь, что формат имеет только один M и d. (Например, "M/d/yyyy", а не "MM/dd/yyyyy") .
- Измените любую спецификацию дробных секунд, которая испол ьзует строчную s (Например, ssss inyyyy-MM-ddНазвание:mm:ss.sss) В столицу С, (например,yyyy-MM-dd'T'HH:mm:ss.SSS) .
- ERDDAP™Больше не поддерживается дата Форматы времени с двузначными годами (yy) Подразумеваемый век (Например, 1900 или 2000) . Компании потратили миллиарды долларов на решение этой проблемы в конце 1990-х годов. Ученые не должны использовать двухзначные годы. Пожалуйста, исправьте исходный файл (s) путем преобразования в 4-значные годы, затем используйте yyyy в дате Формат времени.
- Вы можете использовать Yyyy или YYYY (которыйERDDAP™Преобразуется в uuuu) для разбора 4-значных лет, включая отрицательные годы, например, -4712 (4713 г. до н.э.) . Благодаря SeaDataNet, Томасу Гарднеру и BODC.
- Пожалуйста, продолжайте использовать Z в формате dateTime, чтобы получитьERDDAPЧтобы сравнять время (например, Z, +0200, -08, -0800, -08:30) .
- Убедитесь, что вы используетеJavaВерсия 1.8.0_21 или выше.
- Программисты - Если вы пишетеJavaПрограммы, которые работаютERDDAP™Код, нужно удалить ссылку на joda-time. баночка в параметре классового пути.
- НЬЮ:ERDDAP?Архивы Инструмент набора данныхТеперь можно создавать Файлы BagIt . NCEI может стандартизировать этот формат. Спасибо Скотту Кроссу и Джону Рельфу.
- IMPROVED: ссылки для загрузки erddap. Война противERDDAP™Веб-страницы теперь указывают на GitHub . (Это публичные ссылки, поэтому вам не нужно присоединяться к GitHub.) Это означает гораздо более быстрые загрузки (до 12 Мб/с против 1 Мб/с) Мало проблем с загрузкой. Благодаря Дамиану Смиту, Робу Фуллеру, Адаму Лидбеттеру, Конору Делани и Ирландскому морскому институту.
- Продвинутый: status.html и ежедневная электронная почта Теперь включите раздел «Серия временных рядов основных наборов данных», который показывает статистику оERDDAP™По состоянию на конец каждого основного набора данных для последних 100 основных наборов данных. Спасибо за наш неприятный рейд.
- Новый: новый, факультативный (Но рекомендуется) параметр для наборов данных EDDTableFromCassandra: [ ** <Раздел KeyCSV> ** ] (/docs/server-admin/datasets#partitionkeycsv) . Об этом сообщает Ocean Networks Canada.
- EDDTableFromAsciiFiles теперь поддерживает ** <столбец Разделитель> ** параметр. Если нуль или «», класс угадает, как и ра ньше, В противном случае первый символ будет использоваться в качестве разделителя столбцов при чтении файлов. Спасибо Sky Bristol и Эбигейл Бенсон.
- Новый тип набора данных, EDDTable FromNccsvFiles , может сделать набор данных путем агрегированияФайлы NCCSV.csv. Спасибо Стиву Хэнкину.
- Усовершенствовано: EDDTable FromErddap Сейчас использует.nccsvПолучение информации из удаленногоERDDAPs и для локального архива этой информации метаданных. Это позволяет полностью поддерживать char и длинные типы данных, а также Unicode. (UCS-2) Шарсет для колесниц и струн. Спасибо Робу Фуллеру и Морскому институту Ирландии.
- Усовершенствовано: EDDTable FromErddap иEDDGridПоддержка от Erddap теперь ** <Перенаправление>фальшивый</redirect> ** который говоритERDDAP™Никогда не перенаправлять запрос на пультERDDAP. Дефолт - это правда. Это полезно, когда удаленныйERDDAP™является частнымERDDAP. Спасибо Дэмиану Смиту, Робу Фуллеру и Морскому институту Ирландии.
- Усовершенствовано:ERDDAP™Теперь ловят Отмененные запросы пользователей Скорее. ИERDDAP™Теперь он отключается быстрее, пото му что потоки низкого уровня отключаются быстрее. Спасибо за наш неприятный рейд.
- Генерировать наборы данных Xml:
- Новый специальный EDDType «ncdump» печатаетслияние\-подобная распечатка заголовка.ncФайл. Вы также можете распечатать значения данных для заданных переменных. (или ввести «ничего», чтобы не печатать значения данных) . Это полезно, потому что без ncdump трудно узнать, что находится в файле и, таким образом, какой EDDType вы должны указать для GenerateDatasetsXml. Спасибо Крейгу Рисиену, Ричу Синьеллу, Кристоферу Вингарду и OOI.
- Оригинальное название: SeaData Чистые данные: При необходимости генерировать наборы данных Xml теперь выполняет специфическое семантическое преобразование с использованием удаленного запроса SPARQL: если исходные метаданные переменной включают в себя sdn\_parameter\_urn, например, sdn\_parameter\_urn = "SDN:P01::PSLTZZ01", GenerateDatasets Xml добавит соответствующий атрибут P02, например, sdn\_P02\_urn = "SDN:P02::PSAL". Если у вас есть наборы данных, которые используют эти атрибуты, и если выERDDAP?<categoryAttributes> в setup.xml включены sdn\_parameter\_urn и sdn\_P02\_urn, пользователи смогут использоватьERDDAP™Поисковая система категорий для поиска наборов данных с конкретными значениями этих атрибутов. Спасибо БОДК и Александре Коккинаки.
- Усовершенствовано: Генерировать наборы данных Xml меняет многиеhttp://ссылки в метаданных наhttps://когда это уместно.
- Усовершенствовано: Генерировать наборы данных Теперь Xml пытается угадать тип создателя и тип издателя.
- Усовершенствованные: типы данных переменной, предложенные GenerateDatasets Теперь XML будет немного лучше. Спасибо Маргарет О'Брайен, LTER и EML.
- Усовершенствовано: Генерировать наборы данных Xml лучше определяет<cdm\_data\_type> и добавление соответствующих требуемых атрибутов (например,<cdm\_timeseries\_variables>), так что вы можете предоставить эту информацию. Спасибо Ричу Сигнеллу.
- Усовершенствовано: в генерируемых наборах данных Xml, для наборов данных EDDTable, предложение для<subsetVariablesСейчас он гораздо более консервативен. Спасибо Джону Керфуту.
- Усовершенствовано: еслиdatasets.xmlДля наборов данных указываетсяfeatureTypeно не cdm\_data\_type,featureTypeИспользуется как cdm_data_type. Спасибо Ричу Сигнеллу.
- BUG FIX: генерировать Наборы данных Xml предлагает правильную<DataType для переменных данных, имею щихscale\_factor,add\offsetи/или \ Неподписанные атрибуты.
- Улучшение: когдаERDDAP™открывается a.ncфайл, который является короче чем предполагается быть (Например, он не был полностью скопирован на место.) ,ERDDAP™Теперь он считает файл плохим. Раньше,ERDDAP™возвращает недостающие значения для любой недостающей части файла, потому что это поведение по умолчанию для netcdf-java.ERDDAP™Использует Укар.nc2.iosp.netcdf3.N3header.disallowFileTruncation = истинно; Спасибо за наш неприятный рейд и Кристиану Уорд-Гаррисону.
- ИСО 19115 Автор теперь использует Разработчик:type Если присутствует.
- Усовершенствовано:ERDDAP™В настоящее время используется новейший netcdf-java v4.6.9, который может читать дополнительные типы файлов. файлы netcdf-4 . Спасибо Крейгу Рисиену, Ричу Синьеллу, Кристоферу Вингарду и OOI.
- BUG FIX: Избегайте проблем, если разные исходные файлы имеют разные типы данных для данной переменной. Спасибо Рою Мендельсону и Юджину Бургеру.
- BUG FIX: Конверсии формата времени Теперь они лучше защищены от плохих временн... Спасибо NDBC.
- BUG FIX:EDDGridИз NcFiles Unpacked теперь обрабатывает значения времени «Месяцы с...» и «годы с...» правильно (путем увеличения месяца или года, а не путем грубого добавления, например, 30 дней повторно) . Благодаря Soda3.3.1.
- BUG FIX: только в v1.74, подписка Требуется действие (например,http://...) которая была и должна быть факультативной.
- BUG FIX:EDDGridИз MergeIRFiles.lowGetSourceMetadata () Он не добавил никаких глобальных атрибутов. Теперь так и есть.
Версия 1.74
(Выпущено 2016-10-07)
-
Новые особенности (для пользователей) :
-
Теперь, когда список наборов данных (Все или из поиска) отображается на веб-странице, длинные заголовки отображаются на нескольких строках. Ранее середина длинного титула была заменена на «...». Спасибо Маргарет О'Брайен, LTER и EML.
-
ВещиERDDAP™Администраторы должны знать и делать:
-
TO DO: На компьютерах Linux измените настройки тайм-аута Apache, чтобы отнимающие много времени запросы пользователей не отставали. (часто появляется как ошибка «Прокси» или «Плохой шлюз») . Как корневой пользователь:
- Модифицировать Apachehttpd.conf файл (обычно в /etc/httpd/conf/) : Изменить существующее<Настройка Timeout (Добавить в конце файла) до 3600 (секунды) Вместо стандартных 60 или 120 секунд. Изменить существующее<ProxyTimeout устанавливать (Добавить в конце файла) до 3600 (секунды) Вместо стандартных 60 или 120 секунд.
- Перезапуск Apache: /usr/sbin/apachectl -к грациозный (Но иногда он находится в другом каталоге.) .
Спасибо Томасу Оливеру.
- НЬЮ:\[BigParentDirectory/Hard Каталог флагов Это работает как каталог флагов, но версия hardFlag также удаляет всю кэшированную информацию о наборе данных. Нет URL-адресов для установки жесткого флага. Это может быть использовано только путем размещения файла в этом каталоге. твердый Флаги очень полезны, когда вы делаете что-то, что вызывает изменения в том, как это сделать.ERDDAP™считывает и интерпретирует исходные данные, например, при установке новой версииERDDAP™или когда вы внесли определенные изменения в определение набора данныхdatasets.xml. Видишь?Эта документация. Спасибо Джону Керфуту и всем группам Арго.
- Оригинальное название: GenerateDatasets Xml теперь имеет опцию EDDTableFromEML который читает описание набора данных на экологическом языке метаданных (ЭМЛ) файл, загружает соответствующий файл данных и генерирует частьdatasets.xmlЧтобы набор данных мог быть добавленERDDAP. Существует также EDDTableFromEMLBatch, который делает то же самое для всех файлов EML в каталоге. Это очень хорошо работает, потому что EML отлично описывает набор данных и потому что KNB и LTER делают фактические файлы данных доступными. EML плюсERDDAP™Это может быть отличное сочетание, так какERDDAP™Это может дать пользователям более прямой доступ к богатству данных KNB и LTER и помочь этим проектам соответствовать требованиям правительства США.Публичный доступ к результатам исследований (ПАРР) требованиясделать данные доступными через веб-сервис. Видишь?Эта документация. Спасибо Маргарет О'Брайен, LTER и EML.
- Оригинальное название: GenerateDatasets Xml теперь имеет опцию EDDTableFromInPort
который считывает описание набора данных в файле InPort XML и пытается сгенерировать фрагментdatasets.xmlЧтобы набор данных мог быть добавленERDDAP. Это редко создает готовый к использованию фрагмент XML.datasets.xmlНо это создаст хороший черновик, который является хорошей отправной точкой для редактирования человеком.
Было бы здорово, если бы люди, использующие InPort для документирования своих наборов данных, также использовали быERDDAP™сделать реальные данные доступными черезERDDAPвеб-сервисы и, таким образом, отвечают требованиям правительства США иNOAA?Публичный доступ к результатам исследований (ПАРР) требованиясделать данные доступными через веб-сервис. Это решение, которое можно использовать прямо сейчас. (erd.data at noaa.govРад помочь.)
Видишь?Эта документация. Спасибо Эвану Хауэллу и Мелани Абекассис. - Усовершенствовано:ERDDAP™Теперь используется netcdf-java 4.6.6. С более ранними версиями netcdf-java читает некоторые значения заполнения. (Возможно, только в файлах netcdf-4) как 0. Теперь он читает некоторые из них как стандартное значение заполнения netcdf: -127 для байтов, -32767 для шортов, -2147483647 для интов.UnidataНовое поведение — это правильное поведение. Если переменная в наборе данных начинает показывать одно из этих значений, где они использовались для отображения 0, вы можете добавить, например,
<att name="\\_FillValue" type="short">-32767</att>
Для переменнойaddAttributesрассказыватьERDDAP™рассматривать эту ценность какmissing\_value/\_Заполнить Ценность. Однако во многих случаях это не даст желаемого результата: 0. Если это так, подумайте об изменении файлов с помощьюNCOили переписывать файлы. Жалобы? Пожалуйста, свяжитесьUnidata;-
- Оригинальное название: New TopographyDepth Palette Я призываю вас переключить все наборы данных, которые используют палитру OceanDepth, на новую палитру TopographyDepth, которая похожа на Topography, за исключением перевернутых цветов, так что она подходит для значений глубины. (Положительный = вниз) вместо высотных значений (Положительный =) . Рекомендуемые настройки для этой палитры:
<att name="colorBarMaximum" type="double">8000.0</att>
<att name="colorBarMinimum" type="double">-8000.0</att>
<att name="colorBarPalette">TopographyDepth</att>
- Новая фотография: Струнаmissing\_valueи/или \_FillValue Если переменная строки определяетmissing\_valueи/или _FillValue,ERDDAP™Теперь эти значения будут удалены из данных и заменены пустой строкой, так что недостающие значения будут отображаться как пустые строки, как и в других наборах данных.ERDDAP. Спасибо Маргарет О'Брайен, LTER и EML.
- Новая фотография: Поддержка местного времени Переменные временной метки с исходными данными из строк теперь могут указывать часовой пояс через "time\_zone"Атрибут, ведущийERDDAP™Преобразование времени источника локального времени (Некоторые в стандартное время, некоторые в дневное время) вZuluВремя. Список действительных названий часовых поясов, вероятно, идентичен списку в колонке TZ.Этот стол. По умолчанию "Zulu". Общие часовые пояса США: США / Гавайи, США / Аляска, США / Тихий океан, США / Гора, США / Аризона, США / Центральная, США / Восточная. Для переменных временной метки с числовыми исходными данными можно указать "time\_zone«Атрибут, но ценность должна быть»Zulu"или "UTC". Спасибо Маргарет О'Брайен, LTER и EML.
- EDDTableFromAsciiFiles теперь поддерживает файлы, разделенные полуколоном И умнее разобраться с разделителем. Спасибо Маргарет О'Брайен, LTER и EML.
- Новая фотография: Если есть существенная ошибка в загрузке (крупный или несовершеннолетний, например, пропавший без вести или инвалидdatasets.xmlдокумент) ,ERDDAP™Теперь он будет указан в status.html, прямо под «n Datasets Failed To Load» как ERROR: при обработкеdatasets.xmlСм. log.txt для деталей.
- Новая фотография:ERDDAP™Ищите сирот. КогдаERDDAP™делает большую нагрузку Наборы данных, теперь он ищет сиротские наборы данных (наборы данных, которые находятся вERDDAP™но не вdatasets.xml) . Если они найдены, они перечислены в status.html, прямо под «n Datasets Failed To Load» как ERROR: n Orphan Datasets. (наборы данных вERDDAP™но не вdatasets.xml) =... Если вы хотите удалить (разгружать) сирота изERDDAP™Вы должны добавить <Тип набора данных = "anyValidType"datasetID="theDatasetID" active="false" /> тоdatasets.xmlдо тех пор, пока набор данных не будет разгружен во время следующей основной загрузки.
- BUG FIX: Если набор данных имеет числовую переменную метки времени с единицами, отличными от"seconds since 1970-01-01T00:00:00Z"и с тем,<Обновление системы EveryNMillis>, диапазон переменной метки времени был установлен неправильно при обновлении набора данных. Спасибо Джону Керфуту.
- BUG FIX: если<QuickRestart> был верным в setup.xml, и вы запросили данные из EDDTable From... Набор данных, который используется<Обновление EveryNMillis>, первый запрос к набору данных будет неудачным, но последующие запросы будут успешными. Теперь первая просьба не провалится. Спасибо Джону Керфуту.
- BUG FIX: GenerateDatasetsXml.sh и .bat не работали с параметрами >9 в командной строке. Теперь они знают. Спасибо Джону Керфуту.
- BUG FIX: Новый EDDTableFromMultidimNcFiles не всегда удалял пробелы из струн. Теперь так и есть. Особенно это касает ся файлов ARGO. Спасибо Кевину О'Брайену и Роланду Швейцеру.
- BUG FIX: Все возможности удаленного доступаDAPСервисы теперь инициируются более современным кодом. Это исправляет ошибку «закрытое соединение» при доступе к некоторым наборам данных EDDTableFromErddap. Спасибо Кевину О'Брайену.
- BUG FIX: ОбработкаorderBy... () отличающийся () Теперь они вернулись к тому, как они были до недавних изменений: данный запрос может иметь несколькоorderBy... () и/или отдельное () фильтр;ERDDAP™Они будут выполняться в том порядке, в котором они указаны. Спасибо Дэвиду Каруге.
- BUG FIX: Если набор данных EDDTableFromDatabase и запрос имеетИсточник: CanOrderByи/илиИсточник: CanDoD DistinctТогда база данных может (В зависимости от настроек вdatasets.xml) частично или полностью управлять Только первый orderBy.. () отличающийся () . Спасибо Дэвиду Каруге.
- BUG FIX: Недавнее дополнительное процентное кодирование привело к проблемам с некоторыми запросами..ncФайлы CF, например, "HTTP Status 500 - Ошибка запроса: переменная = станция дважды указана в списке переменных результатов". Спасибо Кевину О'Брайену.
- BUG FIX: у EDDTableFromFiles возникли проблемы с перезагрузкой набора данных, когда одна из колонок была настоящей колонкой char. Спасибо Роланду Швейцеру.
- BUG FIX:EDDGridИз NcFiles Неупакованные теперь также конвертируютmissing\_valueи \_FillValue для стандартных значений, так что файлы с различными значениями могут быть агрегированы. Из-за этого изменения, после установки новой версииERDDAP™Пожалуйста, установитетвердый Флагдля каждогоEDDGridИз NcFiles Неупакованные данные в вашемERDDAP.
- EDDTableFromNcCFFiles теперь может обрабатывать файлы с несколькими размерами выборки. Данный набор данных должен использовать только переменные, которые используют одно из измерений выборки. Спасибо Аджай Кришнан.
- Скриншоты из игры For EDDTable From...Files<СортироватьFilesBySourceNames> Теперь позволяет разделять запятую (рекомендованный) или разделённые списки имен переменных источников. В любом случае отдельные переменные имена могут быть окружены двойными цитатами, например, если имя имеет внутреннее пространство.
Версия 1.72
(Выпущено 2016-05-12)
- Новые особенности (для пользователей) : Нет.
- ВещиERDDAP™Администраторы должны знать и делать:
- Новый EDDTable FromMultidimNcFilesEDDTableFromMultidimNcFilesЭто новая альтернатива EDDTableFromNcFiles. Он предназначен для работы с группами файлов с несколькими переменными с общими размерами, например, var1.\[а\]\[b\], var2\[а\], вар3\[b\]СкалярВар. Благодаря проекту Argo, Орели Брайанд и Роланд Швейцер.
- BUG FIX:ERDDAP™ (Классы FileVisitorDNLS и FileVistorSubdir) Теперь следуют символические ссылки на Linux.ERDDAP™.lnk не следует за Windows.
- BUG FIX бага, введенного в 1,70: различные +orderByОни не были допущены вместе по одной просьбе. Теперь они снова. Они не являются взаимоисключающими или избыточными. Спасибо Дэвиду Каруге.
- Изменитьdatasets.xmlЧерный список IP-адресов: IP v4 адреса выглядят какERDDAP™4 периодически разделенные шестизначные числа. Я думаю, что адреса IP v6 выглядят как 8 шестизначных чисел, разделенных толстой кистью. ТакERDDAP™Теперь поддерживает двоеточие в IP-адресах в этом списке и :\* в конце списка, чтобы заблокировать ряд адресов.
- Усовершенствовано:ERDDAP™Использует NetcdfFileWriter для написания.ncФайлы вместо устаревшего NetcdfFileWriteable. Не должно быть заметных изменений в полученных файлах. Это открывает возможность сделать большой.ncФайлы, которые используют.nc3 64-битные расширения. Если вы хотите / нуждаетесь в этом, пожалуйста, отправьте запрос наerd.data at noaa.gov.
- УПРАВЛЕНИЕ: Многие ссылки на удаленные веб-сайты были устаревшими. Теперь они актуальны и используютсяhttps:вместо того, чтобыhttpПо возможности.
- Много мелких изменений.
Версия 1.70
(Выпущено 2016-04-15)
- Новые особенности (для пользователей) : Нет.
- ВещиERDDAP™Администраторы должны знать и делать: Ниже приведено несколько рекомендуемых изменений в документации в файле setup.xml. Пожалуйста, внесите эти изменения сейчас. 30 минут работы в настоящее время могут спасти вас от путаницы в будущем.
- Устранение ошибок: Проблема заключалась в том, что запросы перенаправлялись на пультERDDAPНе удавшийся с недействительным характером|Сообщение об ошибке. Это произошло только с последними версиями Tomcat. Спасибо Расти Холлеману, Конору Делани и Рою Мендельсону.
- Устранение ошибок:ERDDAP™В настоящее время используется обновленная версия netcdf-java (Долгая история) Это включает в себя современную поддержку NcML, которая устраняет проблему с NcML LogicalReduce. В метаданные могут быть внесены небольшие изменения, которыеERDDAP™читать через netcdf-java.nc,.hdf.grib и .bufr файлы. Спасибо Фавио Медрано.
- НовыйEDDTableAggregateRowsпозволяет создавать объединенный набор данных EDDTable из двух или более наборов данных EDDTable, которые имеют одинаковые переменные данных с использованием одних и тех же блоков. Спасибо Кевину О'Брайену.
- Новые возможности для EDDTableFromDatabase (Источник: CanOrderByиИсточник: CanDoD Distinct) Позволь уточнить,ERDDAP™, база данных или и то, и другое обрабатываются отдельно иorderBy (и все варианты) ограничения. Спасибо Дэвиду Каруге.
- Теперь вы можете сделать графики и метаданные частного набора данных доступны ми для общественности с помощью нового.<ГрафыДоступные> Публичные</graphsAccessibleTo> (/docs/server-admin/datasets#graphsaccessibleto) Тэг. Спасибо Эмануэле Ломбарди.
- Если строка перешла в GenerateDatasets Xml или DasDds окружены двойными цитатами. (Как будто это струна JSON.) . Спасибо Джону Керфуту и Мелани Абекассис.
- Генерировать наборы данных Xml теперь поддерживает «по умолчанию», чтобы получить по умолчанию и «ничего», чтобы получить пустую строку (Они работают с цитатами или без них) . Это решает некоторые проблемы, связанные с прохождением пустых строк.
- Теперь в GenerateDatasets Xml для всехEDDGridИз материалов и EDDTable Наборы данных, если образец Имя файла, которое вы указываете, - "" (Пустая струна) , он будет использовать последнее совпадающее имя файла из каталога + regex + recursive=true.
- Обновлено: Код displayInBrowser, который используется для отображения результатов GenerateDatasetsXml и DasDds на компьютерах Linux, устарел и дал странное сообщение о Netscape. Теперь для этого используется современный инструмент Linux: xdg-open. Спасибо Мелани Абекассис.
- TheallDatasetsНабор данных теперь имеет"files"столбец, который указывает базовый URL ссылки /files (Если есть один) для набора данных.
- Повысьте общую безопасность вашегоERDDAP™путем изменения разрешений, связанных с каталогом Tomcat и дирекцией BigParent:
(Приведенные ниже команды предназначены для Linux. Для других ОС внесите аналогичные изменения.)
- Измените «группу» на Tomcat, ваше имя пользователя или название небольшой группы, которая включает в себя Tomcat и всех администраторов Tomcat.ERDDAPНапример, chgrp -R_yourUserName_ apache-tomcat-8.0.23 CHGRP -R_Your Имя пользователя BigParentDirectory_
- Изменяйте разрешения, чтобы Tomcat и группа читали, писали, выполняли привилегии. chmod -R ug+rwx apache-tomcat-8.0.23 chmod -R ug+rwx bigParentDirectory
- Удалите «другие» разрешения пользователя на чтение, запись или выполнение: chmod -R o-rwx apache-tomcat-8.0.23 chmod -R o-rwx bigParentDirectory Это важно, потому что это мешает другим пользователям читать потенциально конфиденциальную информацию.ERDDAP™Настройка файлов, файлов журналов и файлов с информацией о частных наборах данных.
- Была обновлена система аутентификации/логина. Благодаря Томасу Гарднеру, Эмануэле Ломбарди и новому правительству СШАСтандарт HTTPS-Only.
- Опция аутентификации=опенидов была удалена. Он был устаревшим.
- Новый, рекомендуемый,Аутентификация: Googleопция использует Google Sign-In (По материалам OAuth 2.0) Позволить любому человеку с учетной записью электронной почты Google (включая Google управляет аккаунтами@noaa.gov) чтобы войти.
- Новый,Аутентификация = электронная почтаЭто резервная копия для аутентификации = Google. Это позволяет пользователям с<Пользователь> Tag indatasets.xmlвойти в систему, отправив им электронное письмо со специальной ссылкой.
- В setup.xml, пожалуйста, измените описание<Аутентификация - быть
<!-- If you want to restrict access to some datasets,
you need to specify the method used for logging on (authentication).
See the info at
https://erddap.github.io/setup.html#security
Currently, the options are: "" (logins not supported, the default),
"custom", "email", and "google" (recommended).
\\[No longer supported: "basic", "openid"\\]
-->
- В setup.xml, пожалуйста, добавьте это ниже<аутентификация тег
<!-- If authentication=google, you must supply your Google Client ID.
See
https://developers.google.com/identity/sign-in/web/devconsole-project
When setting this up, for Authorized JavaScript origins,
for testing on your computer, use the domain "localhost"
(e.g., origin=https://localhost:8443),
not "127.0.0.1" (because Google Sign-In doesn't work with anything
at that domain).
This will be a string of about 75 characters, probably starting with
several digits and ending with .apps.googleusercontent.com .
-->
<googleClientID></googleClientID>
- Пользователи, которые не вошли в систему, могут использоватьhttpилиhttpsURL (если вы установили)<baseHttpsUrl> в setup.xml. Благодаря новому правительству СШАСтандарт HTTPS-Only.
- Теперь вы можете побудить всех пользователей использоватьhttps (неhttp) устанавливать<BaseUrl — бытьhttpsURL. Заставить пользователей использовать толькоhttpsВы также должны внести изменения в настройки Apache / Tomcat, чтобы заблокировать не-httpsдоступ. Благодаря новому правительству СШАСтандарт HTTPS-Only.
В setup.xml, пожалуйста, измените описание<BaseUrl - быть
<!-- baseUrl is the start of the public URL, to which "/erddap"
is appended. For example:
For running/testing on your personal computer:
<baseUrl>http://localhost:8080</baseUrl>
(127.0.0.1 doesn't work with authentication=google).
If you want to encourage all users to use https (not http),
make the baseUrl the same as the baseHttpsUrl (see below).
For ERD releases, we used to use
<baseUrl>http://coastwatch.pfeg.noaa.gov</baseUrl>
For ERD releases, we now use
<baseUrl>https://coastwatch.pfeg.noaa.gov</baseUrl>
-->
- Варианты<Пароль Кодирование изменился. В setup.xml, пожалуйста, измените описание<Пароль Кодирование> Быть
<!-- For "custom" authentication, this specifies how you have
stored passwords in the roles tags in datasets.xml.
If you aren't storing any passwords, this is irrelevant.
The options (in order of increasing security) are:
"MD5", "UEPMD5" (MD5(UserName:ERDDAP:Password)),
"SHA256", "UEPSHA256" (SHA256(UserName:ERDDAP:Password),
the default).
You should only use "MD5" or "SHA256" if you need to match
values stored that way in an external password database.
See the info at
https://erddap.github.io/setup.html#security
-->
- В setup.xml, пожалуйста, измените описание<baseHttpsUrl > быть
<!-- This is a variant of <baseUrl> which is used when
authentication is active and the user is logged in.
In general, you take the <baseUrl>, change "http" to "https",
and change/add ":8443". This must begin with "https://".
If you make a proxy so that ":8443" isn't needed,
then don't use ":8443" here.
This is relevant even if <authentication> is "".
See the instructions at
https://erddap.github.io/setup.html#security
For example:
For running/testing on your personal computer:
<baseHttpsUrl>https://localhost:8443</baseHttpsUrl>
For releases at ERD, we use:
<baseHttpsUrl>https://coastwatch.pfeg.noaa.gov</baseHttpsUrl>
If you want to encourage all users to use https (not http),
make the baseUrl (see above) the same as the baseHttpsUrl.
-->
- Теперь, если listPrivateDatasets=true в setup.xml, будет показано еще меньше информации о наборах данных, к которым у пользователя нет доступа.
- Особенно если вы изначально настраиваетеERDDAPТеперь вы можете сказатьERDDAP™не пытаться подписаться на удаленныйERDDAP™наборы данных. Спасибо Филиппу Роше Фрейре. В настройках.xml прямо перед<fontFamily>, пожалуйста, добавьте
<!-- Normally, if you have a EDDGridFromErddap or EDDTableFromErddap
dataset in your datasets.xml, it will try to subscribe to the remote
ERDDAP™ dataset so that the local dataset is kept perfectly up-to-date.
If this ERDDAP™ is not publicly accessible (http://localhost), or its
IP address will change soon, or you have some other reason,
you can tell this ERDDAP™ to not try to subscribe to the remote
ERDDAP™ datasets by setting this to false. (default=true)
This is the overall setting for this ERDDAP. It can be overridden by
the same tag (with a different value) in the datasets.xml chunk for
a given EDD...FromErddap dataset.
For each fromErddap dataset that doesn't subscribe to the remote
ERDDAP™ dataset, you should set <reloadEveryNMinutes> to a smaller
number so that the local dataset stays reasonably up-to-date. -->
<subscribeToRemoteErddapDataset>true</subscribeToRemoteErddapDataset>
- В setup.xml, в инструкциях выше<emailFromAddress>, пожалуйста, вставьте: Если возможно, настройте это для использования безопасного соединения. (SSL / TLS) на сервер электронной почты. Если ваша настройка не использует безопасное соединение с сервером электронной почты, пожалуйста, внесите изменения, чтобы сделать это.
- В твоейdatasets.xmlПожалуйста, добавьте эту строку в описание<ПодпискаEmailBlacklist> в вашемdatasets.xml: Вы можете использовать имя "\"внести в черный список целый домен, например,\@example.com.
- С момента изменения системы регистрации в v1.66 файл журнала никогда не обновляется. Всегда есть сообщения или части сообщений, ожидающие записи в файл журнала. Теперь вы можете сделать его современным (На мгновение) Посмотреть свойERDDAPСтатус страницы в http://your.domain.org/erddap/status.html .
- HashDigest ...
- Небольшое изменение (Обсуждение String2.canonical) Это должно помочь быстро двигаться, когдаERDDAP™Он очень занят и лучше справляется с большим количеством наборов данных.
- сильно Рекомендуем: прекратить использование<ПреобразоватьToPublic SourceUrl вdatasets.xmlПреобразование IP-адреса в набор данных<sourceUrl> (например, http://192.168.#.#/ ) в доменное имя (например,http:my.domain.org/) . С этого момента новые подписки на http://localhost , http://127.0.0.1 и http://192.168.#.# URL-адреса не допускаются по соображениям безопасности. Пожалуйста, всегда используйте доменное имя в<sourceUrlтег (При необходимости из-за проблем с DNS) Вы можете использовать/etc/hosts table на вашем серверерешить проблему путем преобразования локальных доменных имен в IP-номера без использования DNS-сервера. Вы можете проверить, правильно ли выбрано данное доменное имя, используя ping_some.domain.name_
- В generateDatasets.xml для удаленных наборов данных (Например, с сервера THREDDS) автоматически сгенерированныйdatasetIDs неизменны для большинства доменов. Для нескольких доменов первая часть (Т.е. имя) автоматически сгенерированныйdatasetIDБудет немного по-другому. Примечательно, что имена, которые имели одну часть, теперь чаще имеют две части. Например, наборы данных из http://oos.soest.hawaii.edu Ранее приводил кdatasetIDЭто началось с Гавайев, но теперьdatasetIDВсе начинается с hawaii_soest_. Если это вызывает проблемы для вас, пожалуйста, напишите мне. Там может быть обходной путь.
- Водитель Cassandra был обновлен до cassandra-driver-core-3.0.0.jar и, таким образом, для Cassandra v3. EDDTable FromCassandra не использует никаких новых функций в Cassandra. v3. Индексы в Кассандре теперь могут быть более сложными, но...ERDDAP™По-прежнему используется модель индекса Cassandra v2, которая предполагает, что индексируемый столбец может быть напрямую запрошен.'='ограничения. Генерировать наборы данных Xml для EDDTableFromCassandra больше не обнаруживает столбцы с индексами; если индекс прост, нужно указать его вdatasets.xmlОт руки. Если вам нужна поддержка более сложных индексов или других новых функций, пожалуйста, напишите намerd.data at noaa.gov. !!! Если вы все еще используете Cassandra 2.x, пожалуйста, продолжайте использоватьERDDAP™v1.68 до перехода на Cassandra 3.x.
- Jars and the Classpath — Почти все файлы .jar были обновлены до последних версий.
- slf4j.jar добавляли в /lib и класспат.
- Жидкость. банку и цик. банку удаляли из /lib и сокурсника.
- Если вы получаете сообщения об ошибках о классах, не найденных при компиляции или запускеERDDAP™или один из его инструментов, сравните классопат вашей командной строки сERDDAP?текущий классопатЧтобы выяснить, какие .jars отсутствуют в вашем классе.
Версия 1.68
(Выпущено 2016-02-08)
- Новые особенности (для пользователей) : Нет.
- ВещиERDDAP™Администраторы должны знать и делать:
- EDDGridАгрегация файлов через имена файлов или глобальные метаданные- Все вариацииEDDGridТеперь FromFiles может объединять группу файлов, добавляя новое левое измерение, обычно время, на основе значения, полученного из каждого имени файла или из значения глобального атрибута, который находится в каждом файле.
- УПРАВЛЕНИЕ: Ранее мы предположили, что вы можете создатьEDDGridНабор данных FromErddap в вашемdatasets.xmlкоторый ссылался и резервировал jplMURSSНабор данных в нашемERDDAP. Поскольку теперь существует более новая версия этого набора данных, этот набор данных теперь обесценен. Если у вас есть этот набор данныхERDDAP™Пожалуйста, добавьте этот новый набор данных
<dataset type="EDDGridFromErddap" datasetID="jplMURSST41" active="true">
<!-- Multi-scale Ultra-high Resolution (MUR) SST analysis fv04.1, Global, 0.011 Degree, Daily -->
<sourceUrl>https://coastwatch.pfeg.noaa.gov/erddap/griddap/jplMURSST41</sourceUrl>
</dataset>
Если вы хотите удалить старый jplMURSST набор данных из вашегоERDDAP™ (Это твой выбор.) Измените свою активную настройку с «истинной» на «ложную».
- Устранение ошибок: Пожалуйста, проверьте большую папку, которую вы указали в setup.xml. Если бы ты не нанес удар в конце<BigParentDirectory — имяERDDAP™Создайте несколько каталогов, добавив слова непосредственно к названию, которое вы указали, вместо создания подкаталогов. Начиная с версии 1.68,ERDDAP™Добавляет слэш в конец имени каталога, если вы не указали его. Так что если вы ранее не указали слэш в конце, то при установкеERDDAP™v1.68 Вы должны переместить и переименовать эти каталоги после Вы отключили старыйERDDAP™и перед Вы запускаете новыйERDDAP. Например, если вы ошибочно указали BigParentDirectory как /home/erddapBPD (без слежки) иERDDAP™Он ошибочно создал такие каталоги, как Home/erddapBPDcache /home/erddapBPDcopy /home/erddapBPDdataset Home/erddapBPDflag /home/erddapBPDlogs /home/erddapBPDlucene и файл с именем /home/erddapBPDsubscriptionsV1.txt, Затем вам нужно переехать и переименовать их в /home/erddapBPD/cache /home/erddapBPD/copy /home/erddapBPD/dataset /home/erddapBPD/flag /home/erddapBPD/logs /home/erddapBPD/lucene и /home/erddapBPD/subscriptionsV1.txt
- Устранение ошибок: Там были жуки.EDDGridLonPM180 вERDDAP™v1.66, которое произошло, когда набор данных о ребенкеEDDGridИз Эрддапа.
- Устранение ошибок: Там был баг.EDDGridИз материалов и EDDTable Из материалов вERDDAP™v1.66, что является причиной<Обновить EveryNMillis>, чтобы проигнорировать первый раз, когда набор данных был загружен после перезагрузки.
- Bug fix/Новая функция: Если данные ребенка находятся внутриEDDGridСовокупность существующих измерений,EDDGridКопи,EDDGridИздательство,EDDGridLonPM180,EDDGridSideBySide, EDDTableCopy или EDDTableFromEDDGridЭто набор данных ... FromErddap, который родительский набор данных теперь подписывается на базовый набор данных.ERDDAP™набор данных. Если основнойERDDAP™Набор данных находится в том жеERDDAP™Подписка и ее проверка осуществляются напрямую; вы не получите электронное письмо с просьбой подтвердить подписку. В противном случае, если система подписки для васERDDAP™Выключен, установлен<перезагрузить EveryNMinutes> настройку для родительского набора данных на небольшое число (60?) Чтобы она оставалась актуальной.
- Bug fix/Новая функция: Если данные ребенка находятся внутриEDDGridСовокупность существующих измерений,EDDGridКопи,EDDGridИздательство,EDDGridLonPM180,EDDGridSideBySide, EDDTableCopy или EDDTableFromEDDGridАктивный = «ложный», этот набор данных о детях теперь пропущен.
Версия 1.66
(выпущенный 2016-01-19)
-
Новые особенности (для пользователей) :
-
Графики (Не карты) Теперь они могут иметь нисходящие значения на осях. Чтобы получить это при использовании веб-страницы Make A Graph, измените новую ось Y: настройку восходящего движения (по умолчанию) Чтобы спуститься. Или, в URL-адресе, который запрашивает график, используйте новый дополнительный 3rd'|параметр для&x Диапазон и/или &. переключатели yRangeкоторый не может быть ничем (по умолчанию) , истинно или t, чтобы получить восходящие значения, или использовать ложные или f, чтобы получить нисходящие значения. Истинный|Ложные значения нечувствительны. Спасибо Крису Фуллилову, Джону Керфуту, Люку Кэмпбеллу и Каре Уилсон.
-
Пользователи теперь могут указать цвет фона для графов, добавив a &.bgColor=0x_ AARRGGBB_ переключается на URL, который запрашивает граф. См. .bgColor в разделе Графические командысеткаиtabledapДокументация. Спасибо Джону Керфуту и Люку Кэмпбеллу.
-
Для табличных наборов данных ограничения теперь могут относиться к мину. (someVariableName) или макс (someVariableName) . Видишь?мин. () и макс () . Спасибо Джону Керфуту.
-
Для табличных наборов данных временные ограничения, которые используюттеперьТеперь можно указать временные единицы миллисекунд или миллисекунд.
-
Запрос на изображение табличного набора данных теперь делает карту (Не граф) если переменные x и y похожи на долготу и на широту (совместимые единицы) . Спасибо Ричу Сигнеллу.
-
Устранение ошибок: метки и клещи оси времени иногда имели странные неровности при одновременном запросе нескольких графиков (Например, на веб-странице) . Проблема заключалась в ошибке в графической библиотеке SGT, котораяERDDAP™использование (Одна переменная была «статической», чего не должно было быть.) . Спасибо Брэдфорду Батману.
-
ВещиERDDAP™Администраторы должны знать и делать:
-
Это риск для безопасности, чтобы поместить пароль электронной почты в простой текстовый файл, такой как setup.xml. Чтобы решить эту проблему, мы настоятельно рекомендуем вам:
- Создайте учетную запись электронной почты только дляERDDAPs use, например, erddap@yourInstitution.org. Это имеет и другие преимущества, в частности, более одного.ERDDAP™Затем администратору может быть предоставлен доступ к этой учетной записи электронной почты.
- Сделать разрешения setup.xml файл rw (Читать + писать) Для пользователя, который запустит Tomcat иERDDAP™ (User=tomcat?) И никаких разрешений (Не читать и не писать) для группы и других пользователей. Спасибо Филиппу Роше Фрейре.
-
НовыйАрхив данныхИнструмент упрощает создание.tar.gzархив с подмножеством набора данных в формате, который подходит для архивирования (В частности, вNOAANCEI) . Это должно быть полезно для многихERDDAP™администраторы во многих ситуациях, но особенно для групп внутриNOAA.
-
Новый тип набора данныхEDDGridИз NcFilesUnpackedявляется вариантомEDDGridИз NcFiles. Разница заключается в том, что этот класс распаковывает каждый файл данных до того, как они будут удалены.EDDGridИз материалов просматриваются файлы:
- Он распаковывает упакованные переменные, которые используютscale\_factorи/илиadd\_offset.
- Он продвигает целочисленные переменные, которые имеют \_Unsigned=true атрибуты к большему целочисленному типу данных, так что значения появляются как неподписанные значения. Например, \_Unsigned=true byte (8 бит) Переменная становится подписанной короткой (16 бит) переменная.
- Преобразует \_FillValue иmissing\_valueЦенности, чтобы быть NaN (или MAX\_VALUE для целых типов данных) .
Большим преимуществом этого класса является то, что он обеспечивает способ борьбы с различными ценностями.scale\_factor,add\_offset\_FillValue, илиmissing\_valueВ разных файлах в коллекции. В противном случае вам придется использовать такой инструмент, какNcMLилиNCOмодифицировать каждый файл, чтобы устранить различия, чтобы файлы могли обрабатыватьсяEDDGridИз NcFiles. Чтобы этот класс работал должным образом, файлы должны соответствовать стандартам CF для соответствующих атрибутов. Спасибо Филиппу Маковски.
- Новый тип набора данныхEDDGridLonPM180позволяет изменять наборы данных, которые имеют значения долготы более 180 (Например, диапазон от 0 до 360) в наборы данных со значениями долготы в диапазоне от -180 до 180 (Долгота плюс или минус 180, отсюда и название) . Большим преимуществом предложения наборов данных со значениями долготы в диапазоне от -180 до 180 является то, чтоOGCуслуги (например,WMS) Требуются значения долготы в этом диапазоне. Спасибо Линн Таблевски, Фабьену Гичарду, Филиппу Маковски и Мартину Спелю. 2016-01-26 Обновление: Eeek! Это ошибка, которая возникает, когда набор данных ребенка являетсяEDDGridFromErddap, который ссылается на набор данных в том жеERDDAP. Этот баг фиксируется вERDDAP™v1.68.
- вГенерировать наборы данныхXmlновый тип специального набора данных,EDDGridLonPM180FromErddapCatalog позволяет создаватьdatasets.xmlдляEDDGridНаборы данных LonPM180EDDGridнаборы данных в одномERDDAPкоторые имеют значения долготы более 180.
- Для всехEDDGridнаборы данных, вdatasets.xmlТеперь вы можете использовать опциональный [править]<доступный ВиаWMS>Правда|ложный</Доступный ВиаWMS> (/docs/server-admin/datasets#доступные) (Дефолт = правда) . Если это ложное, то оно должно быть ложным.WMSСервис для этого набора данных. Если это правда, набор данных все еще может быть недоступен черезWMSпо другим причинам (Например, без лат или лон осей) . Это особенно полезно для наборов данных, которые существуют сами по себе и обернутыEDDGridLonPM180, так что доступна только версия LonPM180WMS.
- В setup.xml можно указать другой цвет по умолчанию для фона графов. Цвет определяется как 8-значное шестнадцатеричное значение в виде 0x_AARRGGBB_, где AA, RR, GG и BB являются непрозрачными, красными, зелеными и синими компонентами, соответственно, указанными как 2-значные шестнадцатеричные числа. Обратите внимание, что холст всегда непрозрачный белый, поэтому (полупроводник -) Прозрачный фоновый цвет графа сливается с белым холстом. По умолчанию светло-голубой:
<graphBackgroundColor>0xffccccff</graphBackgroundColor>
Спасибо Джону Керфуту и Люку Кэмпбеллу.
- В setup.xml теперь можно указать максимальный размерфайл (когда он переименовывается в лог. Txt. предыдущий и новый бревно. txt создается) В MegaBytes. Разрешенный минимум составляет 1. Максимально допустимый – 2000. По умолчанию 20 (МБ) . Например:
<logMaxSizeMB>20</logMaxSizeMB>
- вdatasets.xml[<fgdcFile> (/docs/server-admin/datasets#fgdcfile) или<Изо19115Файл> (/docs/server-admin/datasets#iso19115file) Теперь это может быть локальный файл. (как раньше) или URL (который будет скачиваться, чтобы была локальная копия) . ЕслиERDDAP™Невозможно загрузить файл, загрузка набора данных будет продолжаться, но набор данных не будет иметь файл fgdc или iso19115.
- EDDGridИз материалов и EDDTable Наборы данных FromFiles теперь могут выполнять быстрый запуск (Система, котораяERDDAP™пытается использовать, когда наборы данных впервые загружаютсяERDDAP™возобновляется) . Это ускоряет перезапускERDDAP. 2016-01-26 Обновление: Eeek! У этого есть ошибка, которая вызывает<Обновите EveryNMillis>, чтобы проигнорировать первый раз, когда набор данных загружается после перезагрузки. Этот баг фиксируется вERDDAP™v1.68.
- Общее улучшение системы быстрого запуска позволяетERDDAP™загружать наборы данных быстрее, когдаERDDAP™Перезапущен.
- ВсеEDDGridИз материалов и EDDTable Подклассы материалов теперь принимают новый<pathRegex> тег, обычно указанный ниже<рекурсивный. Если рекурсивный является «истинным», только полные подкаталогические пути, которые соответствуют пути. (Дефолт =.) будут приняты. Аналогично, a<sourceUrls> Tag in aEDDGridAggregateExistingDimension теперь может включать атрибут PathRegex (Дефолт =.) .
- По умолчанию для<PartialRequestMaxBytes> в setup.xml теперь 490000000 (~490 Мб) . Это позволяет избежать некоторых проблем, связанных с получением данных с серверов данных THREDDS. Спасибо Лесли Торн.
- Небольшое изменение системы регистрации должно позволитьERDDAP™Быть более отзывчивым, когда он очень, очень занят. Информация теперь записывается в файл журнала на дисководе в довольно больших кусках. Преимущество в том, что это очень эффективно -ERDDAP™Никогда не будет блокировать ожидание и нформации, которая будет записана в файл журнала. Недостатком является то, что журнал почти всегда заканчивается частичным сообщением, которое не будет завершено, пока не будет написан следующий фрагмент.
- Обсуждение Inotify and the [<Обновление EveryNMillis (/docs/server-admin/datasets#updateeverynmillis) система дляEDDGridИз материалов и EDDTable Наборы данных FromFiles: Больше нет необходимости указывать большое количество fs.inotify.max\_user\_watches или fs.inotify.max\_user\_instances. Есть баг вJavaЭто вызывает некоторые частиJavaСистема inotify/WatchDirectory не будет собирать мусор, когда они будут завершены; в конечном итоге количество часов или экземпляров зомби-инотификации превысит максимальное указанное количество.ERDDAP™Теперь работает вокруг этогоJavaЖук. Кроме того, количество потоков inotify указано на странице status.html, поэтому вы можете следить за его использованием. Как правило, существует 1 инотифицирующая нить наEDDGridИз материалов и EDDTable Из набора данных.
- Устранение ошибок: во многих местах вместо того, чтобы исправить ошибку, была создана новая ошибка, которая включала только короткую версию исходного сообщения об ошибке и без следа стека. Теперь, когда генерируется новая ошибка, она должным образом включает в себя все исходное исключение, например, бросать новое исключение. («Новое сообщение», e) ; Спасибо Сьюзан Перкинс.
- Устранение ошибок: до недавнего времени (v1.64?) Если а.../datasetIDURL был запрошен,ERDDAP™Добавить .html в URL. В v1.64 это не удалось. (Неправильно отформатированный URL-адрес был сгенерирован, а затем вышел из строя.) . Теперь это снова работает. Спасибо Крису Фуллилову.
Версия 1.64
(Выпущено 2015-08-19)