ERDDAP™變更
ERDDAP™是個很好的例子使用者產品創意常常來自於消費者 (ERDDAP™使用者) 不只是制片人 (ERDDAP™發展者) . 這些年來,大部分新點子ERDDAP™來自使用者。 這些使用者的偉大想法被稱為下方。 謝謝你! 請繼續說這些好建議!
以下是與每項變更相關的變更ERDDAP™釋放
2.26版本
(2025-03-31年)
- 所有人:
- 我們的檔案網站大部份更新: https://erddap.github.io/
除了更新的外貌外, 還有更好的導航、搜尋、翻譯,
-
新特性和變更 (使用者) :
-
订阅和RSS更新應更可靠地發生於從檔案變更時常更新的數據集 。
-
事情ERDDAP™管理者需要知道和做:
-
預設釋放需要/ 支援Java第21版 重回本版Java17個相容的二進制
-
自訂 UI 中顯示的數據集資訊的新功能 。 我們期望這對加入數據集引文等項目尤其有用。 更多細節你可以讀到新文件. 感謝阿尤什·辛格的貢獻!
-
附加的普羅米修斯度量衡 最大的是http_ request_duration_seconds 包括按 request_type 、 "dataset_id"、 "dataset_type"、 "file_type"、 "lang_code"、 "status_code" 细分的應答時間 此機型可讀格式可以更好地收集公制以了解使用者如何使用伺服器 。
-
產生 ISO19115 XML 檔案的新方式 。 它使用Apache SIS, 是此版本中的新選項 。 請啟用並發送回復 。
<useSisISO19115>true</useSisISO19115>
-
使用者介面將建立單位連結, 每個網址的字段如infoUrl和摘要。
-
订 阅和RSS更新應更可靠地發生於從檔案變更時常更新的數據集 。 如果這會引起問題, 請用 GitHub 聯絡, 並在您的設定中加入以下旗號, 以關閉功能 。 未推荐
<updateSubsRssOnFileChanges>false</updateSubsRssOnFileChanges>
- 子集變數將不再被自動產生 。 如果你靠的就是行為 (偏好的解决办法) 添加subsetVariables到您的數據集定義datasets.xml,或將下面的旗子加入您的設定. xml 。 如果你覺得有必要打開這個 請聯繫GitHub 這樣我們就能更好地支持你的使用案例 未推荐
<includeNcCFSubsetVariables>true</includeNcCFSubsetVariables>
- 伺服器將重新定向文件要求 (已移動的文件) 到新文件网站。 如果您需要的話, 您可以在設定. xml 中禁用此標籤 : 未推荐
<redirectDocumentationToGitHubIo>false</redirectDocumentationToGitHubIo>
-
一些小變更與錯誤修正 。
-
為ERDDAP™發展者 :
-
更多代碼質素的改善和死亡代碼清理 。 包括微小的优化、更妥善地處理殘缺的資源, (像矢量) .
-
大型重製到 EDStatic 以拔出大部分的配置、訊息和公制碼 。 更好的封裝和處理目錄路徑 (最後兩份還有更多事要做)
-
在建立官方支持的Docker影像方面, 有很多進展。 計劃是完成並釋放ERDDAP™2.26 已公布。
2.25版本
(2024-10-31年)
- 新特性和變更 (使用者) :
- EDD Table FromFiles 現在只支援衍生的輸出 (全局、 jexl 文稿或變數) .
- 事情ERDDAP™管理者需要知道和做:
- 2.25版本要求Java21或更新。 這是 LTS 版本, 已使用一年多 。
- 共享監視服務現在是預設的 。 如果您需要關閉, 請聯繫 Chris 。 在Noaa.gov的John讓我知道, <使用shared watch Service > false( 共享監控服務)</ 使用共享監視服務> 到您的設定. xml 。
- 其ERDDAP™伺服器將從伺服器啟動開始 。 這意味著數據集將立即開始加載, 而不是等待到要求被提出 。
- 移除 MVRows 在 EDDTable FromultidimNcFiles 中的參數將有效果 。 假設它會大大加速一些查詢, 但這可能不適合所有的數據集 。 更多信息,请参阅參數描述.
- 數據集 (NcFiles 和 EDD 表格EDDGrid來自 Nc 檔案) 使用 Zarr 檔案已支援 。 它們必須包括「 zarr 」 。 看數據集文件中的 zarr secion更多細節
- 新的數據集類型, EDD Table FromParquetFiles 已支援 。 看數據集中從Parquet Files 分離的 EDD表更多細節
- 普羅米修斯度量衡目前可使用/erddap/度量衡。
- 已有新的 XML 解析器執行 。 此新解析器允許使用 X Include 。datasets.xml. 多虧了阿尤什·辛格的特徵
- 新增參數於datasets.xml控制不同寻常的活動電子郵件。 非常動性 faultPercent 預設為 25% 的舊值 。 多虧了阿尤什·辛格的特徵
- 在 setup.xml 中新增參數, 在狀態. html 頁面上顯示數據集加載錯誤 。 它預設為真, 禁用狀態頁面上的數據集錯誤, 設定為錯誤的 LoadErrorsOnStatusPage :<顯示 LOADErrors 在狀態Page > false<顯示 LOAD Errors 狀態頁面 >
- 一些小變更與錯誤修正 。
- 為ERDDAP™發展者 :
- 分離到單位與集成 (慢) 測試 也有更多測試被啟動,
- prone 錯誤 (有些支票仍然關閉) 和Spot Bugs整合到馬文.
- 完整碼基底格式化以符合 Google 樣式指南 。
2.24版本
(2024-06-07年)
- 新特性和變更 (使用者) :
- 新增音效數據集的調色板 EK80 。 多虧了羅布·塞馬克
- 解決 EDDTable Aggregate Rows 的問題, 多虧了馬爾科·阿爾瓦的修复和蟲子報告
- 事情ERDDAP™管理者需要知道和做:
- 安全改變: Google 認證可能需要修改您的 CSP 。
具体地說,你可能需要加上 https://accounts.google.com/gsi/style 到 stlye-src 和 https://accounts.google.com/gsi/ 要連接- src。 您現在可以用到的文稿弧 https://accounts.google.com/gsi/client.
欲了解更多信息,您可前往谷歌頁面關於 CSP 配置 。
- 新增共享監視服務 。 這是監視目錄更新的新選項 。 每個檔案系統有一條線, 而不是每套資料有一條線 。 這很可能會大大減少用于監視變更的線程數 。 這意味著所有的數據集都會一起更新 而不是每個數據集都有自己的更新頻率 這很可能意味著大部分數據集的更新更频繁 。
要開啟此新增<使用共享監視服務> true</ 使用共享監視服務> 到您的設定. xml 。
請試試看 向Chris回報你的工作原理 在諾亞戈夫的約翰
- 修正日志中的 var 名稱 。 多虧了阿尤什·辛格
- 一些小變更與錯誤修正 。
- 改进ERDDAP™發展者 :
- 使用 Docker 支援本地發展 。 多謝馬特·霍普森和羅杰
- 支持使用Jetty及改善文件的本地發展。 感謝米卡·溫格倫
- 變更測試以减少跨平台的問題 。 謝謝你 肖恩·圣薩瓦奇
2.23版本
(2023-02-27年)
表示在轉變至繼任者克里斯·約翰時, 所有密碼變更都由奇斯·約翰完成 除非另有說明
- 新特性和變更 (使用者) :
- (無)
- 事情ERDDAP™管理者需要知道和做:
- 安全改變: Google認證目前由新的Google身份服務圖書館完成, Google支持舊的"Google Sign In"系統將停用 2023-03-31. 所以,如果你用 Google 認證ERDDAP™安裝, 您必須更新到ERDDAP™v2.23+在那之前。 (鮑勃很遺憾 是鮑勃的錯)
- NCCSV現在是v1.2。 變更是檔案現在是 UTF-8 編碼的檔案 (他們是ASCII) 所以現在可以包含任何Unicode字元, 而不用編碼為\u_hhh_, 雖然這仍然是允許的 。 在寫入 NCCSV 檔案時,ERDDAP™現在寫 v1.2 文件 。 ERDDAP™仍然會讀取符合 v1.0 和 v1.1 规格的 NCCSV 檔案 。 多虧了Pauline-Chauvet、n-a-t-e和thogar-computer的建議, 多虧了鮑勃·西蒙斯的代碼變更
- NEW: 狀態. html 網頁現在有一條線接近頂端, 表示目前載入的數據集載入量與相關的數據, 或是沒有載入數據集, 沒有。 這對我們很有幫助ERDDAP™管理員試圖找出為什麼載入 數據集要花那麼久 另外, nGridDatasets、 nTableDatasets 和 nTotalDatasets 下方數目是即時的 (以前,他們是 最後一個主要載荷的末端 數據集) . 這是給羅伊·門德爾索恩的 多虧了鮑勃·西蒙斯的代碼變更
- 改进:生成達塔斯 Xml 變更為 CF-1.10 。 (是CF-1.6) 在"公约"的屬性中。 多虧了鮑勃·西蒙斯的代碼變更
- 一些小變更與錯誤修正 。
2.22版本
(2022-12-08年)
表示在轉變至繼任者時,
- 新特性和變更 (使用者) :
- (無)
- 事情ERDDAP™管理者需要知道和做:
- 無所事事
- 安全BUGFX: Cross Site 文稿相關的錯誤 。 多虧了NOAA安全掃瞄以捕捉到它。 這表明NOAA安全局正积极和例行地尋找安全缺陷ERDDAP.
- 保安: 使用過的數據庫ERDDAP™同往常一樣, 這次包括更新 PostgreSQL 驅動程式 (它有安全漏洞) 至42.5.1。
- 改进: 更小的變更ERDDAP內存管理系統應能減少因缺乏內存而失敗的機會。
- 一些小變更與錯誤修正 。
2.21版本
(2022-10-09年)
- 新特性和變更 (使用者) :
- (無)
- 事情ERDDAP™管理者需要知道和做:
- 做:Java17,你不該在JAVA OPTS中使用\-d64 在setenv.bat或setenv.sh. 所以,如果它在那里,請移除它。 我想64比特模式已經選擇了 當你下載64比特版本的時候Java. 多虧了山姆·伍德曼
- Bug FIX: UG: 有時, 新的電子郵件系統試圖太常登入, 現在,電子郵件系統避免了這和關聯的問題。
2.20版本
(2022-09-30年)
- 不要用v2.20. 它有缺陷。 但管理者在升級到 v2. 21+ 時, 仍需要做以下列出的 DO 項目 。
- 新特性和變更 (使用者) :
- (無)
- 事情ERDDAP™管理者需要知道和做:
- 我們重新啟動了舊的記憶管理系统 (數學 2. 確保記憶) 并修改了新的內存管理系统 (EDStatic. sed 此要求) 以更好的工作。 看內存狀態詳情
- 變更: 預設值<ipAddressMax 要求 > indatasets.xml由7增加到15。 顯然有些合法WMS客戶端可以產生7個以上的同步要求 。
版本2.19
(2022-09-01年)
- 不要用v2.19. 它有缺陷。 但管理員在升級到 v2. 20+ 時, 仍需要做以下列出的 DO 項目 。
- 新特性和變更 (使用者) :
- 有新的伺服器端功能,orderBy降級,它像orderBy但按降序排序 多虧了亞當·萊德比特
- 改善:現在,圖 (但不是地圖) 以填充畫布上的空間, 您可以新增和操控 &. size_%width_ , 以取得高大的圖、 平方圖或寬的圖片 。|高度(_H) (其中寬度和高度指定畫布的大小,以像素為單位) 在要求的網址上。 (在 .graph 網頁上不是此選項 。 您必須手動加入網址 。) 如果您不指定 &. 大小參數, 要求 . smallPng, . png, . groupPng, . smallPdf, pdf, 和. 多虧了鮑勃·弗萊明
- 事情ERDDAP™管理者需要知道和做:
- 做:ERDDAP™現在需要Java17和相關的Tomcat 10. 你必須遵循ERDDAP™安裝指令 (或等效的,例如,多克) 要安裝Java17和Tomcat 10 复制你的\[湯姆卡\]/ 內容目錄, 從您的Tomcat 8 安裝到新的\[湯姆卡\]目錄。 你不需要做其他的改變ERDDAP此變更的安裝 。 也就是說ERDDAP™像以前一樣工作
不要忘了做ERDDAP- 在提升Tomcat時對Tomcat的伺服器. xml 和上下文. xml 的相關變更 。 看ERDDAP是Tomcat 安裝指令.
我的印象Java17是它更喜歡更多的處理力和記憶體 長期的,更大的應用程式如ERDDAP™,所以工作速度稍慢于Java8台低功率電腦 (例如,2个核心和最小RAM) 工作速度稍快于Java8台功率更高的電腦 (例如,4+ 核和充裕的RAM) . 所以,如果你看到糟糕的性能,就使用 Linux 的程式上以檢查資源用量并考虑提供ERDDAP™更多資源, 記憶很便宜! 大多數手機的處理器和內存都比你們中有些人運行的伺服器多ERDDAP! 多虧了艾琳·特恩布爾
- 做:如果使用ERDDAP™為了卡珊德拉 你需要繼續使用Java你用它來運行卡珊德拉號 切換到Java17 用于執行Tomcat+ERDDAP.
- 推荐: 如果您的伺服器的 CPU 有 4+ 核心和 8+ GB 的 RAM, 請考慮改變為您的設定值datasets.xml文件 :
<nGridThreads>3</nGridThreads>
<nTableThreads>3</nTableThreads>
如果您的伺服器有更少的資源, 請用" 1" 表示其中兩個設定值 。 nThreads 系統EDDGrid從檔案與 EDD 表格 Files 已大为改善 。 這些變化使 速度大增 (例如, nThreads 設定到 2 或更多時的 2X 速度) 最具挑戰性的要求 (當需要處理大量檔案以收集結果時) . 克里斯·約翰的一些相關變化 也將導致全程普遍加速ERDDAP. 這些變更的代碼是由克里斯·約翰提供的. 謝謝你 克里斯!
- 警告: 連字符datasetID's 已贬值, 不再支持 (雖然技術上仍然允許) . 他們可能會在下次釋放時被拒絕。 若您使用連字符, 請切換為下調 以避免麻煩 。 如果你現在改變了,它以你自己的速度。 如果你等到下一次釋放,你會陷入恐慌,不得不在那天處理.
- 現在,為.htmlTable如果 String 儲存格中的資料包含: image/ png; base64 , 以及一個已編碼的 . png 影像,ERDDAP™顯示圖示 (讓使用者看到圖片,如果它們在它上面徘徊) 並按鍵儲存文字或影像到剪貼板。 多虧了馬可爾巴 (提供密碼的人) 和鮑勃西蒙斯 (稍稍修改的) .
- 新的 : - 不添加標準名稱 如果您在執行產生時將 \- doNoteAddStandard Names 作为命令行參數 數據集 Xml, 產生 數據集 Xml 不會新增standard\_name至addAttributes除已命名為經度、高度、深度或時間的變數外, (明顯的standard\_names) . 如果您使用產生的輸出, 這可能有用 數據集 直接在 Xml 中ERDDAP™不編輯輸出, 因為產生 數據集 Xml 常猜standard\_name不對 (注意,我們總是建議您先編輯輸出後再用到ERDDAP.) 使用此參數會有其他次要的相關效果, 因為猜測standard\_name通常用于其他目的,例如:long\_name,並建立色彩列設定值。 多虧了凱文·奧布萊恩
- 你可以放<更新MaxEvents > 10</ 更新 Max 事件 > indatasets.xml (与接近頂端的其他設定值) 更改檔案的最大變更數量 (缺省=10) 由更新的 Everynimillis 系統處理。 多數 (100?) 相當重要時, 看更新 MaxEvents 文件. 多虧 了約翰·莫雷爾
- 新增全球支持 "real\_time真的|假的字串屬性 。 如果這是假的 (默认) 如果數據集不使用更新 每一個NMillis,ERDDAP™會缓存對檔案類型的回覆, 因為要先建立整個檔案ERDDAP™可以開始將回應寄給使用者, 再用到15分鐘左右 (例如,.nc,.png) . 如果此設定為真, 或是數據集使用更新 每一個NMillis,ERDDAP™永遠不會缓存回應檔案, 永遠會傳回新建立的文件 。 多虧了約翰·莫雷爾
- 電子郵件現在以另外的電子郵件來發送。 這讓加載數據集和其他產生電子郵件的動作更快, 因為載入Datasets不需要等待電子郵件的發送, 有時需要很長時間 。 新的系統可以每封電子郵件發送多封電子郵件, 从而減少電子郵件伺服器登記數量, 在 log. txt- 中尋找「 emailThread 」 。 注意 nEmailsPerSession=0 的數據顯示有麻煩, 即電子郵件會議無法傳送任何電子郵件 。 多虧了鮑勃·西蒙斯
- 發送電子郵件的代碼稍有不同 (因為Java17 和電子郵件的變更) . 如果您無法發送郵件, 請用電子郵件 。erd.data at noaa.gov.
- 新 : 訂閱「 觸碰」 遠端網址的動作, 目前已以單一的觸控目錄處理 。 這讓加載數據集和其他觸摸網址的動作更快, 因為載入達塔塞特並不需要等待觸摸完成, 有时需要很長時間 。 在 log. txt 中, 有 TouchThread 在狀態. html 的頁面和診斷訊息的數據 。 多虧了鮑勃·西蒙斯
- New: 在狀態.html頁面上, 在「主要載入達塔塞斯時空系列」中, 有一個新的「 shed」 欄位, 表示因目前而丟棄的要求數量 。ERDDAP™內存用量太高了 。 HTTP 狀態代碼為 503 。 那些要求不一定有問題 他們只是忙碌時才到 這是修改方法的一部分ERDDAP™處理高記憶體使用率。
- New: 在Unix/Linux電腦上, 狀態. html的網頁上有「 OS Info」 一行, 包括 CPU 載載量和內 存使用。
- 現在,當ERDDAP™重新啟動與快速 Restart= true, EDD Table fromFiles 資料集會重新使用子集.nc不同.nc. 對一些數據集來說, 這大大減少了載入數據集的時間 (例如,60秒至0.3秒) . 與新的電子郵件Thread與工作Thread一同 (见上文) ,此應大大加速重启ERDDAP™很多人ERDDAP™设施。 多虧了本·亞當斯和約翰·克福特
- CHANGED:以前,孤兒數據集 (生活在其中的數據集ERDDAP™但不是在datasets.xml) 其地位只被提到。 html 和 log.txt 中, 現在,他們被自動移除ERDDAP™並在 log.txt 中註冊,並發送至 mail 所有的一切。 所以,如果你想移除数据集ERDDAP™,現在你要做的就是移除它的塊 xml indatasets.xml它將被移除 在下一個主要載荷 Datasets 。 多虧了鮑勃·西蒙斯
- 在netcdf-java v5.5.2和v5.5.3中,知道BUG: 其EDDGrid從垃圾 產生 Dataset 中的目錄選項 Xml 曾經為 THREDDS 編目工作, 其中包括遠端 THREDDS 編目中的數據集參考 。 現在沒有了 我向Netcdf-java開發商報告了問題。
- BUG FIX:供 Docker 使用者設置.xml 參數通過ERDDAPXQparam Name : 表示整體與布尔參數 (例如,電子郵件 Smtp 端口) ,ERDDAP™所尋找的只是 paramName。 現在它在找...ERDDAP* param Name. 多虧了亞歷山德羅·德·唐諾
- 变化:ERDDAP™測試系統現在使用自動系統檢查新建立的測試影像是否完全如預期。 多虧了克里斯 約翰的建議和鮑勃西蒙斯的執行
版本2.18
(2022-02-23年)
- 新特性和變更 (使用者) :
- 沒有
- 事情ERDDAP™管理者需要知道和做:
- Bug FIX: UG:.nc檔案在某些情況下沒有關閉 現在是 了 多虧了馬爾科·阿爾瓦 羅蘭·施韋策 約翰·莫雷爾等人
版本2.17
(2022-02-16)
- 新特性和變更 (使用者) :
- Bug FIX: UG: 修改后orderBy數年前, Tabledap 的 Make A Graph 處理不了很多使用過的查詢orderByxxx_. 現在有了 多虧了莫里斯·利比斯
- 前情提要ERDDAP™拒絕了要求 透明 Png是當纬度和/或經度值 部分或完全超出範圍的時候 (ERDDAP™GitHub Issues #19, 由Rob Fuller發布 -- -- 感謝您發表Rob) 現在它會傳回影像中任何外延區域的透明像素 。 這對很多客戶端應用程式有用 。 更改密碼以做這個改變 完全由克里斯·約翰完成 謝謝你,克里斯!
- 前情提要ERDDAP™被拒絕的格達普請求, 指定維度的索引值在哪裡\[高: 低\]. 現在它讓這些要求成為有效的 通过互換低高值。 這解決了使用者和Xtracto 等外部程式的长期問題, 它們必須追蹤數據集, 數據集的纬度值從高到低,\[ (50) : (20) \]因此索引空間中的要求是\[低:高\]. 看 https://coastwatch.pfeg.noaa.gov/erddap/griddap/jplAquariusSSS3MonthV5.html 現在,像...\[ (20) : (50) \]其中一個數據集自動被解譯為\[ (50) : (20) \].
- CHANGED: . esriAscii 要求現在在使用者的瀏覽器中啟動「 文件: 另存為」 的對話框 。 多虧了喬爾·范·諾德
- Bug FIX: UG: 如果孩子的數據集的經度變數EDDGridLonPM180 或EDDGridLon0360 数据集有valid\_min和/或valid\_max屬性,在EDDGridLonPM180 或EDDGridLon0360 資料集. 多虧了羅伊·門德爾索恩
- 事情ERDDAP™管理者需要知道和做:
- 做:如果你安排<資料 ProviderFormAactive > 假以暫時處理 XSS 的弱點, 請將它放回真實 。
- 安全BUG FIX: 資料提供者表格中的固定XSS脆弱性。 多虧了Genaro Contreras Gutiérrez。
- Bug FIX: UG: 當一個AWS S3 地鐵有1000多個檔案時ERDDAP™扔了「 內部錯誤 」 。 現在修好了 多虧了安迪·齊格勒
- Bug FIX: UG:EDDGridSideBySide不允許變數sourceNames 在不同的孩子數據集中是相同的。 現在有了 多虧了約書亞·斯坦福
2.16版本
(2021-12-17年)
- 新特性和變更 (使用者) :
- 變化/黑: 多虧各語言編輯員的建議, 多虧了梅蘭妮·阿貝卡斯西 馬爾科·阿爾巴 傑西·巴雷特 菲利佩·費南德斯 艾蒂安·戈丁 詹妮弗·塞瓦吉安 麥克·斯米特
- 根据Google翻譯條款的要求, 而且,<html > 標籤在 HTML 中對每個網頁的標籤, 現在可以正確地辨識非英語網頁已經被機器翻譯 。 多虧了麥克史密特
- Bug FIX: UG: 登入的網頁目前與不同的語言設定正常工作。 多虧了麥克史密特
- 新orderBy總和滤波器 重新檢查所有和取消所有按鈕EDDGrid資料存取表單網頁 。 多虧了Marco Alba的密碼
- 事情ERDDAP™管理者需要知道和做:
- 如果你有 <疑問 馬克馬格·菲勒</ 問題 MarkImage 文件 > 在您的設定值. xml 檔案中, 您需要移除整個標籤 (建議, 所以使用預設檔案) 或更改如下: <馬克米格·菲勒</ 問題 MarkImage 文件 >
- 只是讓你知道,收養已取代 OpenJDK 作为主/推荐來源Java (開啟 JDK) .
- 變更: 日志檔案來自ERDDAP™生成達塔斯 Xml, 而 DasDds 現在是 UTF-8, 不是電腦的預設字符集 。 我做了很多檢查,做了一些改變,以确保ERDDAP™總是在讀取或寫入各类檔案時指定正確的字元集, 不再使用 (在若干案件中) 依赖于電腦的默认字符集 。 這更正了幾項錯誤,並盡我所能地接近了使用UTF-8的目標,以尽可能多的檔案類型 (例如.log、.xml、.html,.json,.json我,.nc信頭) . 注意很多舊檔案型態需要使用 ISO- 8859-1 (例如,OPeNDAP達斯 德德 克西夫.tsv,.nc3,.nccsv, cpt) . 我之前試過和CF團體合作Unidata新增 UTF-8 的支援.nc3 份文件; 兩份文件都有阻力 。
- New: 從 AWS S3 下載檔案時,ERDDAP缓存 從Url系統到EDDGrid從檔案與 EDD 表格 從 Files 開始使用新的 AWS 傳輸管理器, 通过平行的區塊下載檔案 (很快) . 目標吞吐量被定為20Gbps, 每個檔案, 所以這與所有 AWS 實驗型態都相當有效, 有了這個改變ERDDAP缓存 FromUrl 系統現在提供與 xarray 平行下載預先儲存的檔案的方法相似的速度, 但不需要轉換來源檔案.nc和.hdf被分割成 xarray 文件 。 其實ERDDAP如果後來有人要求從同一檔案讀取, 系統會更好, 因為ERDDAP™現在有一份本地檔案 我們的社區花了好幾年來.nc和.hdf文件。 現在我們不必把這些都扔出去 只為了在AWS S3中儲存數據時得到好效果 多虧了Rich Signell
- 搜索Engine=Lucene 目前已腐敗 結果與SearchEngine=Index更理想的行為略有不同。 几乎全部ERDDAP™設備 盧塞內省下的時間 無法抵消結果上的差異 如果可能, 請使用 Engine = 原版 。 如果有問題,請發郵件給Bob
- 現在Lucene搜尋引擎的行為更像原始搜尋引擎。 不再有Lucene認為 數據集匹配和原創不符的情況 另外,Lucene的排名 和原著的排名相同 (因為原創性現在總是用於計算排名) .
- Bug FIX: UG: 從最近一版開始ERDDAP™在指定的 AWS S3 桶中不再看到超過 1000 個物件 。 現在ERDDAP™再次看到所有物件。 多虧了安迪·齊格勒
- 現在 EDDTable 外加門 行移除actual\_range當一個或多個孩子的數據集永遠不知道它的變數時屬性 ' 'actual\_range (例如,數據庫中的EDD表) . 多虧了埃里克·蓋萊蒂
2.15版本
(2021-11-19年)
- 新特性和變更 (使用者) :
- ERDDAP™讓使用者指定所有網頁使用的語言。 如果ERDDAP™設定安裝以使用它, 語言清單會出現在每頁右上角 。ERDDAP™網址來自此版本繼續工作,
并非所有文字或所有網頁都被翻譯 。 這項計畫有時間限制,
顯然問題是:當Chrome翻譯網頁時, 答案是:這樣,我們對翻譯方式有更大的控制力。 例如數據集的標題與摘要、變數名稱、參數、單位與組織。 翻譯工作大多是找出不該翻譯的字和詞。 另外, 機械翻譯往往會調整某些類型的 HTML 標記 。 管理翻譯讓我們能把問題最小化。
翻譯專案由齐曾完成 (a Google 密碼暑假實習生) 和鮑勃西蒙斯使用 Google 的翻譯網頁服務。 是個大工程 謝謝你 琦!
-
Bug FIX: UG:ERDDAP™現在可以讓ORCID的X成為最後的數字 多虧了莫里斯·利比斯
-
事情ERDDAP™管理者需要知道和做:
-
做:
- 您需要做一些與ERDDAP讓使用者指定網頁語言的新系統 。
- 在您的設定的第一行. xml和datasets.xml檔案, 變更為 : 編碼=“ UTF-8 ” , 並變更您文字編輯器中的文件編碼, 以儲存為 UTF-8 檔案 。 產生達塔斯 Xml現在假設datasets.xml是 UTF-8 檔案。
- 編譯程式員ERDDAP: 全部ERDDAP™. java 檔案應預設為 UTF-8 檔案 。 您可能需要在 Javac 命令行中加入「 編碼 UTF-8 」 。 (是的)
- 要启用此系統 (大力推荐) 在<啟動您指定的BodyHtml5 > 標籤datasets.xml,将“ &!loginInfo; ” 改为“ &!loginInfo; ”|amp! language;" 使語言清單出現在每個語言的右上角ERDDAP™网页。
- ERDDAP™只使用<啟動您指定的BodyHtml5 > 標籤datasets.xml指定每條旗子上方的 HTML 內容ERDDAP™網頁, 不管使用者選擇什麼語言。 如果你改變標籤以使用 "&EasierAccessToScientificData;而不是"更容易地存取科學資料"和 "&BroughtToYouBy;"而不是"給你帶來,"ERDDAP™將使用這些語言的翻譯版本。
- 相似的,新的預設<在 ShortDescriptHtml > 中datasets.xml是
- 您需要做一些與ERDDAP讓使用者指定網頁語言的新系統 。
<theShortDescriptionHtml><!\\[CDATA\\[
<h1>ERDDAP</h1>
&erddapIs;
&thisParticularErddap;
\\[standardShortDescriptionHtml\\]
\\]\\]></theShortDescriptionHtml>
最後三行內容是將被翻譯的文字取代的東西 。 如果你將其中任何一個轉換 (特別為此( T) 特别是Erddap;) 或所有文字datasets.xml (优先排序,如果存在) 或信件. xml, 不管使用者選擇什麼語言, 此文字都會出現 。 這不完美 但我想很少行政官會想編輯<在 35 個不同檔案中提供 35 個不同翻譯的標籤 。
- 總理:目前有些錯誤處理稍有不同, 所以那些數字可能比以前大一些
- BUG FIX: 產生達塔斯 Xml 表示EDDGridLon0360和EDDGridLonPM180 目前排除來源數據集datasetID"..."\*和datasetID"..."\*Lon0360),
2.14版本
(2021-07-02年)
- 新特性和變更 (使用者) :
- (無)
- 事情ERDDAP™管理者需要知道和做:
- 新:EDDGridLon0360 使一個具有經度值 & gt; =0 的網格化的數據集<=360 取自經度值 & gt; =- 180 和<=180. 看EDDGridLon0360文件. 多虧了戴爾·羅賓森
- 新:ERDDAP™管理員現在可以透過一個命名的環境變數, 在設定. xml 中覆蓋任何值ERDDAPXQ值Name _ 在執行前ERDDAP. 例如,使用ERDDAPQQBaseUrl 覆蓋<baseUrl > 值。 部署時可以方便ERDDAP™使用容器, 因為您可以在設定. xml 中設定標準設定, 並通過環境變數提供特殊設定值 。 如果你提供秘密信息ERDDAP™確保這些資訊將保密。ERDDAP™每次啟動時只讀取環境變數一次, 在啟動的第一秒, 所以使用的方法之一是: 設定環境變數, 啟動ERDDAP™,直到ERDDAP™已啟動,然後取消環境變數。 多虧了馬克·波蒂埃
- 改进: 如果在 EDD Table 從... 有很多檔案的檔案數據集有很長的字符串值, 數據集的載入速度會快很多, 對要求的反應會快很多 。 前身ERDDAP™將會為這些數據集的檔案中 min 和 max 字符串值分配很多空間 。 產生的檔案非常大, 讓它被寫作和讀取很慢 。 多虧了OBIS
- 現在,ERDDAP™在 CSV 檔案中解釋不同尋常且無效的字元序列的更好工作 。 多虧了OBIS
- FIX:在和卡珊德拉麻煩了一年之后,我終於成功安裝了卡珊德拉. (v2) 所以我們能用卡珊德拉 v2 重新進行測試 所以現在我更有信心地說ERDDAP™卡珊德拉v2和v3合作. 多虧了ONC
版本2.12
(2021-05-14年)
- 新特性和變更 (使用者) :
- Bug FIX: UG: 如果你在訂閱黑名單上 現在不能要求你的訂閱清單
- 事情ERDDAP™管理者需要知道和做:
- To Do: New: 系統自動限制恶意使用者和過份強烈合法使用者的能力, 新增 3 個可選標籤datasets.xml您可以/應該在之后添加<圖框顏色 > :
<ipAddressMaxRequests></ipAddressMaxRequests> <!-- current default=7 -->
<ipAddressMaxRequestsActive></ipAddressMaxRequestsActive> <!-- current default=2 -->
<ipAddressUnlimited></ipAddressUnlimited> <!-- default=empty -->
更多信息,参见:ipAddressMax 要求.ERDDAP™也列印「 唯一使用者的數量 」 (自啟動起) " 在狀態.html頁面. 多虧中國人攻擊我ERDDAP™安裝
-
變更至 Postgresql 驅動程式行為 : 當我更新 Postgresql 驅動程式時, Postgresql 和 GenerateDatasetsXml 產生的表格清單中的列名會像以前一樣, 回到所有大寫, 而不是所有小寫 。 我不知道這是否會影響其他事物, 因為數據庫常認為這些名字不敏感。 我的測試數據集仍然正常 但是如果你的數據集停止工作ERDDAP™更新中, 這是可能先追求的原因 。
-
Bug FIX: UG:ERDDAP™現在也正确處理私人 AWS S3 文件 。 AWS S3 檔案的處理有其他相關的改善 。 多虧了邁克爾·甘格爾和迪倫·普格
-
新:EDDGrid來自 NcFiles 和EDDGrid來自 Nc 檔案 現在可以從「 結構」 讀取資料 。.nc4和.hdf4份文件。 要辨識從一個結構中產生的變數,<sourceName> 必須使用格式: _ fullStructureName|會員Name, 例如群組1/ myStruct|我的會員 多虧了NRL
-
CHANGED: 現在, 如果目前的內存用量加上此要求甚至稍高, 網格化集 此要求的 nThreads 到 1 。 因此,ERDDAP™當記憶力稀缺時會保存記憶力 。 多虧中國人攻擊我ERDDAP™安裝
-
監控開啟的檔案數量的新系統 (包括套接字和其他東西, 不只是檔案) 在Linux電腦上的Tomcat。 如果有些檔案錯誤地從未被關閉, 開啟的檔案數量可能會增加, 直到它超过允许的上限, 所以現在在Linux電腦上 (找不到 Windows 的資訊) :
- 狀態最右邊有新的「 開啟檔案」 欄位 。 html 網頁顯示最大檔案開啟百分比 。 在Windows上,它只顯示"?"
- 什麼時候ERDDAP™產生每個主要數據集重新載入末端的資訊, 它會打印到日志中 。 txt 檔案 : 最大%%%%%%%%%%%_%%
- 如果百分比大于50%,會發送郵件至ERDDAP™管理員和電子郵件 一切 去電子郵件地址
找出更多 或者你是否看到這問題ERDDAP™,看開啟的檔案太多. 多虧中國人攻擊我ERDDAP™安裝
- New: 我加入了很多「 太多開啟的檔案」 的檢查與處理, 所以工作只會停止, 使用者會看到錯誤訊息 。 如果讀取資料檔案會 造成「 太多開啟的檔案」 錯誤, 資料檔案將不再被標記為糟糕 。
- 新\[大家长會\]/ badFilesFlag 目錄 : 如果您在此目錄中放有檔案datasetID作为檔案名稱 (文件內容不重要) ,ERDDAP™將刪除壞的檔案.nc此数据集的檔案 (如果有) 盡快重新載入數據集。 原因ERDDAP™重新試著使用先前的檔案 (錯誤?) 標示為壞。 多虧了馬可·艾芭
- 起步時,如果EDDGrid來自... 檔案數據集最初在已知有效檔案清單中有 0 個檔案 (例如,它是一個新的數據集) 那么ERDDAP™延遲載入並設立旗號, 以便在主要載入完成後立即載入 。 當有新的數據集時, 這會加速初始啟動 。
- 翻譯: File VisitorDNLS. testAWSS3 () 和檔案 VisitorSubdir.testAWSS3 () ;現在使用 AWS v2 (不是v1) SDK。 所以現在的巨人ERDDAP™發行中現在包含所有需要的檔案, 您不再需要手動加入大體的 v1 AWS SDK 罐檔案 。
- 我改用Maven來探測/加瑟的依赖性 (/lib 中的 .jar 檔案) . 更改為 AWS SDK 的 v2 必須如此 。 未來其他匯入碼需要它 感謝凱爾·威爾科克斯提供他創作和使用的pom.xml 這解決了我很多問題
- 變化: 类路徑參數 (-cp) 用于生成 DatasetXml 、 DasDds 和其他與來源相關的小程式ERDDAP™, 而在對程序員的建議中, 現在要簡單得多, 不該再改變, 因為它指的是目錄, 而不是個人檔案 :
\-cp 課程; C:\ programs\ tomcat\\ lib\ servlet- api. jar; lib {}
(或 ':' 代替 ';' 用于 Linux 和 Macs) .
(我多年前就該這麼做了 當它成為一個選擇)
- 新 : 產生達塔斯 Xml 有一個新的效用選項 : 尋找重复時刻, 它會通過網格集搜尋.nc (相关) 找到重复時間值的檔案。 看尋找重复 時間
- 新:datasets.xml可包含<覆蓋此檔案的調色板 > 標 籤<調色板 > 標籤值來自信件. xml (或返回信件的值。 xml 如果是空的) . 讓您變更可用的調色板清單 。ERDDAP™正在執行中。 另外,如果你在ERDDAP™內容目錄,ERDDAP™將所有在目錄中的 XQ. cpt 檔案复制到\[湯姆卡\]/webapps/erddap/WEB-INF/cptfiles 目錄ERDDAP™開始 這些變更讓您加入調色板, 當您安裝新版本的變更時, 變更會持續ERDDAP. 看調色板文件
多虧了詹妮弗·塞瓦迪安 梅蘭妮·阿貝卡西斯 也許其他海岸觀察者 - 改:[<慢下來的拖曳物Millis >] (/ docs/ server-admin/ datasets# slow-downtroublemilis / 翻譯) 已用於所有失敗的要求, 不只是幾類。
- CHANGED: RunLAADDASTS 線程在 3/4 載入DASTS 中斷載入DASTS 線程 MaxMinutes 所以LoadDataset有更多時間 注意中断和退出 還有更多更好的診斷訊息
- 從Lucene到v8.7.0.
- 更改:ERDDAP™現在以固定寬度字型出現 。
- 變化:EDDGrid從檔案現在得到轴數值以及 FIRST 的屬性|Last 檔案, 按<中繼資料自>。 謝謝你 (不是) 致肯·凱西等人
- 無效的單位的 ADDED 支援 。 (自2020-10-01年) AVHRR 先驱者版本 5.3 L3- (L3C) SST 数据集 (第53次sstd1天和cusipH53sstn1天) .ERDDAP™可以將它們标准化到有效的單位 。 謝謝你 (不是) 致肯·凱西等人
版本2.11
(2020-12-04年)
- 新特性和變更 (使用者) :
- BUG FIX:如果變數只有%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 定義值 。 現在它能正确處理情況了 多虧了馬可·艾芭
- Bug FIX: UG: ODV 文字檔有問題 。ERDDAP™V2.10。 那些問題已經解決了 多虧了肖恩·貝爾
- Bug FIX: UG: 剛進來ERDDAP™v2. 10: 如果在 URL 中指定了 lat Lon 邊界, 世界地圖上沒有畫出邊界框 。 現在又來了 多虧了約翰·莫雷爾
- 事情ERDDAP™管理者需要知道和做:
- Bug FIX: UG: 剛進來ERDDAP™v2. 10: ArchiveAdataset、 產生達塔塞特的文稿檔 Xml 和 DasDds 不起作用, 因為他們沒有改變 阶级路徑ERDDAP™v2.10 現在是了 多虧了馬可·艾芭
- 在datasets.xml,您可能現在有標籤 :
<emailDiagnosticsToErdData></emailDiagnosticsToErdData> <!-- true (the default) or false -->
目前, 如果是真的 (或是標籤是空的 或者標籤不在檔案中) ,當使用者的請求引發NullPointerException,ERDDAP™會傳送堆疊追蹤到erd.data at noaa.gov (该ERDDAP™發展团队) . 這應該是安全的 因為沒有保密信息 (例如,要求) 包含在郵件中。 這將可以捕捉到任何 無意之中的不明蟲 導致NullPointer Exceptions。 不然,使用者看例外,但ERDDAP™所以我們不知道有問題需要解決
這個標籤有可能導致其他類似的診斷資訊被發送至erd.data at noaa.gov未來 電子郵件的內容將永遠是最小的, 多虧了馬可·艾芭
- 更改:現在, 常用的壓縮檔案型態 (.bz2,.gz,.gzip,.tar,.tgz,.z,.zip) 也禁止字节範圍要求。 此指定通过<在信件. xml 中, 延伸名不 range requests > 。
- 知道問題: 就像ERDDAP™2.10,.ncml 檔案要改變屬性, 不要改變屬性 。 據我報導, 這是在Netcdf-java中已知的蟲子,
2.10版本
(2020-11-05年)
- 新特性和變更 (使用者) :
- 新的插入轉換器高效地從格數據集的數值中插入值 。 因此,它对于研究動物軌道數據的研究人员尤其有用。 此轉換器會用一個有經度、經度和時間列的表格 (可能其他列) 返回含有插值的列的表格。 因此,這與流行的切變原本由Dave Foley創作的劇本, 但提供優勢, 多虧了戴夫·福里和喬丹·沃森 (NMFS) .
- IMPROVED: 高级搜尋目前對非. 它現在會對有永久錯誤的要求提出例外 (例如,在 minLat > 最大Lat 中要求) 或暫時錯誤 (例如:standard\_name根本不存在) . 對 . html 的要求, 高级搜尋沒有變化: 和 Google 搜尋一樣, 它 盡力而默默地修正或忽略錯誤 。 多虧了Rich Signell
- 改善: 高级搜尋頁面上的地圖現在更大 (你仍然需要看,但更少) 更准确 (但還是不完美) . 多虧了約翰·莫雷爾
- 改善: Make A Graph 網頁上的「 Draw Land magazine」設定, 「外線」只是畫出陸地圖、政治界限、湖泊和河流。 "關"什么也不畫 看&. land=... 文件. 多虧了約翰·莫雷爾
- 改进:ERDDAP™現在可以使用三种新的標記型態: 無界填充方塊,無界填充方塊,無界填充三角. 此程式的密碼是由 ETT / EMODnet 物理的 Marco Alba 提供 。 多虧了馬可·艾芭
- 新:"files"系統現在支援平原 文件型態回覆 (...csv,.htmlTable,.itx,.json,.jsonlCSV1,.jsonlCSV,.jsonlKVP,.mat,.nc,.nccsv,.tsv,或.xhtml.) 例如, https://coastwatch.pfeg.noaa.gov/erddap/files/jplMURSST41/.csv . 多虧了凱爾·威爾科克斯
- 改进:當使用者使用資料存取表時產生的網址 (.html) 或 Make-A- Graph (圖片) 網頁現在正確的%- 編碼字元\[和\]. 但從網路安全角度來說, 管理員現在可以設定放鬆的查爾斯= ' '\[\]|' 在 Tomcat 伺服器.xml 檔案中 (不安全) 否 (更安全) . 多虧了安托萬·奎里克 多米尼克·富勒·羅威爾和其他人
- 新 : 如果對 EDD Table 資料集的要求包含( A) 變數 在哪里 (屬性(A) 名稱, 屬性 值) ,ERDDAP™將新增所有屬性(A) 名稱=屬性 值 到要求的變數清單 。 看添加( A) 變數 文件. 多虧了奧瑞莉·布 萊恩德等人
- 改:ERDDAP™現在拒絕 / files/ 的位元範圍要求.nc或.hdf文件。 不要試著連接遠端.nc或.hdf文件仿佛是本地文件。 也常常造成其他問題。 相反:
- 使用(OPeN)DAP要連接的客戶端軟體ERDDAP是DAP此数据集的服務 (/ griddap/ 或 /tabledap在 URL 中) . 就是這樣DAP是為我
- 使用資料集的資料存取表來要求數據的子集 。
- 如果您需要整個檔案或长时间的重复存取, 請使用curl,wget,或您要下載整份文件的瀏覽器,然后從您的本地檔案副本中存取資料。
- 改善: Txt 輸出選項已重新寫入, 以支援新版本的ODV .txt檔案,并支援正确顯示軌道、時序和剖面資料。
- 改善 : 現在, 雙引號中的搜尋名詞被解釋成 json 字串, 所以它們可以有\ 編碼的字元 。 除其他外, 這讓您尋找一個屬性的确切匹配, 例如, "Institution=NOAA\n數據集與機構不符NOAA NMFS. 多虧了丹·諾瓦奇
- 改进:在其它地方,浮點數 (特别是轉換成雙倍浮點數) 現在在更多地方以略微四舍五入的形式出現, 例如以前顯示為32.279987296875的雙倍浮標, 多虧了凱爾·威爾科克斯
- BUG FIX: 未簽署的整數音效檔案被略微錯誤讀 。 現在它們被正确讀了
- 事情ERDDAP™管理者需要知道和做:
- 你第一次跑ERDDAP™v2. 10, 一些基于本地端資料檔的資料集會載入 非常 慢慢地因為ERDDAP™需要重製檔案資訊資料庫 。 慢速重新載入后,他們會像以前一樣快速載入. 請耐心點
- 你必須做的事:
- 當您第一次執行 v2. 10 時, 有些數據集可能無法載入, 因為ERDDAP™現在對一些中繼資料更嚴格 和以前一樣ERDDAP™第一次載入時會發送一份每日報告。 包括未載入的每個數據集的錯誤訊息 。 讀取錯誤訊息以找出問題 。 大多數情况下, 您只需要對數據集的元数据做一點小的變更才能解決問題 。
- 在datasets.xml搜索<sourceName& gt; = (注'='表示固定值sourceName) . 大部分ERDDAP™設置,這些是稀有的。 如果后面有任何值'='是字串 (不是數字) , 您必須將字串用雙引號附加 。 例如, 之前:<sourceName& gt; = KZ401</sourceName> 后 :<sourceName& gt; ="KZ401"</sourceName>
- 新的:在 setup.xml 有新的選擇設定<預設AccessibilityViaFiles >, 設置預設<可存取 ViaFiles > 的每套資料。 此新標籤的預設是虛假的, 它模仿了以前的ERDDAP™行為 此下關卡設定可以被給定的數據集所推翻<可存取ViaFiles > 設定。
建议 (因為有使用者想要這個) : 如果你想做所有的EDD... 從檔案系統可存取的檔案資料集中
- 新增此標籤到您的設定. xml 檔 :
<defaultAccessibleViaFiles>true</defaultAccessibleViaFiles>
- (可選擇) 移除所有
<accessibleViaFiles>true</accessibleViaFiles>
indatasets.xml因為假設現在是真的
- 新增 QQ 檔案屬性 : ERDDAP™用於所有整數變數的預設 QQFillValue: 數據類型的最大值 (例如, 127 位元數) . 現在沒有了 为了避免這些值被顯示為數據值 (不缺少值) ,您需要透過 QQFillValue 屬性明确表示這些 。 從現在開始,每次你開始ERDDAP™,它會用 .csv 表格發送管理員的郵件,其中包含整數來源變數列表,這些變數沒有 QQFillValue 或missing\_value屬性,以及建議的新 QQFillVale 屬性。 看新增 QQ 檔案 值屬性需要更多信息和指示。
- 如果您編譯ERDDAP™,您需要修改javac命令行的类路徑參數,以新增這些新罐子的參數 : lib/commons-jexl.jar;lib/aws-java-sdk.jar;lib/jackson-annotations.jar;lib/jackson-core.jar;lib/jackson-databind.jar。 .
- Tomcat 9現在是Tomcat的推荐版本ERDDAP. 最新版本的Tomcat 8.5+目前也很好。 我們收拾了ERDDAP是Tomcat 安裝指令.
最新版本Java8 (不是Java9,10,11,...) 從采用 OpenJDK仍保留Java用于ERDDAP.Java8號有「領養OpenJDK」的長期支援,
- 新的: 文稿來源名稱 / Tabular 資料集中衍生的變數
檔案中的 EDD Table 、 數據庫中的 EDD Table 和 檔案名稱中的 EDD Table 資料集中現在可能包含sourceName. 這可以讓您根据來源檔案中已有的變數做新的變數 。 一個給定的新變數的計算是在結果的一行內完成的, 对所有一行都重复 。 例如, 使經度變數的值為 -180 - 180 °, 與值在 0 - 360 ° 的變數相距 :
<sourceName& gt; = Math2. anglePM180 (列 (龍) ) </sourceName>
详见文稿來源名稱
多虧了鮑勃·西蒙斯 (之前的計劃ERDDAP™v1.0 并找到實施的方法) Kevin O'Brien, Roland Schweitzer, John Maurer, 以及阿帕奇JEXL圖書館 做非常難的部分。 (做得很好) . - NEW: 未簽署的整數資料型態 (烏比特 烏比特 烏比特) 已支援。 注意很多檔案類型 (例如,.das,.dds,.nc3) 不支援所有這些新資料類型 。 看資料 文件型態關於如何ERDDAP™處理這些分歧。 值得注意的是,自(OPeN)DAP, 特别是 .dds 的回應, 不支援簽署的字節、 長節或 ulongs, 您可能想要使用ERDDAP以表格形式表示的.das和.dashttp./erddap/ . 信息 /datasetID.html 网页 (例如, https://coastwatch.pfeg.noaa.gov/erddap/info/cwwcNDBCMet/index.html ) 您可以在其它檔案類型中或.nccsv元数据回复 (例如, https://coastwatch.pfeg.noaa.gov/erddap/tabledap/cwwcNDBCMet.nccsvMetadata ) ,兩者都支持在所有情況下的所有資料類型。
警告: 对于受此變更影響的數據集, 您可能會看到數據集的問題, 因為數據是ERDDAP™從來源讀取可能不同 (例如, 先前讀作簽署整數的變數現在可以讀作無簽署整數) . 產生的問題包括: 新的檔案沒有被加入到資料集中, 以及/ 或您試圖存取資料時的錯誤 。 如果數據集有問題,首先要試著設定硬 旗號用于數據集。 如果這不能解決問題 那你就得看看紀錄 查看錯誤訊息的 txt, 跳入datasets.xml用于數據集, 以及/或重新運用 Datasets. xml 產生數據集 。 多虧了Netcdf -java 5.x (迫使我們發表) 以及將到來的CF 1.9。
- 現在有了更好的文件/咨询意见如何從 AWS S3 桶中的檔案建立數據集 。 多虧了米卡·溫格倫
- 變化 :"files"系統。
- 處理此事的密碼被重寫成可以被更多課程使用 。
- New: 使用者要求列出目錄, 現在可以請求此回應為標準的普通表格類型之一, 請附上想要的檔案延伸:.csv,.htmlTable,.itx,.json,.jsonlCSV1,.jsonlCSV,.jsonlKVP,.mat,.nc,.nccsv,.tsv,或.xhtml). 例如,
https://coastwatch.pfeg.noaa.gov/erddap/files/jplMURSST41/.csv
多虧了凱爾·威爾科克斯和肖恩·圣薩維奇 - 現在,生成 數據集 Xml 不包含<在輸出中可存取ViaFiles > 標籤。 假設數據集會依賴新的數值<預設可存取ViaFiles > 標籤在設定. xml 中 。 看可存取 Via 檔案.
- 改进: 新增的數據集類型已支援可存取 Via 檔案 :EDDGrid邊緣邊緣,EDDGrid總和的分量,EDDGrid來自厄德達普的EDD Table 從厄德達普的EDDTableEDDGrid從EDDDable, EDD表從EDDGrid和EDDGrid從埃托波。 對於這些, 只有在母體和遠端/ 子體數據集都能存取時, 才能存取從給定的遠端/ 子兒數據集傳來的檔案 。 ViaFiles 設定為真( 可能通過<默认可存取ViaFiles > 。 多虧了達米安·史密斯和羅布·富勒
- 我們建議通過檔案系統建立所有相關資料集<預設 AUccessibilityViaFiles > 在設定值. xml 中為真, 因為有一群使用者希望用此方式取得資料 。 除其他原因外,"files"系統讓使用者很容易看到哪些檔案是可用的, 以及它們上次變更的時候, 从而讓使用者可以輕鬆地維持自己對整套資料的複製。 如果您一般不想讓數據集透過檔案系統存取, 設定<預設可存取ViaFiles > 到錯誤 。 不管怎樣,只要用<可存取ViaFiles > , 用于數據集, 這些集是一般政策中的例外<預設可存取ViaFiles > (例如,當數據集使用時.ncml 檔案, 對使用者沒用) .
- IMPROVED : 現在, 如果來源數據集有 CF 網格映射資訊, 請產生 數據集 網格化數據集的 Xml 會新增資訊到全局<新增 Ats > , 資訊會新增到全局<sourceAts> 每次從檔案讀取資料 。 資訊會出現在數據集的全球屬性中,
- 改善: 在讀取時支援群組.nc4 (并在一定程度上.hdf5) 文件。 一般ERDDAP™資料集將從檔案群組中的變數建立 。 另外,生成達塔斯 Xml 表示EDDGrid來自 NcFiles 和EDDGrid來自 Nc 檔 案 現在不打包了,要一個團體 (例如,“”指任何/所有群組,“某群”、“某群/某群子群”,或“\[根\]只有根族) . 多虧了查爾斯·卡爾頓和杰西卡·豪斯曼
- 改进:生成達塔斯 Xml 表示EDDGrid來自 NcFiles 和EDDGrid來自 Nc 檔案 目前未包裝的支援可選擇的「 DimensionsCSV 」 參數, 讓您指定您想要此数据集使用的维度的來源名稱 。 使用「 」 以取得最使用尺寸的變數 。 另外, 此類型的檔案中發生的相關小錯誤目前已固定 。 多虧了Sujal Manandhar
- BUG FIX: 產生達塔斯 Xml 已正確列出「 EDDable From JsonlCSVFiles 」 (不是"EDDable From JsonlCSV") 作為 EDDType 選項之一。 多虧了安迪·齊格勒
- 改进:EDDGrid來自 Nc 檔案 將「 單位」 屬性标准化為標準/ 「 奇異性 」 (和單位轉換器相同的方法) . 例如,"meter per second","meters/second","m.s^-1"和"m s-1"都變成了"m s-1". 多虧了安迪·齊格勒
警告: 這可能會對一些已存在的數據集造成問題 (例如, 讓新檔案標籤為「 壞 」 。) . 如果是,設定硬 旗號以重新讀取所有來源檔案。
- 一個變數<sourceName> 可以指定 = NAN 的固定值,變數可以有actual\_range指定有限範圍的屬性。 這有時是有用的, 這樣可以讓數據集 (特别是從檔案名稱數據集中的 EDD Table) 可以有假變數 (s) (例如,經度、經度、時間) 有 NaN 的固定值,但有有效的actual\_range (按屬性設定) . 然後,在Advanced Search中,使用者可以搜尋有特定經度、經度、時間範圍內資料的數據集,此數據集可以說它有相關資料 (雖然所有實際的數據列會顯示 NaN) . 看固定值文件. 多虧了馬修·比德爾
- 現在,datasets.xml從 Ascii Files 或從 ColumnarAscii Files 資料集 的 EDD Table 的區塊可以包含一個傳達的標籤ERDDAP™要忽略檔案上方的所有行, 包括符合指定正規表示式的行 。 例如, <跳過信頭( T)\\*\*末頭。\</skipheaderTregex > 將忽略所有直線, 並包含從 " 開始的直線\\"頭部末端" 看<跳過頭目Tregex > 文件] (/docs/伺服器-admin/datasets#skipheadertoregex) . 多虧了Eli Hunter
- 現在,datasets.xmlColumnarAscii Filesdatas集的 EDD Tables 或 EDD Tables 的區塊可以包含一個顯示的標籤ERDDAP™以忽略檔案中符合指定正規表示式的所有行 。 例如,
<skipLinesRegex>#.\\*</skipLinesRegex>
將跳過所有以"#"开头的行 。 看<跳過LinesRegex> 文件] (/docs/伺服器-admin/datasets#skiplinesregex) . 多虧了Eli Hunter
- 新的:datasets.xml任何 EDD Table 數據集的區塊可能現在包含 & add 變數 在哪里 (屬性名稱CSV_) . 如果有的話ERDDAP™將為指定的屬性增加一個元件 數據集資料存取表單的名字 (.html 网页) 方便使用者添加( A) 變數 在哪里 (屬性(A) 名稱, 屬性 值) 要求。 看添加( A) 變數 文件. 多虧了奧瑞莉·布萊恩德等人
- 新 第三方工具 :ERDDAP-林特 ERDDAP-林特是愛爾蘭海洋研究所的羅布·富勒和亞當·萊德比特的一個程序 你可以用它來改善你的中繼資料ERDDAP™數據集。ERDDAP-林特"包含一些規則和一個簡單的靜态網絡應用程式,以對付您ERDDAP™伺服器。 所有測試都在網絡瀏覽器中進行". 就像Unix/ Linux 林特工具,可以編輯已有的規則或新增規則。 看ERDDAP-林特更多信息。
此工具對您之前建立過的數據集尤其有用, 現在要更新您目前的元数据偏好 。 例如, GenerateDatasets 的早期版本 Xml 沒有用任何努力建立全球creator\_name,creator\_email,建立者型態,或creator\_url元数据。 你可以用ERDDAP-林特來辨識那些缺乏元数据屬性的數據集。
多虧了羅布和亞當 創造了這個工具 并把它提供给ERDDAP™社区。
- 新的:現在可以了,如果一些檔案在一個EDDGrid檔案資料集沒有所有資料集的變數 。 檔案會被包含為有變數 (包含所有缺失的值) . 多虧了戴爾·羅賓森和道格·拉托內爾
- New: 日志檔和每日報告中有新的用法數據, 數據被命名為「出自記憶」 (陣列大小) ","出自回忆 (太大了) "和"出自记忆 (太大了) ". 顯示這些類別的使用者的IP位址, 如果沒有麻煩的要求 這些數據不會出 現 "出自回忆" (陣列大小) "和"出自回忆 (太大了) " 要求通常不是問題,因為要求很大,以至于ERDDAP™快速抓取並傳回錯誤訊息 。 "出自回忆" (太大了) 要求更危險,ERDDAP™在意識到目前沒有足夠的內存來處理要求之前, (雖然在這些要求之前可能還有其他要求) .
也有一些新统计数据叫做「 大要求, IP 位址 」 , 顯示提出大要求的使用者的 IP 位址 (目前,网格.nc文件 > 1GB) .
另外, 狀態. html 頁面上的時序表目前包含一個「 memFail」 欄目, 顯示用「 OutOf Memory 」 失敗的要求數量 (太大了) 自上次主要載入數據集後的錯誤 。 這里除0之外的任何數字都至少值得擔心。 多虧了鮑勃·西蒙斯
- 新的版本Hyrax顯示目錄清單與以前不同。ERDDAP™現在可以讀取新舊目錄清單。
- New: 數據集重載和使用者回應需要 > 10秒才能完成 (成功或失敗) 以 " (>10s!) ". 因此, 您可以搜尋此語言的log. txt 檔案, 以尋找重新載入速度慢的數據集或完成速度慢的要求的數據集 。 您可以在 log. txt 檔案中看起來更高一些, 看看數據集問題是什麼, 或是使用者要求什麼, 以及它來自誰 。 這些慢速的數據集和使用者要求有時會被收費ERDDAP. 所以了解更多這些要求可以幫助你找出和解決問題。
- 驗證 CF DSG 数据集時ERDDAP™目前確保有 cf\role 屬性 的變數在 cdm\... 例如, 如果一個時序Profile 数据集有一個有 cf\_role = timeseries\_id 屬性的"station\_id"變數, 那麼, "station\_id" 必須在 cf\_timeseries\_vals 清單中, 但不能在 cf\_profile\_vals 清單中 。 多虧了米卡·溫格倫
- 簡化( 簡化 ) 、 少用記憶體、 並可能還回長箭頭 。 多虧了Unidata.
- 改善: 快速重啟( R) 目前 EDD Table 從 。 (与 n 相關) 文件 (除了NcCFFiles的EDD表和InvalidCRAFiles的EDD表) 因為制造 预期 (和另一個地方) 現在只是讀取樣本檔案的中繼資料 而不是讀取所有的資料 多虧了杰西卡·奧斯汀
- 如果增加的數字都是0's, 例如"2020-05-22T01:02:03.4560000Z", 現在支持精度大于至毫升的時間串。 多虧了江怡波
- 改善: 產生 DatasetXml 的 EMD。 建議定義Name 用于移除 '(" ) 和所有之後 。 現在它移除(.\只有到此為止sourceName. 現在它也移除了\[.\\]只有到此為止sourceName. 多虧了朱利安·保羅
- 改进:生成達塔斯 Xml 變數destinationName依需要, 多虧了朱利安·保羅
- 改善: 當 Calendar2. parseDate Time 剖析 dd, hh, 或 HH 時, 第一個數字可能現在是一個空格 。
- 知道問題: 從開始ERDDAP™2.10,.ncml 檔案要改變屬性, 不要改變屬性 。 據我報導, 這是在Netcdf-java中已知的蟲子,
- 破碎的林克斯FIX: 我做了一個適當的系統 測試破碎的連結ERDDAP™網頁, 所以目前應該少數斷裂的連結 (至少從每個發行日期起 - 常常會出現新的斷裂連結) .
- BUG FIX: ETDTable FromHttpGet 以某些類型的要求失敗 。 現在沒有了 多虧了BODC的艾瑪
- Bug FIX: UG: 要處理一些要求, EDDTable 為每個要求的變數做了一個暫時的檔案, 檔案名稱以變數的名字結束 。 如果變數名稱也是壓縮型態 (例如,.Z) ,ERDDAP我會試著 (失敗) 要解壓暫時檔案 。 現在暫時檔案名稱以 ". temp" 結束 。 多虧了馬修·比德爾
- BUG FIX:生成 DatasetsXml 和 Calendary2. 轉換Java日期 格式在試圖修訂可能无效的日期時間格式時, 可能會發生錯誤的變更 。 值得注意的是, 不會修改自動建議的日期時間格式 。 多虧了馬修·比德爾
- Bug FIX: UG: 如果從遠端 URL 取得內容時出錯, 如果此錯誤被壓縮,ERDDAP™現在正确解壓 錯誤訊息 。 多虧了鮑勃·西蒙斯
- Bug FIX: UG:<在 EDD 時, 訂閱ToRemoteErddapDataset > 未被使用... 來自 Erddap 的資料集是孩子的資料集 。 現在是了 多虧了克里斯·羅姆索斯
- BUG FIX: 產生達塔斯 Xml 不再認為從「 latin」 開始的來源變數名稱可能是經度 。 多虧了文森特·盧佐
- BUG FIX: 現在, 在處理使用者的請求時讀取數據檔時, 一個 OutOutMemoryError 并不是在 BadFiles 清單中新增檔案的理由 。 多虧了鮑勃·西蒙斯
2.02版本
(2019-08-21年)
-
新特性和變更 (使用者) :
-
New: 有兩種方法可以搜尋多個數據集ERDDAPs. 他們的工作有些不同,有不同的介面和選擇。
- 搜尋多重ERDDAPs.html來自鮑勃·西蒙斯/NOAA NMFS SWFSC ERD.
- http://erddap.com 來自羅布·富勒/愛爾蘭海洋研究所
多虧了泰拉·默里最初的要求
- 改善:"files"下載檔案的系統 (例如,AWS S3) 所以使用者會從來源下載數據, 而不是使用ERDDAP™作為中介 多虧了安迪·齊格勒NOAA.
- New: 以新的 AWS S3 相關功能為例, ~110 樣本數據集可以讓任何人瀏覽幾乎全部的內容 AWS S3 開啟資料桶. 如果按下"files"您可以在 S3 桶中瀏覽目錄樹與檔案。 由于這些資料集的工作方式,這些目錄列表總是完美更新,因為ERDDAP™讓他們飛起來 如果您 點擊目錄樹到實際的檔案名稱並點擊檔案名稱,ERDDAP™將會將您的請求重定向到 AWS S3, 以便您直接從 AWS 下載檔案 。ERDDAP™管理者可以 讀取其他 S3 桶的路徑. 多虧了安迪·齊格勒NOAA.
- 事情ERDDAP™管理者需要知道和做:
- 你需要做的事:
- 改进:ERDDAP儲存串列的方法 (串列) 更有效率的記憶力。 字符串 全部使用陣列ERDDAP™,特别是讀取表格 ASCII 資料檔。 另外, 其他變更讓讀取 CSV/TSV/SSV ASCII, 專欄 ASCII, 以及 jsonlCSV 表格數據檔更快、更有效率。 結果是: 一個764 MB ASCII 資料測試檔 (但压缩到52MB.gz文件) 3,503,266行和33列,最大內存用量由10GB降至0.6GB (峰值) . 讀到的時間是
7分鐘 (但因電腦裡有多少物理記憶而大不相同) 下至36秒 (包括用于简化的 10s () 它只被 GenerateDatasets 使用 Xml 命令) . 其他很多地方ERDDAP™這項增強的記憶力效率會有所助益。 多虧了泰拉·默里和馬修·比德爾
我探索了另一個辦法 (將字串儲存在 StringArray 中, 以 UTF-8- 編碼字元列) . 這會減少內存使用量, 和現在使用的系統相比 這似乎是個壞交易 給電腦更多記憶更簡單 (用~200美元買更多記憶體) 而不是讓它更快 (買一台全新的電腦) .
如果方便, 仍可依某些標準, 將巨大的表格資料檔案分拆成幾個更小的檔案。stationID和/或時間。ERDDAP™通常只需按使用者的要求開啟其中一個小檔案, 就能更快的回應 。
- 現在有了ERDDAP™AWS S3 文件描述如何得到ERDDAP™以使用 AWS S3 桶中的資料檔。
而且,ERDDAP™現在在 AWS S3 中使用新功能JavaAPI.
而且,ERDDAP™現在允許 AWS S3 網址包含附加的字元 (周期,连字符,下划線) 在桶名。
而且,ERDDAP™目前要求以特定方式辨識 AWS S3 桶 URL :
https://bucketName.s3._aws-region._amazonaws.com/prefix/
其中前缀是可選擇的。 多虧了安迪·齊格勒NOAA. - 改进:生成達塔斯 Xml 正在處理其他常见missing\_values 立方體為缺失值, 因此更可能將列轉換成數值數據型態 。 另外, 原始箭頭. 簡化 () 現在紀錄了特定數據值讓它把給定的欄列當作字串的欄位 。 多虧了馬修·比德爾
- 改进:<要求 Blacklist > 現在支持 。\.\ (或 :\:\用于 IPv6) 在 IP 位址的末端可以列出更大的 IP 位址, 例如 110. 52 。\.\ (中國Unicom天津) . 參考文件 [<要求Blacklist >] (/docs/server-admin/datasets# 要求黑名單) 多虧了中國Unicom和中國電信
- 如果数据集的來源未指定"institution"屬性, 產生代碼 Xml 和載入Dataset 現在從「 建立者」 屬性得到它 (如果有的話) . 多虧了米卡·溫格倫
- 标准化 ASCII 資料檔案中沒有總是被套用的東西. 另外, EDDTable 在來源有 String 時間值及標準化時, 無法妥善處理時間值的限制 正在使用的是什么。 多虧了帕洛瑪·德拉瓦萊
我之前沒說清楚 你應該用標準的 當你真正需要的時候,有什麼特徵? (例如, 不同來源檔案以不同方式儲存時間值) , 因為有些對使用标准化的數據集的要求 處理得慢一點
- Bug FIX: UG: 代碼中的錯誤EDDGrid從 NcFiles 導致它失敗.nc4和.hdf5份有「長」的檔案 (英寸64) 變數。 現在修好了 多虧了弗里德曼·沃布斯
- Bug FIX: UG: ISO 19115 檔案的小變更讓不同的驗證符快樂 。 多虧了克里斯·麥克德爾米德和安娜·米蘭