メインコンテンツへスキップ

additional-information

ERDDAP™- 自分で設定するERDDAP™

知っておくべきこと​

 

プロキシエラー​

時々、要求へのERDDAP™プロキシエラー、HTTP 502 Bad Gateway Error、または同様のエラーを返します。 これらのエラーは、Apache または Tomcat によってスローされます。ERDDAP™それ自体。

  • これらのエラーを生成するたびに、特に最初に設定するときにERDDAP™, おそらくプロキシまたは悪いゲートウェイのエラーです。, 解決策は、おそらく修正することですERDDAPプロキシ設定お問い合わせ 設立時にも問題になる可能性があります。ERDDAP™突然、すべてのリクエストに対してこれらのエラーを投げ始めます。
  • それ以外の場合、"proxy" エラーは通常、Apache または Tomcat によってスローされたエラーをタイムアウトします。 比較的迅速に起こる場合でも、Apache や Tomcat からの応答がいくつかあります。ERDDAP™いくつかの他のリソースによって非常に忙しく、メモリ制限されています。 これらの場合は、以下のアドバイスを参考にしてください。ERDDAP™ゆっくり反応するお問い合わせ

長時間にわたる要求 (>30 ポイント) グリッド化されたデータセットから、多くの場合、プロキシエラーとして表示される故障をタイムアウトする傾向があります。ERDDAP™すべてのデータを1つずつ開く。 お問い合わせERDDAP™それ以外の場合は、リクエスト中に問題が発生する可能性が高いです。 データセットのファイルが圧縮されている場合は、データセットのファイルが圧縮されているかどうかを判断するのは困難ですが、問題は起こりうる可能性があります。 ソリューションは、複数の要求を、それぞれより小さな時間範囲で行うことです。 時間範囲の小さは? 私は本当に小さいから始めることをお勧めします (～30ポイント?) , それから (お問い合わせ) リクエストが失敗するまでの時間範囲を倍増し、1つの倍増します。 それからすべての要求をします (それぞれが時間の異なるチャンクのために) すべてのデータを取得する必要があります。 ログインERDDAP™管理者は、増加することにより、この問題を軽減することができますApache のタイムアウト設定お問い合わせ

モニタリング​

私たちは、すべてのデータサービスが自分の聴衆を見つけたり、広く使用されるようにしたいが、時には、ERDDAP™すべてのリクエストに対して超遅い応答を含む問題を引き起こし、あまりにも多くの使用することができる。 問題を回避する計画は次のとおりです。

  • モニターERDDAP™お問い合わせstatus.html ウェブページお問い合わせ 役に立つ情報がたくさんあります。 膨大な数のリクエストが来たり、大量のメモリが使われたり、失敗したリクエストのトンや、各メジャーなLoadDatasetが長時間かかっているか、退屈してゆっくりと反応するようなものを見たりすると、ERDDAPお問い合わせlog.txt ファイル何が起こっているかを見るために。

ステータスページが応答速度が速いことに注意するのも便利です。 ゆっくり反応すると、重要な指標であるERDDAP™とても忙しくて。

  • モニターERDDAP™お問い合わせデイリーレポートメールアドレス  
  • 最新のデータセットを経由して見る ベースUrl /erddap/outOfDateDatasets.htmlオプションに基づくWebページtestOutOfDateグローバル属性。  

外部モニター​

上記の方法は、ERDDAP'監視自体の方法。 外部システムを監視したり、使用したりすることも可能です。ERDDAPお問い合わせ これを行うための一つのプロジェクトAxiomのerddap-metricsプロジェクトお問い合わせ このような外部システムにはいくつかの利点があります。

  • 必要な方法で表示する、必要な情報を提供するためにカスタマイズできます。
  • それらはについての情報を含むことができますERDDAP™ということERDDAP™CPU使用、ディスク空き容量など、簡単にアクセスできません。ERDDAP™ユーザーの視点から見た応答時間、ERDDAP™アップタイム,
  • アラートを提供できる (メール、電話、テキスト) 問題が閾値を超えたときに管理者に。  

複数の同時同時同時 リクエスト​

  • 複数の同時リクエストを作るブラックリストユーザー! 一部のユーザーが複数の同時リクエストを繰り返し、継続的に行うことが明らかな場合は、IP アドレスを追加してください。ERDDAP? ? ? ?<リクエストブラックリスト> (/docs/server-admin/datasets#requestblacklist) お問い合わせdatasets.xmlファイル。 リクエストは 1 つの IP アドレスからすべてです。 時々、複数のIPアドレスからあるが、明らかに同じユーザーです。 また、不正な要求や、マインド・インセンブルな非効率的な要求のトンを作る人々をブラックリストにすることができます。

それから、彼らが作る各要求のために、ERDDAP™リターン:

HTTP ERROR 403 - Access Forbidden --
Your IP address is on this ERDDAP's request blacklist.
Did you often submit more than one request at a time?
Did you often submit identical requests in a short period of time?
Did you submit a large number of invalid requests?
If you are ready to avoid these problems, please email \[ERDDAP™ administrator's email address\] to request to be taken off of the blacklist.

うまくいけば、ユーザーはこのメッセージが表示され、問題の修正方法を見つけ、ブラックリストをオフにする方法を見つけるためにあなたに連絡します。 時々、彼らはちょうどIPアドレスを切り替え、再び試してみてください。

戦争における攻撃力と防御力のバランスが似ています。 ここでは、防御的な武器 (ERDDAP) CPU、ディスクアクセス帯域幅、ネットワーク帯域幅のコア数に制限された固定容量を持っています。 しかし、攻撃的な武器 (ユーザ、著しくスクリプト) 無制限の容量を持っています:

  • 大量のタイムポイントからデータを要求する単一のリクエストは、ERDDAP膨大な数のファイルを開く (順序か部分的に複数の踏まれた) お問い合わせ 極端な場合、1つの「シンプル」要求は、簡単にRAIDを結び付けることができますERDDAP™1分間、他のリクエストの処理を効果的にブロックします。  
  • シングルは、メモリの大きなチャンクを消費することができます (でもERDDAP™大規模なリクエストを処理するために必要なメモリを最小限に抑えるコード化) お問い合わせ  
  • 並列化 ・ たくさんのスレッドを生成することで大きなタスクを並列化し、それぞれが別々のリクエストを送信します。 (大きいか小さいかもしれない) お問い合わせ この行動は、コンピュータサイエンスコミュニティが大きな問題に対処するための効率的な方法として奨励されます (そして並列化は他の状況で有効です) お問い合わせ 戦争のアナログに戻る: ユーザーは、本質的にゼロである各コストで同時リクエストの本質的に無制限の数を作ることができますが、各要求のコストは、ERDDAP™大きく、ERDDAP's の応答機能は finite です。 明確に、ERDDAP™この戦いを失います。ERDDAP™管理者は、他のユーザーを不公平に混雑させる複数の同時リクエストを作成するユーザーをブラックリストします。  
  • 複数のスクリプト - 並列化されたスクリプトを実行している複数のクレバーユーザーがいるときに何が起こるかを考えてみましょう。 1人のユーザーが他のユーザがクラウドアウトしているリクエストを多く生成できる場合、そのような複数のユーザーが複数のリクエストを生成できるため、ERDDAP™圧倒されず、反応しない。 それは効果的にありますDDOS攻撃再び、唯一の防衛のためのERDDAP™他のユーザーを不公平に混雑させる複数の同時リクエストを作るブラックリストユーザーです。  
  • 膨らみのある期待 - 大規模なテクノロジー企業の世界 (アマゾン、Google、Facebook、...) , ユーザーは、プロバイダから本質的に無制限の能力を期待しています. これらの企業は、運用を収益化しているため、より多くのユーザーが、ITインフラを拡大するために必要な収益が増えています。 そのため、大規模なITインフラが要求を処理することができます。 そして、ユーザーは、単一のリクエストが煩わしいものではないよう、ユーザができるリクエストの種類を制限することで、ユーザからリクエストのリクエスト数とコストを制限し、理由がない (または方法) 複数の同時リクエストを作成するために。 そのため、これらの巨大な技術会社は、はるかに多くのユーザーを持っている可能性がありますERDDAP™, しかし、彼らは、大規模なリソースと各ユーザーからの要求を制限するための賢明な方法を持っています. 大手IT企業の管理可能な状況です。 (そして、彼らは豊かさを得ます!) ではなく、ERDDAP™インストール。 再び、唯一の防衛のためのERDDAP™他のユーザーを不公平に混雑させる複数の同時リクエストを作るブラックリストユーザーです。  

そのため、ユーザーは複数の同時リクエストを行わないか、ブラックリスト化されます。  

明らかに、サーバーに多くのコア、たくさんのメモリがある場合、それは最善です (たくさんのメモリを割り当てるERDDAP™、それ以上必要性) 、および高い帯域幅インターネット接続。 すると、メモリは制限要因ではなく、ネットワークの帯域幅はより一般的な制限要因になります。 基本的には、複数の同時リクエストが複数あるため、指定したユーザのスピードが低下します。 各ユーザーが一度に1つのリクエストを提出すれば、そのリクエストの数が自然に遅くなります。

ERDDAP™THREDDSからデータを取得する​

もし、ERDDAP™サイトのTHREDDSからデータの一部を取得するには、THREDDSのデータファイルのコピーを作成するいくつかの利点があります (最も人気のあるデータセットの少なくとも) 別の RAID についてERDDAP™アクセスができるようにERDDAP™直接ファイルからデータを配信できます。 お問い合わせERD一番人気のデータセットです。

  • ERDDAP™データを直接取得し、データセットをリロードするためにTHREDDSを待つ必要はありません...
  • ERDDAP™すぐに新しいデータファイルを通知し、組み込むことができるので、データセットが変更されたかどうかを確認するために頻繁にTHREDDSをpesterする必要はありません。 詳しくはこちら<更新EveryNMillis> (/docs/server-admin/データセット#updateeverynmillis) お問い合わせ
  • 負荷は2つのRAIDSと2つのサーバー間で分割されます。ERDDAP™そしてTHREDDS。
  • 小さなTHREDDSによる誤った問題を回避 (デフォルトで) 最高サイズ。要求ERDDAP™ミスマッチを処理するシステムを持っていますが、問題を回避することはより良いです。
  • 常に良い考えであるデータのバックアップコピーがあります。

いずれの場合も、THREDDS を実行しなくなり、ERDDAP™同じTomcatで。 別のサーバーで別のTomcatsでそれらを実行するか、またはより良い。

THREDDSは定期的にリクエストがハングする状態にあることがわかります。 もし、ERDDAP™THREDDSとTHREDDSからのデータを取得しています。ERDDAP™防衛を持っている (THREDDSベースのデータセットは利用できません) 、しかしそれはまだ面倒ですERDDAP™なのでERDDAP™空腹のTHREDDSからデータセットをリロードしようとするたびにタイムアウトまで待つ必要があります。 グループ (含まれるものERD) THREDDSを頻繁に再起動することでこれを回避 (例: cron ジョブで一晩) お問い合わせ

スローリー対応​

  • お問い合わせERDDAP™反応が遅い または特定の要求がゆっくりと応答している場合、 遅さが合理的かつ一時的であるかどうかを把握することができます (例:スクリプトからのリクエストが多いためWMSユーザー) 、または何かが明示的に間違っている場合、Tomcatをシャットダウンして再起動し、Tomcatを再起動します。ERDDAP™お問い合わせ

お問い合わせERDDAP™ゆっくりと反応し、原因を判断するために、以下のアドバイスを参照してください。これにより、問題の修正が可能になります。 特定の開始点があるかもしれません (例: リクエスト URL) または漠然とした出発点 (例:ERDDAP™遅い) お問い合わせ ユーザーが関与しているユーザーを知ることができます (e.g. 彼らはあなたに電子メールを送ったので、) またはない。 他の手がかり、またはない場合があります。 これらすべての状況と問題の可能性のある原因がまとめられているので、以下のアドバイスは、可能な開始点と低応答に関連する可能性のある問題をすべて対処しようとします。

  • キューを探しますERDDAP's ログファイル ( bigParentディレクトリ /logs/log.txtの一覧) お問い合わせ \[まれな機会に、手がかりがありますTomcatのログファイル ( トームキャット /logs/catalina.outの特長) お問い合わせ\]
    エラーメッセージを探す 複数のリクエストを1つから受け取る (または数) サーバのリソースの多くを占有するユーザーとおそらく (メモリ、CPU時間、ディスクアクセス、インターネットの帯域幅) お問い合わせ

トラブルが結ばれた場合 1つのユーザー , ユーザがWebサービスを介している人について、よく知っていることができます。 https://whatismyipaddress.com/ip-lookup ユーザーの IP アドレスに関連する情報を与えることができます。 (あなたが見つけることができるものERDDAPお問い合わせログインファイル) お問い合わせ

  • ユーザがいるように見える場合 ボット ふるい ひどく (残念ながら、検索エンジンは、ERDDAP™エントリの値のあらゆる可能な透過性を持つフォーム) サーバが適切に設定されていることを確認してくださいロボット.txtファイル。
  • ユーザがいるように見える場合 **スクリプト (ツイート) ** 複数の同時リクエストを作ることで、ユーザに連絡し、それを説明ERDDAP™限られたリソース (例:メモリ、CPU時間、ディスクアクセス、インターネット帯域幅) 他の人のユーザーを考慮して、一度に1つのリクエストをするように依頼してください。 あなたはまた、彼らが戻っていない場合、それらをブラックリストすると言及するかもしれません.
  • ユーザがいるように見える場合 スクリプト 複数の時間を費やすリクエストを数多く行なうため、小さな一時停止をすることによって、他のユーザーの考慮事項をユーザーに尋ねる (2秒?) リクエスト間のスクリプト。
  • WMSクライアントソフトウェア 非常に要求することができます。 1つのクライアントは、多くの場合、6つのカスタム画像を一度に依頼します。 ユーザがいるように見える場合WMS正当な要求を下すクライアント:
  • それを無視します。 (おすすめは、近日はかなり移動するので)
  • サーバーのオフWMSサービスERDDAP's setup.html ファイル。 (お勧めしない)
  • リクエストが見える場合 stupid、インサイン、過度、または悪意のある、 または、他の方法で問題を解決できない場合は、ユーザーのIPアドレスを一時的にまたは永久に追加してください [<リクエストでブラックリスト>datasets.xmlファイル (/docs/server-admin/datasets#requestblacklist) お問い合わせ  
  • 自分のコンピュータから、自分自身の問題を解決してみてください。
    問題が1つのデータセットまたはすべてのデータセット、1つのユーザーまたはすべてのユーザーの場合、特定のタイプのリクエストなどの場合に問題がないかを調べます。 問題の重複ができたら、問題を絞り込みます。 問題の重複ができない場合は、問題はユーザーのコンピューター、ユーザーのインターネット接続、または機関のインターネット接続に結びつくことがあります。  
  • ただ、 1つのデータセット ゆっくり反応する (多分だけのために 1つのタイプの要求 1つのユーザーから) 問題は:
    • ERDDAPデータセットのソースデータへのアクセス (リレーショナル・データベース、Cassandra、リモート・データ・セットから) 一時的にまたは永久に遅くなる可能性があります。 ソースの速度を独立して確認してみてくださいERDDAPお問い合わせ 遅い場合、おそらくあなたはそれを向上させることができます。
    • 特定の要求や一般的なタイプの要求に関連する問題はありますか? データセットの要求されたサブセットが大きいほど、リクエストが失敗する可能性が高い。 ユーザーが大規模なリクエストをしている場合, より小さいリクエストを作るためにユーザーに尋ねる より速く、成功した応答を得る可能性が高い.

ほとんどのデータセットは、他の種類のリクエストよりも、いくつかの種類のリクエストを処理することで優れています。 たとえば、データセットが異なるファイルで異なる時間チャンクを保存している場合、膨大な数の時間ポイントからのデータのリクエストは非常に遅くなる可能性があります。 現行のリクエストが困難なタイプの場合、これらのリクエストに最適化されたデータセットのバリエーションを提供することを検討してください。 または、リクエストの種類が難しく、時間がかかっていたり、忍耐を求めるユーザーに対して説明するだけです。

  • データセットは最適に設定されていない場合があります。 データセットの変更ができるようにするdatasets.xml助けるためにチャンクERDDAP™データセットをよりよく処理します。 例えば、

    • EDDGridFromNcFiles は、圧縮された nc4/hdf5 ファイルからデータにアクセスするデータセットは、地理範囲全体のデータを取得する際に遅くなります。 (例えば、世界地図) ファイル全体が解凍される必要があるため。 ファイルを非圧縮ファイルに変換できますが、ディスクスペースの要件ははるかに大きくなります。 そのようなデータセットが特定の状況で遅くなるということを受け入れるのはおそらく良いでしょう。
    • [設定]<subsetVariables>> (/docs/server-admin/datasets#subsetvariable) タグには巨大な影響がありますERDDAP™EDDTable データセットを処理します。
    • 増加する可能性があります。EDDTableFromDatabase の速度データセット。
    • 多くのEDDTableデータセットは、データのコピーを格納するNetCDF目立たせられた配列ファイル, ,ERDDAP™すぐに読むことができます。

特定のデータセットをスピードアップするのに役立つ場合は、問題の説明とデータセットのチャンクを含むdatasets.xmlお問い合わせ追加サポートを受けるセクションお問い合わせ  

  • お問い合わせ すべて お問い合わせERDDAP™お問い合わせ 常に 遅くなると、問題は次のようになります。
    • 実行中のコンピューターERDDAP™十分な記憶力か処理力がないかもしれません。 走るのは良いERDDAP™モダンでマルチコアなサーバー 重い使用のために、サーバーは64ビットのオペレーティング システムおよび記憶の8 GB以上あるべきです。
    • 実行中のコンピューターERDDAP™システムリソースの多くを消費している他のアプリケーションを実行することもできます。 もしそうなら、専用のサーバーを専用のサーバーで取得できます。ERDDAPお問い合わせ 例えば (これは、支持ではありません) , あなたはあなたのためにメモリの8 GBでクォードコアMacミニサーバーを得ることができます ~$1100.  
  • お問い合わせ すべて お問い合わせERDDAP™お問い合わせ 臨時休業 遅い, 見るERDDAPお問い合わせ /erddap/status.htmlサイトマップ お使いのブラウザで
    • は、ERDDAP™ステータスページは読み込みに失敗しますか? お問い合わせリセットERDDAP™お問い合わせ
    • は、ERDDAP™ステータスページの読み込みが遅い (例:>5秒) お問い合わせ つまり、すべてがすべてにあるというサインです。ERDDAP™ゆっくり走っていますが、必ずしも問題ではありません。ERDDAP™本当に忙しくなるかもしれません。
    • 「応答障害時間」 (最後のメジャーな LoadDataset から) ",n= は、数が多い? 最近は失敗したリクエストがたくさんあることを示します。 トラブルやトラブルの開始など、 失敗のメディアンタイムはしばしば大きい (例:210000ms) , つまり、 (お問い合わせ) アクティブスレッドの多く。 たくさんのリソースを抱いた (メモリ、オープンファイル、オープンソケット、...) , それは良いではありません。
    • 「応答時間について (最後のメジャーな LoadDataset から) ",n= は、数が多い? 最近は多くの成功した要求があることを示しています。 問題ありません。 あなただけの手段ERDDAP™重い使用を得ています。
    • 「非対向スレッド数」は、典型的な値が2倍? これは、原因となる重大な問題ですERDDAP™遅くなり、最終的に凍結します。 時間の経過でこの主張者なら、積極的に参加したいリセットERDDAP™お問い合わせ
    • 「メモリー使用サマリー」リストの一番下では、最後の「メモリー:現在使用している」値が非常に高くなっていますか? 高利用状況を示すか、トラブルの兆候である可能性があります。
    • スレッドとそのステータスのリストをご覧ください。 何か異常なことをしているのは珍しい数ですか?  
  • お問い合わせ 機関のインターネット接続 現在遅いですか? 「インターネット速度テスト」のインターネットを検索し、次のような無料のオンラインテストのいずれかを使用します。 https://www.speakeasy.net/speedtest/ お問い合わせ 機関のインターネット接続が遅くなったら、その間の接続ERDDAP™リモートデータソースは遅くなり、その間の接続ERDDAP™ユーザは遅くなります。 時々、不要なインターネット利用を停止することで解決できます (たとえば、ストリーミングビデオやビデオ会議の電話を見ている人) お問い合わせ  
  • お問い合わせ ユーザーのインターネット接続 現在遅いですか? ユーザーが「インターネット速度テスト」のインターネットを検索し、次のような無料のオンラインテストのいずれかを使用します。 https://www.speakeasy.net/speedtest/ お問い合わせ ユーザーのインターネット接続が遅い場合、アクセスが遅くなります。ERDDAPお問い合わせ 時々、彼らは彼らの機関で不要なインターネットの使用を停止することにより、これを解決することができます (たとえば、ストリーミングビデオやビデオ会議の電話を見ている人) お問い合わせ  
  • スタック?
    お問い合わせ追加サポートを受けるセクションお問い合わせ

シャットダウンと再起動​

  • Tomcatをシャットダウンして再起動する方法とERDDAP™
    Tomcatをシャットダウンして再起動する必要はありません。ERDDAPお問い合わせERDDAP™一時的に遅い, いくつかの既知の理由のために遅い (スクリプトからのリクエストが多いか、WMSユーザー) 変更を加えるか、またはdatasets.xmlファイル。

Tomcatをシャットダウンして再起動する必要があります。ERDDAP™setup.xml ファイルに変更を加える必要がある場合や、ERDDAP™凍結、掛け金、ロックアップ。 極端な状況では、Javaそれは完全なゴミ収集を行う間、または2分の凍結することができます, しかし、回復. ですから、分か2を待つと良いです。Java/ / / /ERDDAP™本当に凍っているか、またはそれがちょうど長いゴミ収集をやっている場合。 (ゴミ収集が一般的な問題の場合、Tomcatにより多くのメモリを割り当てるお問い合わせ)

Tomcat Web Application Managerを使用してTomcatを起動またはシャットダウンすることをお勧めしません。 完全にシャットダウンして起動しないと、Tomcat が早く、または後で PermGen メモリの問題が発生します。

Tomcat をシャットダウンして再起動し、Tomcat を再起動し、Tomcat を再起動します。ERDDAP: : :

  • Linux または Mac を使用する場合: (Tomcatを実行する特別なユーザーを作成した場合は、Tomcat は、そのユーザーとして次の手順を実行してください。)
     
    1. cdを使う トームキャット /ビン  
    2. ps -efを使う|java/tomcatプロセスを見つけるための grep tomcat パスワード (うまくいけば、1つのプロセスがリストされます) 呼び出しする javaProcessIDの使い方 お問い合わせ  
    3. お問い合わせERDDAP™凍結/空/ロックアップ、キル-3を使用 javaProcessIDの使い方 お問い合わせJava (Tomcatを実行している) Tomcatログファイルにスレッドダンプを行うには: トームキャット /logs/catalina.out 。 再起動すると、スレッドダンプ情報を見つけることで問題の診断ができます (上記のその他の有用な情報) お問い合わせ トームキャット /logs/catalina.out と、関連する部分を読んでERDDAP™ログアーカイブお問い合わせ ご希望の場合は、その情報を含めることができます。追加サポートを受けるセクションお問い合わせ  
    4. ./shutdown を使う。 ログイン  
    5. ps -efを使う|java/tomcat プロセスがリストされていないまで、繰り返し tomcat を grep します。

時々、Java/tomcatプロセスは完全にシャットダウンするために最大2分かかります。 理由は:ERDDAP™バックグラウンドスレッドにメッセージを送信して、それらを停止するように指示しますが、時には、これらのスレッドは、良好な停止場所を得るために長い時間がかかります。

  1. 1分後にJava/tomcatが止まらないと、 キル -9 javaProcessIDの使い方
    java/tomcat プロセスを強制してすぐに停止します。 可能であれば、最後のリゾートとしてのみ使用してください。 -9スイッチは強力ですが、様々な問題を引き起こす可能性があります。  
  2. 再起動するERDDAP™./startup.sh を使う  
  3. ニュースERDDAP™ブラウザでは、再起動が成功したことを確認します。 (時々、あなたは30秒待って、ロードしようとする必要がありますERDDAP™再びあなたのブラウザで成功する。)
     
  • Windows を使用する場合:  
    1. cdを使う トームキャット /ビン  
    2. 使用条件shutdown.bat
       
    3. Windows のタスク マネージャーを使用するようにしたい/必要 (Ctrl Alt Del 経由でアクセス可能) それを確実にするためにJava/トムキャット/ERDDAP™プロセス/アプリケーションが完全に停止しました。 時々、プロセス/アプリケーションはシャットダウンするために最大2分かかります。 理由は:ERDDAP™バックグラウンドスレッドにメッセージを送信して、それらを停止するように指示しますが、時には、これらのスレッドは、良好な停止場所を得るために長い時間がかかります。  
    4. 再起動するERDDAP™, start.bat を使う  
    5. ニュースERDDAP™ブラウザでは、再起動が成功したことを確認します。 (時々、あなたは30秒待って、ロードしようとする必要がありますERDDAP™再びあなたのブラウザで成功する。)
       

頻繁なクラッシュまたは凍結​

お問い合わせERDDAP™遅くなる, クラッシュや凍結, 何かが間違っている. お問い合わせERDDAP's ログファイル原因を把握しようとする。 ご希望の場合は、詳細をご記入の上、ご確認下さい。追加サポートを受けるセクションお問い合わせ

最も一般的な問題は、一度に複数のスクリプトを実行している面倒なユーザーであり、/または複数の不正なリクエストを行なう人です。 これが起こると、おそらくそのユーザーをブラックリストにする必要があります。 blacklisted ユーザーがリクエストをすると、レスポンスのエラーメッセージは、問題の処理を促すように促します。 それから、一度に1つのスクリプトを実行し、スクリプトの問題を解決するためにそれらを奨励することができます (例えば、タイミングアウト前に応答できないリモートデータセットからデータを要求する) お問い合わせ 詳しくはこちら<リクエストでブラックリスト>datasets.xmlファイル (/docs/server-admin/datasets#requestblacklist) お問い合わせ

極端な状況では、Javaそれは完全なゴミ収集を行う間、または2分の凍結することができます, しかし、回復. ですから、分か2を待つと良いです。Java/ / / /ERDDAP™本当に凍っているか、またはそれがちょうど長いゴミ収集をやっている場合。 (ゴミ収集が一般的な問題の場合、Tomcatにより多くのメモリを割り当てるお問い合わせ)

お問い合わせERDDAP™遅くなるか、または凍結し、問題は面倒なユーザーや長いゴミ収集ではありません、あなたは通常、問題を解決することができます再起動ERDDAP™お問い合わせ 私の経験は、ERDDAP™再起動を必要とせずに数か月間実行できます。  

モニター​

監視できますERDDAP's ステータスを見る/erddap/status.htmlサイトマップ特にトップセクションの統計情報。 お問い合わせERDDAP™遅くなるか、または凍結し、問題はちょうど非常に重い使用法ではないです、通常問題を解決できます再起動ERDDAP™お問い合わせ /erddap/metrics で Prometheus のインテグレーションで使用できるメトリックが追加されています。

私の経験は、ERDDAP™再起動を必要とせずに数か月間実行できます。 変更を加える場合は、再起動する必要があります。ERDDAP's setup.xml または新しいバージョンをインストールする必要がある場合ERDDAP™,Java、 Tomcat、またはオペレーティングシステム。 再起動が必要な場合ERDDAP™頻繁に、何かが間違っています。 お問い合わせERDDAP's ログファイル原因を把握しようとする。 ご希望の場合は、詳細をご記入の上、ご確認下さい。追加サポートを受けるセクションお問い合わせ 一時的なソリューションとして、使用してみてくださいログイン監視するERDDAP™必要に応じて再起動します。 または、cronジョブを再起動させることもできます。ERDDAP™ (プロアクティブ) 定期的に。 監視と再起動を自動化するためにスクリプトを書くことは少し難しいかもしれませんERDDAPお問い合わせ 役立つヒント:

  • Tomcat プロセスが grep で -c スイッチを使用してまだ実行されているかどうかのテストを簡素化できます。 ps -uの トームキャット ユーザー |grep -c javaの これにより、プロセスが停止したときに、tomcat プロセスがまだ生き残っている場合、または "0" に出力を削減します。  
  • あなたがgawkで良いなら、あなたは結果からprocessIDを抽出することができます ps -uの トームキャット ユーザー |grep java はスクリプトの他の行で processID を使用します。  

Monit または cron ジョブを設定している場合は、詳細を共有できると便利です。追加サポートを受けるセクション共有できる場所

パーマジェン​

繰り返し使用すると、Tomcat マネージャーをリロード (または停止および開始) ERDDAP™,ERDDAP™起動してJava.langをスローしても失敗するかもしれません。 OutOfMemoryError: PermGen(パームゲン) ソリューションは定期的に (毎回?) tomcatをシャットダウンして再起動し、ERDDAP™、ちょうどリロードの代りERDDAPお問い合わせ \[更新: この問題は、非常に最小化または固定されたERDDAP™バージョン 1.24.\]
 

ログイン​

  • ログイン
    お問い合わせERDDAP™何かが期待どおりに機能しない場合、起動しない、または、エラーと診断メッセージを見ることは非常に便利ですERDDAP™ログファイル。
  • ログファイルは bigParentディレクトリ /logs/log.txtの一覧 ( bigParentディレクトリ で指定されるセットアップ。xml) お問い合わせ ログがない場合。 txt ファイルまたはログの場合。 txt ファイルが再起動してから更新されていないERDDAP™, 見るTomcatログファイルエラーメッセージがあるかどうかを確認します。
  • ログファイル内の診断メッセージの種類:
    • 何かが間違っていたときに「エラー」という言葉が使われ、手順が完了しなかった。 エラーを取得するのは迷惑ですが、エラーは問題に対処するために強制します。 私たちの考え方は、エラーを投げる方が良いことです。ERDDAP™途中で、期待していなかった方法で作業する。
    • 何かが間違っていたときに「警告」という言葉が使われますが、手順は完了できました。 これらはかなりまれです。
    • その他は、単なる有益なメッセージです。 どの程度の情報が記録されているかを制御することができます。 [<ログレベル> (/docs/server-admin/datasets#loglevel ディレクティブ) datasets.xmlお問い合わせ
    • データセットのリロードおよびユーザー応答は>10秒をとって終わります (首尾よくまたは不成功) "" とマークされている (>10代目) お問い合わせ したがって、このフレーズのlog.txtファイルを検索して、リロードやリクエストのリクエスト数が遅くなるデータセットを見つけることができます。 その後、log.txtファイルでデータセットの問題が何であるか、またはユーザーリクエストが誰であるかを確認することができます。 これらの遅いデータセットの読み込みとユーザのリクエストは、時に課税されますERDDAPお問い合わせ そのため、これらの要求についての詳細は、問題を特定し、解決するのに役立ちます。
  • ディスクドライブのログファイルにかなり大きなチャンクで情報を書きます。 利点は、これは非常に効率的なことです。ERDDAP™ログファイルに書き込まれる情報待ちをブロックしません。 欠点は、次のチャンクが書かれているまでログがほぼ常に部分的なメッセージで終わることです。 最新情報を受け取る (瞬時に) 閲覧することでERDDAP's ステータスウェブページ https://your.domain.org/erddap/status.html (またはhttp://お問い合わせhttps機能しない) お問い合わせ
  • log.txt ファイルが 20 MB になる場合、 ファイル名が変更されます。 txt.previous と新しい log.txt ファイルが作成されます。 ログファイルは蓄積しません。

setup.xml では、MegaBytes 内のログファイルに対して異なる最大サイズを指定できます。 最小許可は1です (メガバイト) お問い合わせ 最大許容値は2000 (メガバイト) お問い合わせ デフォルトは 20 です (メガバイト) お問い合わせ 例えば:

        <logMaxSizeMB>20</logMaxSizeMB>
  • 再起動するたびにERDDAP™, ERDDAP™log.txt と log のアーカイブコピーを作成します。 txt.previous ファイルの名前のタイムスタンプを持つファイル。 再起動前のトラブルが発生した場合は、トラブルが発生したかのように、これらのアーカイブされたファイルをクロースに分析するのに便利です。 必要がなくなった場合はアーカイブファイルを削除できます。  
log.txt をパースする​

ERDDAPログイン txtファイルは解析用に設計されていません (希望する情報を抽出する正規表現を作成することができるかもしれませんが) お問い合わせ 何かが間違っているときに何が起こっているのかを人間図を助けるように設計されています。 バグや問題報告を提出する際にERDDAP™開発者は、可能な場合は、問題のあるリクエストに関連するlog.txtファイルからすべての情報を含めてください。

効率の理由のため、ERDDAP™ログに情報を書き込むだけです。 情報の大部分が蓄積された後、txt。 ログにアクセスすると エラーが発生した直後には、エラーに関連する情報は、log.txt にはまだ書かれていない可能性があります。 log.txt から最新の情報を完全に取得するには、ERDDAPお問い合わせstatus.html ページお問い合わせ いつかERDDAP™要求するプロセスは、すべての保留情報をlog.txtにフラッシュします。

お問い合わせERDDAP™利用状況の統計は、ご利用下さい。Apache および/または Tomcat のログファイル代わりにERDDAP's log.txt. 注意:ERDDAPお問い合わせstatus.html ページ (詳しくはこちら) そして、デイリーレポート (ニュース) 多数の使用統計量をあなたのために事前に計算しました。

Tomcatログ​

お問い合わせERDDAP™エラーが初期に発生したため起動しませんERDDAP's スタートアップ、エラーメッセージが Tomcat のログファイルに表示されます。 ( トームキャット /logs/catalina. /ログ/カタリナ. 今日更新 .log または トームキャット /logs/catalina.outの特長) , ないERDDAP's log.txt ファイルお問い合わせ

利用統計: ログファイルから収集したい情報の大部分 (例:利用統計) Apache および/または Tomcat のログファイルを使用してください。 整形され、その種類の情報を持っています。 それらを分析するためのツールは、例えば、AWステータス,ElasticSearchのキバナとJメター, しかし、あなたの目的のために右のツールを見つけるためにWebを検索.

ログファイルは、IPアドレスとしてユーザーを識別するだけです。 特定のIPアドレスに関連する情報を取得するウェブサイトがあります。トピックス, しかし、あなたは通常、ユーザーの名前を見つけることができません.

また、DHCPの特長, 特定のユーザーの IP アドレスは、異なる日に異なる場合があります, または異なるユーザーは、異なる時間に同じ IP アドレスを持つことができます.

代わりに、好きなものを使用できますGoogleアナリティクスお問い合わせ しかし、注意してください: Google Analytics などの外部サービスを使用する場合、Google があなたのサイト上で自分の活動に完全にアクセスできるようにすることで、ユーザーのプライバシーを上げています。 (その他?) あらゆる目的のために永遠にそして使用し続けることができます (おそらく技術的にないが、おそらく練習) お問い合わせ あなたのユーザーはこれに同意していないし、おそらく彼らがほとんどすべてのウェブサイトで追跡されている範囲を認識していないので、あなたのウェブサイト上で追跡されることに注意してください。 最近は、Web上で行うすべての人がこれらの大企業によって監視されていることを多くのユーザーが非常に懸念しています (Google、Facebookなど) そして、政府によって、この不当な侵入を彼らの生活に見つけます (1984年(昭和40年)) お問い合わせ これは、このような製品をインストールする多くのユーザーを駆動しましたプライバシー・バッジトラッキングを最小限にし、代替ブラウザを使用するTorブラウザ (または従来のブラウザで追跡をオフにする) , などの代替検索エンジンを使用するダックダックゴーお問い合わせ Google Analytics などのサービスを使用する場合は、少なくともその使用と結果を変更することにより、<標準プライバシーポリシー>タグERDDAPお問い合わせ \[トームキャット\]/webapps/erddap/WEB-INF/classes/gov/noa/pfel/erddap/util/messages.xml ファイル。

Eメールログ​

  • メールLogYEAR-MM-DD.txt
    ERDDAP™現在の日の電子メールですべての発信メールメッセージのテキストを常に書きます LogYEAR-MM-DD.txt ファイル bigParentディレクトリ /ログ ( bigParentディレクトリ で指定されるセットアップ。xml) お問い合わせ
  • サーバがメールメッセージを送信できない場合、または設定した場合ERDDAP™電子メールメッセージを送信したり、気に入ったら、このファイルは送信されたすべてのメールメッセージを表示する便利な方法です。
  • 必要がなくなった場合は、以前の日のメールログファイルを削除できます。  

デイリーレポート​

デイリーレポートにはたくさんの有用な情報があります - あなたのすべての情報からERDDAPお問い合わせ/erddap/status.htmlサイトマップお問い合わせ

  • それはあなたの最も完全な要約ですERDDAP's ステータス。
  • 他の統計では、ロードされていないデータセットや生成された例外のリストが含まれています。
  • 起動時に生成されますERDDAP™ (あとすぐERDDAP™すべてのデータセットをロードしようとする終了) 毎日午前7時以降に現地時間が発生しました。
  • 生成されるたびに、ERDDAP's log.txt ファイルお問い合わせ
  • 生成されるたびに、メールが送信されます。<電子メールDailyReportsTo> および<メール お知らせ (で指定されるセットアップ。xml) メールシステムの設定 (で setup.xml) お問い合わせ

ステータスページ​

ステータスを表示できますERDDAP™どのブラウザからも<ベースUrl>/erddap/status.html

  • このページは動的に生成されます。そのため、常に最新の統計データが作成されます。ERDDAPお問い合わせ
  • リクエスト数、メモリ使用量、スレッドスタックトレース、タスクスレッドなどに関する統計が含まれます。
  • ステータスページは誰からでも閲覧できるため、できるだけ多くの情報が含まれていません。デイリーレポートお問い合わせ  

データセットの追加/変更​

ERDDAP™通常は読み直しますdatasets.xmlすべて loadDatasetsMinutes ディレクティブ (で指定されるセットアップ。xml) お問い合わせ そのため、変更を加えることができますdatasets.xmlいつでも、ERDDAP™実行中です。 新しいデータセットは、通常、すぐに検出されます loadDatasetsMinutes ディレクティブ お問い合わせ 変更したデータセットが再読み込みされます。 リロードEveryNMinutes 古い投稿 (で指定されるdatasets.xml) お問い合わせ

ログイン​

  • フラグファイルお問い合わせERDDAP™できるだけ早くデータセットをリロードしようとする

  • ERDDAP™データセットのセットアップの変更に気付くことはありませんdatasets.xmlまでERDDAP™データセットをリロードします。  

  • お問い合わせERDDAP™データセットをできるだけ早くリロードする(データセットの場合)<reloadEveryNMinutes> はそれをリロードされるように引き起こします)、ファイルに置きます bigParentディレクトリ /フラグ ( bigParentディレクトリ で指定されるセットアップ。xml) データセットと同じ名前を持つことdatasetIDお問い合わせ これは、ERDDAP™データセットASAPを再ロードしようとする。 以前のバージョンのデータセットは、新しいバージョンが利用可能であり、原子を所定の位置にスワップされるまで、ユーザーにご利用いただけます。 お問い合わせEDDGridファイルとEDDTable FromFiles では、リロードしたデータセットは、新しいファイルや変更されたファイルを探し出し、それらを読み込み、データセットに組み込むことができます。 そのため、リロードする時間は、新しいファイルや変更されたファイルの数に依存します。 データセットがactive="false" の場合、ERDDAP™データセットを削除します。  

悪いファイルフラグ​

  • /flagディレクトリの1つのバリアントは/badFilesFlagディレクトリです。 (追加されたERDDAP™v2.12.)
    ファイルにファイルを置く場合 bigParentディレクトリ /badFilesFlag ディレクトリーdatasetIDファイル名として (ファイルの内容は問題ありません) すぐに、ERDDAP™badFiles を参照 旗ファイル,ERDDAP™予定:

    1. BadFilesFlagファイルを削除します。
    2. BadFilesを削除する.ncファイル (1つある場合) , そのデータセットの悪いファイルのリストを持っています。. のようなデータセットのためEDDGridSideBySide は子データセットを持っているので、これも悪いファイルを削除します。.ncすべての子のデータセットのファイル。
    3. データセットASAPをリロードします。

したがって、この原因はERDDAP™以前にファイルを扱うために再び試みる (本当に?) 悪いとマークされる。  

堅い旗​

  • /flag ディレクトリの別の variant は /hardFlag ディレクトリです。 (追加されたERDDAP™v1.74.)
    ファイルにファイルを置く場合 bigParentディレクトリ /hardFlag と adatasetIDファイル名として (ファイルの内容は問題ありません) すぐに、ERDDAP™硬いものを見る 旗ファイル,ERDDAP™予定:

    1. hardFlagファイルを削除します。
    2. データセットを削除ERDDAPお問い合わせ
    3. 情報をすべて削除するERDDAP™このデータセットについて保存しました。 お問い合わせEDDGridファイルとEDDTable FromFiles サブクラスは、データファイルの内部データベースとその内容を削除します。 のようなデータセットのためEDDGridSideBySide は、子データセットを持つデータファイルの内部データベースと、すべての子データセットのコンテンツも削除します。
    4. データセットをリロードします。 お問い合わせEDDGridファイルとEDDTable FromFiles サブクラス、この原因ERDDAP™再読まれるため すべて データファイルの そのため、データセット内のデータファイルの総数に依存します。 データセットが削除されたためERDDAP™HardFlag が通知されたとき、データセットがリロードされるまでデータセットは利用できなくなります。 患者になる。 お問い合わせログイン何が起こっているかを見たい場合は、ファイル。

HardFlag バリアントは、データセットが現在ロードされていない場合でも、データセットの保存情報を削除します。ERDDAPお問い合わせ

ハード どのように変化を引き起こす何かを行うとき、フラグは非常に便利ですERDDAP™ソースデータを読み込み、解釈します。例えば、新しいバージョンをインストールしたときにERDDAP™またはデータセットの定義に変更があった場合datasets.xml

  • フラグ、悪いFilesFlag、およびhardFlagファイルの内容は、関連性がありません。ERDDAP™ファイル名を見て、datasetIDお問い合わせ  
  • 主要なデータセットのリロード間のERDDAP™フラグ、悪いFilesFlag、およびhardFlagファイルを継続的に参照してください。  
  • データセットがリロードされる場合、すべてのファイル bigParentディレクトリ / / / /キャッシュ/ / / / datasetID ディレクトリは削除されます。 含まれるもの.nc普通に~15分キャッシュされるイメージファイル。  
  • dataset の xml が含まれている場合に注意して下さいアクティブ="false"フラグは、データセットが非アクティブにされるようにします。 (それがアクティブである場合) いかなる場合もリロードされません。  
  • 任意の時間ERDDAP™メジャーリロードを行うためにLoadDatasetを実行します(制御されたタイムドリロード<loadDatasetsMinutes> またはマイナーリロード (外部または内部フラグの結果として) ,ERDDAP™全てを読む<decompressedCacheMaxGB>,<decompressedCacheMaxMinutesOld>,<ユーザー><リクエストブラックリスト><スローダウンTroubleMillis>、および<サブスクリプションメールブラックリスト> タグと新しい設定に切り替えます。 そのため、取得方法としてフラグを使うことができます。ERDDAP™それらのタグを ASAP に変更することに注意してください。
データセットフラグを設定する​

  • ERDDAP™URL を介してフラグを設定できるように、Web サービスがあります。

    • 例えば、 https://coastwatch.pfeg.noaa.gov/erddap/setDatasetFlag.txt?datasetID=rPmelTao&flagKey=123456789
      (偽のフラグ キーキー) rPmelTao データセットのフラグを設定します。
    • それぞれに異なるフラッグキーがありますdatasetIDお問い合わせ
    • 管理者は、すべてのデータセットのフラグ URL の一覧を、自分の下部を見ることで確認できます。デイリーレポートメールアドレス
    • 管理者は、これらの URL を機密として扱う必要があります。なぜなら、誰かがデータをリセットする権利を与えられたからです。
    • フラグキーがそれらを乱用している人の手に落ちていると思うなら、変更することができます<flagKey> でセットアップ。xml再起動ERDDAP強制するERDDAP™flagKey の異なるセットを生成し、使用する。
    • 変更する場合<flagKey> は、古いサブスクリプションをすべて削除します。 (デイリーレポートの一覧を見る) 新しい URL を新しい URL に送信してほしい人へ送信してください。

フラグシステムは、指示のためのより効率的なメカニズムに基づいて機能することができますERDDAP™データセットをリロードするとき。 たとえば、データセットの<reloadEveryNMinutes> 数が多い (例:10080 = 1週間) お問い合わせ 次に、データセットが変更されたことを知っているとき (おそらく、データセットのデータディレクトリにファイルを追加したからです) フラグを設定して、データセットができるだけ早くリロードされるようにします。 旗は通常すぐに見られます。 ただし、LoadDatasets スレッドが既に忙しくなれば、フラグ上で動作する機能が利用できるのはしばらく前になります。 しかし、フラグシステムは、設定よりもはるかに応答性とはるかに効率的です<reloadEveryNMinutes> を小数に。

データセットの削除​

データセットが有効である場合ERDDAP™一時的にまたは永続的に無効にしたい。

  1. インスタグラムdatasets.xmlデータセットの場合、セットアクティブ="false"データセットタグ
  2. 待ち合わせERDDAP™次のメジャーリロード時にデータセットを削除するフラグを設定するデータセットについてERDDAP™変更をできるだけ早く通知します。 これを行うと、ERDDAP™データセットについて保存した可能性のある情報を捨てず、実際のデータには何もしません。
  3. 次に、アクティブ="false" のデータを保存することができます。datasets.xmlまたはそれを削除します。  

データセットがリロードされるとき?​

RunLoadDatasets と呼ばれるスレッドは、データセットがリロードされるときに制御するマスタースレッドです。 ランロード データセットは永遠にループします:

  1. RunLoadDatasets は、現在の時刻をメモします。

  2. RunLoadDatasets は「majorLoad」を行うために LoadDatasets スレッドを開始します。 現在の/前のメジャーロードに関する情報を、あなたの一番上に表示することができますERDDAPお問い合わせ /erddap/status.htmlサイトマップ (例えば、ステータスページ例) お問い合わせ

    1. LoadDatasets はコピーを作成します。datasets.xmlお問い合わせ
    2. LoadDatasets はコピーを通して読みますdatasets.xmlデータセットごとに、データセットが必要となるかどうかを確認します。 (リリース) ロードまたは削除。
      • お問い合わせログインファイルがこのデータセットに存在し、ファイルが削除され、アクティブ="false" または (リリース) アクティブ="true" の場合読み込み (データセットの年齢に関係なく) お問い合わせ
      • dataset の dataset.xml chunk が Active="false" を持ち、現在データセットがロードされている場合 (アクティブ) 、それは荷を下されます (削除) お問い合わせ
      • データセットがactive="true" を持ち、データセットが既にロードされていない場合、ロードされます。
      • データセットがactive="true" を持ち、データセットが既に読み込まれている場合は、データセットの年齢であればデータセットがリロードされます。 (最後の負荷以来の時間) それよりも大きい<リロード 毎分> (デフォルト = 10080 分) つまり、データセットは単独で残っています。
    3. LoadDatasets は終了します。

RunLoadDatasets スレッドは、LoadDatasets スレッドが終了するのを待ちます。 LoadDatasets が loadDatasets よりも長い場合 分光器 (setup.xml で指定された) , RunLoadDatasets は LoadDatasets スレッドを中断します。 理想的には、LoadDatasets は、中断と終了を通知します。 しかし、1分以内に割込みに気付かないと、RunLoadDatasets は loadDatasets を呼び出します。 ストップ () , 望ましくない. 3. 最後のメジャーの開始以来の時間は loadDatasets よりも少ない 分光器 (set.xml で指定されると、例えば 15 分) , RunLoadDatasets は繰り返し参照しますログインファイル内のファイル bigParentディレクトリ /flagディレクトリ。 1 つ以上のフラグファイルが見つかった場合、それらは削除され、RunLoadDatasets は「minorLoad」を行うために LoadDatasets スレッドを開始します。 (メジャーロード=false) お問い合わせ あなたのマイナーロード情報を見ることができませんERDDAPお問い合わせ/erddap/status.htmlサイトマップお問い合わせ

  1. LoadDatasets はコピーを作成します。datasets.xmlお問い合わせ
  2. LoadDatasets はコピーを通して読みますdatasets.xmlフラグファイルがある各データセットの場合:
    • dataset の dataset.xml chunk が Active="false" を持ち、現在データセットがロードされている場合 (アクティブ) 、それは荷を下されます (削除) お問い合わせ
    • データセットがactive="true"の場合、データセットは (リリース) 年齢を問わず、積み込み 非強化されたデータセットは無視されます。
  3. LoadDatasets は終了します。
  4. ランロード データセットはステップ1に戻ります。

注意:

  • スタートアップ 再起動するときERDDAP™, アクティブ="true" の全てのデータセットがロードされます。

  • キャッシュ データセットが (リリース) 読み込み、キャッシュ (データ応答ファイルおよび/またはイメージファイルを含む) お問い合わせ

  • 大量のデータセット 大量のデータセットと/または複数のデータセットが遅い場合 (リリース) load は、loadDatasets スレッドは、ロードデータセットよりも長い期間かかることがあります。 最小限。

  • 1つのLoadDatasetsの糸 LoadDatasets スレッドが一度に実行されることはありません。 LoadDatasetsが既に稼働しているときにフラグが設定されている場合、そのLoadDatasetsスレッドが実行を終了するまで、フラグは通知または動作しません。 と言うかもしれません: 「それは運命です。 データセットをロードする新しいスレッドの束を開始しないのはなぜですか? しかし、1つのリモートサーバからデータを取得するデータセットが多い場合、1つのLoadDatasetsスレッドでもリモートサーバーに大きなストレスがかかっています。 1つのRAID上のファイルからデータを取得する多くのデータセットを持っている場合は、同じです。 複数の LoadDatasets スレッドを持つことから、急速に減少しています。

  • フラグ = ASAP フラグを設定すると、データセットがすべき信号だけ (リリース) できるだけ早く読み込まれる、必ずしもすぐにではありません。 LoadDatasets スレッドが現在実行されていない場合、データセットは数秒以内にリロードされます。 ただし、LoadDatasets スレッドが現在稼働している場合、そのロードデータセットスレッドが終了するまで、データセットは再ロードされません。

  • 削除されたフラグ ファイル 一般的には、フラグファイルを置くと bigParentディレクトリ /erddap/flagディレクトリ (データセットのフラグにアクセスすることで そこに実際のファイルを置くか、または) 、そのフラグファイルが削除された直後に、データセットは通常非常に再読み込みされます。

  • 旗versusの小さいreload 毎分 データセットがリロードされる必要がある場合と、便利な場合、データセットが常に最新であることを確認するための最良の方法は、リロードを設定することです 毎分数が多い (10080 か。) フラグを設定 (スクリプトを使って?) 再読み込みが必要な時。 つまり、そのシステムであるEDDGridFromErddap と EDDTableFromErddap は、データセットがリロードする必要があるメッセージを受信します。

  • log.txt を見る 関連する情報の多くは、 bigParentディレクトリ /logs/log.txt ファイル 期待どおりに機能しない場合は、ログを見てください。 txtを使用すると、問題の診断を正確に見つけ出すことができますERDDAP™行なった。

    • メジャーな LoadDataset スレッドの開始時に "majorLoad=true" を検索します。

    • マイナーな LoadDatasets スレッドの開始時に "majorLoad=false" を検索します。

    • 特定のデータセットの検索datasetID情報について (リリース) ロードまたはクライド。

       

キャッシュされた応答​

一般的には、ERDDAP™キャッシュしない (ショップ) ユーザーのリクエストに対する応答。 合理的は、ほとんどの要求が若干異なるため、キャッシュは非常に効果的ではありませんでした。 最大の例外はイメージファイルへのリクエストです (ブラウザやプログラムなどからキャッシュされるGoogle Earth多くの場合、再要求画像) リクエスト.ncファイル (彼らがオンザフライを作成できないので) お問い合わせERDDAP™各データセットのキャッシュされたファイルを別のディレクトリに保存します。 bigParentディレクトリ /キャッシュ/ datasetID 単一のキャッシュディレクトリには、アクセスが遅くなる可能性があるファイルがたくさんあります。 ファイルが3つの理由からキャッシュから削除されます。

  • このキャッシュのすべてのファイルが削除されますERDDAP™再起動します。
  • 定期的に、ファイル以上<cacheMinutes> 古い (で指定されるセットアップ。xml) 削除されます。 年齢に基づいてキャッシュ内のファイルを削除する (最近使用されていない) ファイルがキャッシュに長期滞在しないことを確認してください。 リクエストが常に同じ応答を返すように見えるかもしれませんが、それは本当ではありません。 例えば、tabledap&timeリクエストを含む> 詳しくはこちら タイムタイム データセットに新しいデータが到着すると変更されます。 そして含まれているgriddapの要求\[最後の投稿\]データセットに新しいデータが届くと、時間次元が変化します。
  • エラー条件を示す画像はキャッシュされますが、数分間のみ (難しい状況です) お問い合わせ
  • データセットがリロードされるたびに、そのデータセットのキャッシュのすべてのファイルが削除されます。 リクエストは、"last"グリッドされたデータセット内のインデックス、データセットがリロードされるとキャッシュ内のファイルが無効になる場合があります。  

保存データセット情報​

すべてのタイプのデータセットのため、ERDDAP™データセットがロードされ、メモリに保管されると、多くの情報を収集します。 これは、ERDDAP™データの検索、データセットの一覧のリクエスト、データセットに関する情報のリクエストに素早く対応できます。

いくつかの種類のデータセットの場合 (お知らせEDDGridコピー、EDDTableCopy、EDDGrid詳しくはこちら ログイン ファイルとEDDTableFrom ログイン ファイル) ,ERDDAP™データセットがリロードされるときに再利用されるデータセットに関する情報をディスクに保存します。 再読み込みプロセスを非常に高速化します。

  • データセット情報ファイルの一部は、人間が読める.jsonファイルが保存され、 bigParentディレクトリ /データセット/ last2LettersOfデータセットID/datasetID お問い合わせ
  • ERDDAP™これらのファイルを異常な状況で削除するだけです。例えば、データセットの変数を追加または削除する場合datasets.xmlチャンク。
  • データセットのほとんどの変更datasets.xmlチャンク (e.g.、グローバル属性や変数属性の変更) これらのファイルを削除する必要はありません。 通常のデータセットリロードは、これらの種類の変更を処理する。 教えてくださいERDDAP™設定でデータセットASAPを再ロードするログインデータセットの場合。
  • 同様に、データファイルの追加、削除、または変更が処理されます。ERDDAP™データセットをリロードします。 しかし、ERDDAP™データセットが[]を使用している場合は、このタイプの変更がすぐに自動的に通知されます。<更新EveryNMillis> (/docs/server-admin/データセット#updateeverynmillis) システム。
  • これらのファイルを削除するには、必要なくありません。 あなたが強制する必要がある最も一般的な状況ERDDAP™保存された情報を削除する (最新/非正確で、自動で固定されないためERDDAP) データセットの変更を行うときdatasets.xmlどのように影響するチャンクERDDAP™ソースデータファイル内のデータを解釈します。例えば、時間変数の形式の文字列を変更します。
  • データセットの保存した情報ファイルを削除するERDDAP™実行中 (データセットが現在ロードされていない場合でも) , 設定するハード ログインそのデータセットのため。 データセットが多数のファイルの集計である場合、データセットを再読み込みするとかなりの時間がかかります。
  • データセットの保存した情報ファイルを削除するERDDAP™実行しない, 実行ダスDdsデータセット (どのディレクトリに情報が配置され、手動でファイルを削除するよりも簡単です) お問い合わせ データセットが多数のファイルの集計である場合、データセットを再読み込みするとかなりの時間がかかります。  

記憶状態​

ERDDAP™クラッシュしたり、フリーズしたりしないでください。 それがなければ、最も可能性が高い原因の1つは不十分な記憶です。 のような行を含むstatus.htmlウェブページを見て、メモリの使用状況を監視できます。

0 gc 呼び出し、0 リクエスト shed、0 危険 過去の主要なLoadDatasets以来の MemoryEmails

(深刻なイベントが進行中)
統計表のMB inUse と gc カラムを呼び出します。 メモリストレスが発生した方法を教えてください。ERDDAP™数字を見ることで、 より高い数字は、より多くのストレスを示しています。

  • MB の inUse は常に半分以下でなければなりません\-Xmxメモリ設定お問い合わせ 数字が大きいのは悪い記号です。
  • gc 呼び出しは回数を表しますERDDAP™高メモリ使用量を緩和しようとするゴミ収集器と呼ばれる。 これが>100になると、深刻なトラブルの兆候です。
  • shed は、ハッシュされたリクエストの数を示します。 (HTTP エラー番号 503 で、サービス利用不可) メモリ使用量が高すぎるため。 理想的には、要求は取り除くべきではないです。 少数の要求が小屋なら大丈夫ですが、多くが小屋なら深刻な悩みの印です。
  • 危険性 MemoryEmail - メモリ使用が危険に高い場合、ERDDAP™記載されているメールアドレス宛に電子メールを送信<メール お知らせ (で setup.xml) アクティブなユーザーリクエストのリストで。 Eメールが言うと、これらのメールをChrisに転送してください。 ノアのヨハネ。 gov では、将来のバージョンを改善するために情報を使用できるので、ERDDAPお問い合わせ  

もし、ERDDAP™メモリストレス:

  • サーバのメモリの多くを割り当てることを考慮するERDDAP™Tomcatの変更により‐Xmxメモリの設定お問い合わせ
  • すでに多くのメモリを割り当てられた場合ERDDAP™-Xmx 経由で, お使いのサーバーのより多くのメモリを購入検討. 記憶は安いです (新規サーバーや時間の価格と比較して) お問い合わせ すると -Xmx が増加します。
  • インスタグラムdatasets.xml, セット<nGridThreads> 1セット<nTableThreads> から 1、およびセット<ipAddressMaxRequestsActive> から 1.
  • log.txt のリクエストを非効率的で面倒なものにします。 (しかし、正当な) リクエスト IPアドレスを追加する<リクエストブラックリスト> お問い合わせdatasets.xmlお問い合わせ blacklist エラーメッセージには、ERDDAP™管理者のメールアドレスは、ユーザーがあなたに連絡して、それらを使用して作業できるように希望しますERDDAP™より効率的に。 それはあなたがブラックリストと理由のIPアドレスのリストを維持するのは良いです, 彼らがあなたに連絡する場合、ユーザーが操作できるように.
  • 悪意のあるユーザーからのリクエストについては、log.txt のリクエストを参照してください。 IPアドレスを追加する<リクエストブラックリスト> お問い合わせdatasets.xmlお問い合わせ 同様の要求が複数の類似のIPアドレスから来ている場合は、いくつかの who-is サービスを使うことができます。 (例: https://www.whois.com/whois/ ) そのソースからIPアドレスの範囲を見つけ、範囲全体をブラックリストします。 [を見る]<ブラックリスト> ドキュメントリクエスト (/docs/server-admin/datasets#requestblacklist) お問い合わせ  

OutOfメモエラー​

セットアップするときERDDAP™メモリの最大量を指定するJavaで使用することができます\-Xmxの設定お問い合わせ お問い合わせERDDAP™それよりも多くのメモリが必要です。Javaをスローします。 ログイン OutOfMemoryError エラーERDDAP™十分にチェックして、そのエラーをうまく処理できるようにします (例えば、面倒なリクエストは失敗しますが、システムがその完全性を保持します。) お問い合わせ しかし、時々、エラーはシステムの完全性を損傷し、再起動する必要がありますERDDAPお問い合わせ うまくいけば、それはまれです。

OutOfMemoryError への迅速かつ簡単なソリューションは、\-Xmxの設定, しかし、サーバー内の物理メモリの80%以上に -Xmx の設定を増加させてはならない (例えば、10GBサーバーの場合は、8GB以上のXmxを設定しないでください。) お問い合わせ メモリは比較的安いので、サーバーのメモリを増加させるのに良い選択肢かもしれません。 しかし、サーバー内のメモリを最大化したり、他の理由でそれを増やすことができない場合は、OutOfMemoryError の原因を直接対処する必要があります。

あなたが見るとログインファイルの一覧ERDDAP™エラーが発生したときには、OutOfMemoryError の原因として、通常は良い手掛かりを得ることができます。 以下のような原因があります。

  • 単一の巨大なデータファイルが OutOfMemoryError を引き起こします。特に、巨大な ASCII データファイルです。 これが問題であるならば、それは明らかであるべきですERDDAP™データセットをロードできません (表形式のデータセットの場合) またはそのファイルからデータを読み込む (グリッドデータセット用) お問い合わせ feasible なら、ファイルを複数のファイルに分割することです。 理想的には、ファイルを論理チャンクに分割できます。 たとえば、ファイルに20か月分のデータが含まれている場合は、1か月分のデータをそれぞれ20ファイルに分割します。 しかし、メインファイルが任意に分割されている場合でも利点があります。 このアプローチには複数の利点があります: a) データファイルを1/20に読み込むために必要なメモリを1つだけ減らします。 b) しばしば,ERDDAP™特定のリクエストのデータを見つけるために1つまたは少数のファイルを見る必要があるため、リクエストをはるかに迅速に対処できます。 c) データの収集が進行中の場合、既存の20ファイルが変更されていないままになり、データセットに次の月の値を追加するには、1つの小さな新しいファイルだけを変更する必要があります。
  • 単一の巨大なリクエストは、OutOfMemoryError を引き起こす可能性があります。 特に、一部orderByオプションには、メモリ全体での応答が秒単位である (例えば、ソートを行う) お問い合わせ 応答が大きければエラーにつながることができます。 様々な方法で、大きすぎるリクエストが常にあります。 -Xmxの設定を増加させることで問題を解決できます。 あるいは、より小さいリクエストのシリーズを作ることをユーザーに奨励することができます。
  • 大量のファイルがファイルの原因となるのは違います。ERDDAP™ファイルがエラーを引き起こしてしまうほど大きいように作成します。 各ファイルが300バイトを使用している場合、1,000,000ファイルは300MBしかかかりません。 しかし、膨大な数のデータファイルを持つデータセットは、他の問題を引き起こしますERDDAP当然のことながら、長い間かかりますERDDAP™ユーザーの要求に応じ、データに対するすべてのデータファイルを開きます。 この場合、データファイルが少ないため、解決策はファイルを集計する場合があります。 表形式のデータセットの場合、現在のデータセットからデータを保存する場合、多くの場合は素晴らしいです。CFシリーズ 分離されたサンプリングの幾何学 (DSGについて) 曖昧なレイジデータファイル (リクエスト.ncCFファイルからERDDAP) 新しいデータセットを作成します。 これらのファイルは、非常に効率的に処理することができますERDDAPお問い合わせEDDTableFromNcCFファイルお問い合わせ 論理的に整理されている場合 (スペースと時間のチャンクのためのデータとそれぞれ) ,ERDDAP™データを素早く抽出することができます。
  • を使用する集計データセット<subsetVariables>> (/docs/server-admin/datasets#subsetvariable) 属性,ERDDAP™これらの変数の値のユニークな組み合わせの表を作成します。 巨大なデータセットまたはいつ<subsetVariables> は誤って構成されており、このテーブルは OutOfMemoryErrors を引き起こすのに十分な大きさです。 解決策は、変数をリストから削除することです。<subsetVariables> 多数の値がある場合、またはそのテーブルのサイズが妥当であるまで必要に応じて変数を削除してください。 パーツのERDDAP™それを使うsubsetVariablesシステムがうまく機能しない (e.g.、Webページは非常にゆっくりと読み込みます) そのテーブルに100,000行以上あるとき。
  • 複数の同時リクエストの同時リクエストが常に可能 (本当に忙しいERDDAP) メモリトラブルを引き起こすために組み合わせることができます。 たとえば、それぞれ1GBを使用して8つのリクエストは、-Xmx=8GBのセットアップに問題を引き起こします。 しかし、それぞれのリクエストが同時に使用するメモリのピークにあることは稀です。 見やすくなるでしょう。ERDDAP™大きなリクエストで本当に忙しいです。 でも可能です。 -Xmx の設定を増やすことで、この問題に対処するのは困難です。
  • 他のシナリオがあります。 見てみるとログインファイルの一覧ERDDAP™エラーが発生したとき、通常、原因として良い手掛かりを得ることができます。 ほとんどの場合、その問題を最小限に抑える方法があります (詳しくはこちら) , しかし、時には、より多くのメモリとより高い-Xmx設定が必要です.  

あまりにも多くのファイルを開く​

まずはERDDAP™v2.12,ERDDAP™開いたファイルの数を監視するシステムがあります (ソケットとその他のものを含むファイルだけでなく、) Linux コンピューターの Tomcat にインストールします。 ファイルが誤って閉じられない場合 (「リソースリーク」) , 開いているファイルの数は、オペレーティングシステムによって許可される最大を超え、多くの本当に悪いことが起こるまで増加する可能性があります。. 今、Linuxコンピュータで (Windowsで情報が利用できないので) : : :

  • status.html の Web ページの右端にある「ファイルを開く」列で、最大ファイルの割合が開きます。 Windowsでは、「?」と表示します。
  • いつかERDDAP™各メジャーデータセットのリロード終了時にその情報を生成し、ログに印刷します。 txt ファイル: openFileCount= ディレクティブ 最近の投稿 max=の マックス %== ツイート
  • パーセンテージが >50% の場合、メールが送信されます。ERDDAP™管理者とメール お問い合わせ 電子メールアドレス

パーセンテージが100%の場合ERDDAP™大変です。 こういったことはできない。 パーセンテージが>75%の場合、ERDDAP™ひどいトラブルに近づいています。 大丈夫です。 パーセンテージが>50%の場合、スパイクが100に当たる割合を引き起こす可能性が非常に高い。 パーセンテージが >50% になったら、次のようになります。

  • 許可されているファイルを開くファイルの最大数を増やす:
    • tomcatを開始する前に、毎回これらの変更を行う (Tomcatのstartup.shファイルに入れますか?) : : : 限度額 -Hn 16384 限度額 -Sn 16384
    • 編集による永続的な変更を行う (ルートとして) /etc/security/limits.conf と行を追加します。 tomcat ソフト nofile 16384 tomcat ハード nofile 16384 これらのコマンドは、Tomcat を実行しているユーザが "tomcat" と呼ばれているとします。 多くの Linux のバリアントでは、サーバーを再起動してこれらの変更を適用する必要があります。 どちらのオプションも、上の「16384」は例です。 一番いいと思う数字を選びます。
  • リスタートERDDAPお問い合わせ オペレーティングシステムは、任意のオープンファイルを閉じます.  

失敗した要求​

  • 異常な活動: >25% の要求が失敗しました
    各リロードデータセットの一部として、通常は15分ごとに、ERDDAP™最後のreloadDatasets から失敗したリクエストのパーセンテージを見てみましょう。 >25% の場合ERDDAP™メールで送信するERDDAP™管理者は「非日常的な活動:リクエストの25%が失敗した」という主題を持つ。 そのメールには、"Requester's IP Address" の一番下にある背が高いものが含まれます。 (失敗した) (最後のメジャーな LoadDatasets 以降) お問い合わせ お問い合わせ コンピュータのIPアドレスを伝え、最も失敗したリクエストを作成します。 その後、それらのIPアドレスを検索することができます\[bigParentディレクトリ\]/ログ/ログインどの種類のリクエストをしているかをファイルで確認します。

ユーザーの IP 番号を使用できます。 (例えば、 https://whatismyipaddress.com/ip-lookup ) ユーザーが誰であるか、または何であるかを把握しようとする。 ユーザーが誰であるかを正確にあなたに伝えるとき (例えば、検索エンジンのWebクローラーです) お問い合わせ ほとんどの場合、それはあなただけの手がかりを与える (例えば、それは驚くべきコンピュータです、それはいくつかの大学から、それはいくつかの特定の都市の誰かです) お問い合わせ

実際のリクエスト、IP番号、エラーメッセージを見ることで (すべてからログイン) 一連のエラーでは、通常、問題が起こっていることを基本的に把握できます。 私の経験では、失敗したリクエストの多くには4つの一般的な原因があります。

  1. 要求は悪意のあるもの (例えば、セキュリティの弱点を探したり、要求をしたり、完了する前にそれらをキャンセルしたりします) お問い合わせ 利用する<リクエストブラックリスト> お問い合わせdatasets.xmlこれらのIPアドレスをブラックリストに。

  2. 検索エンジンは、リストされているURLをnively試みていますERDDAP™ウェブページとISO 19115文書。 例えば、ベースをリストする場所はたくさんあります。OPeNDAPたとえば、 https://coastwatch.pfeg.noaa.gov/erddap/griddap/jplMURSST つまり、ユーザがファイルタイプを追加するはず (例:.das、.dds、 ツイート) お問い合わせ しかし、検索エンジンはこれを知りません。 ベース URL のリクエストは失敗します。 関連する状況は、検索エンジンが奇妙なリクエストを生成したり、フォームを記入しようとすると、 "hidden" Web ページを取得することです。 しかし、検索エンジンは、多くの場合、この悪い仕事をします, 故障につながる. 解決策は次のとおりです。ロボット.txtファイル。

  3. 一部のユーザーは、その存在ではない何かを繰り返し尋ねているスクリプトを実行しています。 多分それが存在するために使用されるデータセットです、しかし今消えます (一時的にまたは永久に) お問い合わせ スクリプトは頻繁にこれを期待しないので、インテリジェントに対処しません。 そのため、スクリプトはリクエストの作成とリクエストが失敗し続けるだけです。 ユーザーが誰であるかを推測できる (上記IP番号から) , それらを連絡し、データセットが利用できなくなり、スクリプトを変更するためにそれらを尋ねる.

  4. 何かは、いくつかのデータセットで本当に間違っています。 通常,ERDDAP™問題のあるデータセットを非アクティブにします。 時々、それはそうではありません、それに対するすべての要求は単にエラーを引き起こします。 もしそうなら、データセットで問題を解決するか、 (お問い合わせ) データセットを設定するアクティブ="false"お問い合わせ もちろん、これは問題2につながる可能性があります。

場合によっては、誤ってエラーが悪くないERDDAP™エラーを検出し、非常に迅速に対応できます()<=1ms)。 アクションをしないと判断できる

他のすべてが失敗した場合は、ユニバーサルソリューションがあります。ユーザーのIP番号を[に追加]に追加します。<リクエストブラックリスト> (/docs/server-admin/datasets#requestblacklist) お問い合わせ これは悪くないし、それが見えるかもしれないようにオプションを大幅なものではない。 ユーザは s/he がブラックリストされているというエラーメッセージを取得し、それらを伝えます (お問い合わせERDDAP™管理者の) メールアドレス ユーザーが連絡を取り、問題が解決できる場合があります。 場合によっては、ユーザーは連絡しませんし、次の日に異なるIP番号から来るまったく同じ動作が表示されます。 新しいIP番号をブラックリストにし、最終的にメッセージが得られることを期待してください。 (または、このことは、あなたが逃げることはありませんあなたのGroundhogの日です。 お問い合わせ)

ロボット.txt​

検索エンジン企業は、Webクローラーを使用しています (例:Google ログイン) ウェブ上のすべてのページを調べて、検索エンジンにコンテンツを追加します。 お問い合わせERDDAP™基本的には良いですね。ERDDAP™ページのリンクはたくさんありますので、クローラーはすべてのWebページを見つけ、検索エンジンに追加します。 次に、検索エンジンのユーザーは、あなたのデータセットを見つけることができるようになりますERDDAPお問い合わせ

残念ながら、一部のWebクローラー (例:Google ログイン) 追加コンテンツを見つけるためにフォームを記入し、送信するようになりました。 Web コマースサイトの場合、これは素晴らしいです。 しかし、これは恐ろしいですERDDAP™それはちょうどにつながりますので 無限大 実際のデータをクロールする望ましくない、無数の試みの数。 これは、他のすべてのユーザーと組み合わせてデータをより多くの要求につながることができます。 そして、実際のデータのGoofy、無数のサブセットで検索エンジンを埋めます。

Webクローラーにフォームの記入を中止し、通常はWebページを見る必要はありません。テキストファイルを作成する必要があります。ロボット.txtあなたのウェブサイトのドキュメント階層のルートディレクトリに、それは誰によっても見ることができるように、例えば、 http://*www.your.domain*/robots.txt お問い合わせ ロボットを新規作成する場合 txtファイル、これは良いスタートです。

    User-Agent: \\*
    Disallow: /erddap/files/ 
    Disallow: /files/ 
    Disallow: /images/ 
    Disallow: /\\*?
    Disallow: /\\*?\\*
    Disallow: /\\*.asc\\*
    Disallow: /\\*.csv\\*
    Disallow: /\\*.dods\\*
    Disallow: /\\*.esriAscii\\*
    Disallow: /\\*.esriCsv\\*
    Disallow: /\\*.geoJson\\*
    Disallow: /\\*.htmlTable\\*
    Disallow: /\\*.json\\*
    Disallow: /\\*.mat\\*
    Disallow: /\\*.nc\\*
    Disallow: /\\*.odvTxt\\*
    Disallow: /\\*.tsv\\*
    Disallow: /\\*.xhtml\\*
    Disallow: /\\*.geotif\\*
    Disallow: /\\*.itx\\*
    Disallow: /\\*.kml\\*
    Disallow: /\\*.pdf\\*
    Disallow: /\\*.png\\*
    Disallow: /\\*.large\\*
    Disallow: /\\*.small\\*
    Disallow: /\\*.transparentPng\\*
    Sitemap: http://***your.institutions.url***/erddap/sitemap.xml

(しかし、置換 あなたの.institutions.url あなたのERDDAPベースURL)
検索エンジンが通知し、効果を取る変更のために数日かかることがあります。  

サイトマップ​

として、 https://www.sitemaps.org ウェブサイトは言う:

Sitemaps are an easy way for webmasters to inform search engines about pages on their sites that are available for crawling. In its simplest form, a Sitemap is an XML file that lists URLs for a site along with additional metadata about each URL (when it was last updated, how often it usually changes, and how important it is, relative to other URLs on the site) so that search engines can more intelligently crawl the site.

Web crawlers usually discover pages from links within the site and from other sites. Sitemaps supplement this data to allow crawlers that support Sitemaps to pick up all URLs in the Sitemap and learn about those URLs using the associated metadata. Using the Sitemap protocol does not guarantee that web pages are included in search engines, but provides hints for web crawlers to do a better job of crawling your site.

実は、ERDDAP™お問い合わせRESTful, 検索エンジンのスパイダーは簡単にあなたのクロールすることができますERDDAPお問い合わせ しかし、彼らはより頻繁にそれを行う傾向があります (毎日!) 必要以上に (毎月?) お問い合わせ

データ発信/データ配信 ネットワーク:Pushそして、Pullテクノロジー​

  • 普通、ERDDAP™仲介者として機能する: ユーザからリクエストを取る; リモートデータソースからデータを取得; データを再フォーマット; ユーザーに送信.
  • Pullテクノロジー: : :ERDDAP™また、リモートデータソースから利用可能なすべてのデータを積極的に取得する能力とデータのローカルコピーを保存お問い合わせ
  • Pushテクノロジー: : : ご利用にあたってERDDAPお問い合わせサブスクリプションサービス, 他のデータサーバは、データが利用可能になったらただちに通知することができます。 (データをプルすることで) お問い合わせ
  • ERDDAPお問い合わせEDDGridErddapからそして、EDDTableFromErddapの特長使用方法ERDDAPサブスクリプションサービスフラグシステム新しいデータが利用可能になったらただちに通知されます。
  • これらを大きな効果に組み合わせることができます。ラップすると、EDDGrid周りのコピーEDDGridFromErddapデータセット (EDDTableFromErddap データセットの周りのEDDTableCopyをラップするか) ,ERDDAP™ローカルコピーを自動的に作成して維持します。ERDDAPデータセット
  • サブスクリプションサービスは、新しいデータが利用可能になったらただちに機能するため、技術はデータを迅速に発信します (秒単位) お問い合わせ

このアーキテクチャはそれぞれを置きますERDDAP™管理者は、自分のデータがどこにあるかを判断するERDDAP™お問い合わせ

  • その他ERDDAP™管理者は同じことをすることができます。 管理者間の調整は必要ありません。
  • 数が多いERDDAP™管理者は互いにリンクしますERDDAPs、データ分布ネットワークが形成されます。
  • データは、データソースから迅速かつ効率的に、かつ自動的に発信されます (ERDDAP他のサーバー) データ再配布サイトへ (ERDDAPツイート) ネットワーク内のどこからでも
  • 与えられたERDDAP™いくつかのデータセットと他のデータセットのための再配布サイトの両方のデータソースにすることができます。
  • 結果として得られるネットワークは、以下のようなプログラムで設定されたデータ分布ネットワークとほぼ同じですUnidata's の IDD/IDM、しかしより少ない堅く構造化されて。  

セキュリティ、認証、認証​

デフォルトでは、ERDDAP™完全に公開されたサーバーとして実行 (使用方法httpおよび/またはhttps) ログインなし (認証) システムとデータアクセス制限なし (ライセンス) お問い合わせ

セキュリティ​

一部のユーザーまたはすべてのデータセットへのアクセスを制限したい場合は、ERDDAPの組み込みのセキュリティ システム。 セキュリティシステムが使用される場合:

  • ERDDAP™使用方法ロールベースのアクセス制御お問い合わせ
    • ザ・オブ・ザ・ERDDAP™管理者はユーザを定義します [<ユーザー> (/docs/server-admin/datasets#user ディレクティブ) タグdatasets.xmlお問い合わせ ユーザ名、パスワード (認証=カスタムの場合) または複数の役割。
    • ザ・オブ・ザ・ERDDAP™管理者は、指定されたデータセットへのアクセス権を持つロールを定義します [<にアクセスする> (/docs/server-admin/datasets#accessibleto) タグdatasets.xmlパブリックアクセスを持たないデータセット
  • ユーザーのログイン状態 (ログイン/アウトへのリンク) 各ページの先頭に表示します。 (しかし、ログインしたユーザが表示されるERDDAP™彼が使用した場合、ログインされないhttpサイトマップ)
  • もし、<baseUrl> で指定する setup.xml は http URL は、ログインしていないユーザが利用する可能性があります。ERDDAPお問い合わせ http サイトマップ お問い合わせ<baseHttpsUrl> も指定され、ログインされていないユーザも使用できます。httpsサイトマップ
  • HTTPS のみ -- もし、<baseUrl> で指定する setup.xml は https URL、ログインしていないユーザは、 (強制しない) 使用するためERDDAPお問い合わせ https URL - すべてのリンクERDDAP™ウェブページでは、httpsサイトマップ

ユーザーが使用できるように強制する場合httpsURL は、Redirect 恒久行を内部に追加します。<VirtualHost \*:80> セクションの Apache の config ファイル (よくある質問httpd.confについて) 、例えば、

    <VirtualHost \\*:80>
        \\[...\\]
        ServerName example.com
        Redirect permanent / https://example.com/
    </VirtualHost>

必要に応じて、使用を強制する追加の方法がありますhttps: HTTP 厳格な輸送セキュリティ (ツイート) お問い合わせ 使用するには:

  1. Apache ヘッダー モジュールを有効にする: a2enmod ヘッダ
  2. 追加のヘッダーを HTTPS VirtualHost ディレクティブに追加します。 最大年齢は秒単位で測定され、長い値に設定できます。
        <VirtualHost \\*:443>
            # Guarantee HTTPS for 1 Year including Sub Domains 
            Header always set Strict-Transport-Security "max-age=31536000; includeSubDomains"

このヘッダーは HTTPS VirtualHost でのみ有効です。

ユーザーが利用できない理由httpsURL は: 基礎となる SSL/TLS のリンクは、ユーザとサーバー間で送信されたすべての情報を暗号化し、復号化するのに時間がかかります。 しかし、いくつかの機関は、httpsお問い合わせ

  • MUST でログインしているユーザーERDDAPお問い合わせ https サイトマップ 使用するhttpURL に表示されるERDDAP™ログインしない これは、コミュニケーションのプライバシーを確保し、予防に役立ちますセッションハイジャックとサイドジャックお問い合わせ
  • ログインされていない方は、公開データセットにアクセスして利用することができます。 デフォルトでは、ユーザがログインされていない場合、プライベートデータセットはデータセットのリストに表示されません。 管理者が setup.xml を設定している場合<listPrivateDatasets> を true に表示します。 プライベートデータセットからデータをリクエストしようとする (ユーザーが URL を知っている場合) ログインページへリダイレクトします。
  • 記録されている人全員が、パブリックデータセットや、その役割がアクセスできるプライベートデータセットから、データを見ることができます。 デフォルトでは、ユーザーのアクセスがデータセットのリストに表示されないプライベートなデータセット。 管理者が setup.xml を設定している場合<listPrivateDatasets> を true に表示します。 ユーザーのアクセスがない場合、プライベートなデータセットからデータをリクエストしようとすると、ログインページにリダイレクトされます。
  • ザ・オブ・ザ・RSS完全にプライベートなデータセットの情報は、ユーザーにのみ利用可能 (そして、RSSリーダー) 誰がログインして、そのデータセットを使用する権限を付与されます。 これは、RSS完全にプライベートなデータセットにはあまり役に立ちません。

データセットがプライベートなのに[<グラフAccessibleTo> (/docs/server-admin/datasets#graphsaccessibleto) 公開するデータセットRSS誰でもアクセス可能です。

  • ユーザがデータセットにアクセスしたときに、メールサブスクリプションが設定できます。 ユーザーがプライベートなデータセットを購読する場合、サブスクリプションはユーザーがログアウトした後に機能し続けます。
セットアップセキュリティ​

セキュリティ/認証/認証システムをセットアップするには:

  • 標準をして下さいERDDAP™ 初期設定お問い合わせ
  • インスタグラムセットアップ。xml,
    • 追加/変更<認証> 何もないからカスタム (使用しない) 、電子メール (使用しない) , グーグル (おすすめ) , オーシド (おすすめ) , または oauth2 (推奨されるgoogle+orcid) お問い合わせ これらのオプションについてのコメントを参照してください。
    • 追加/変更<baseHttpsUrl> 値。
    • インサート/非推奨&loginInfo;お問い合わせ<startBodyHtml> ユーザのログイン/アウト情報を各Webページの上部に表示します。
  • パーソナルコンピュータのテスト目的のため、これらの指示に従って、 tomcat を SSL をサポート (基礎のためのhttpsアクセス) キーストアをキーストアで作成することで自己署名証明書そして変更によって トームキャット /conf/server.xml は、ポート 8443 用のコネクタを補完します。 Windows では、.keystore を "c:\Users\\" から動かす必要があります。 お問い合わせ \.keystore から "c:\Users\Default User\.keystore" または "c:\.keystore" へ (詳しくはこちら トームキャット /logs/catalina. /ログ/カタリナ. 今日更新 .log アプリケーションがロードされていないか、ユーザーがページ内のログを表示できない場合) お問い合わせ .keystoreの証明書がログイン時に証明書を調べて期限が切れるときに確認できます。

一般にアクセス可能なサーバーの場合、自己署名証明書を使用する代わりに、署名された証明書を購入してインストールすることをお勧めします。証明書の権限、それはあなたの顧客に確かにあなたのに接続しているより多くの保証を与えるのでERDDAP™man-in-the-middleさんのバージョンではないERDDAPお問い合わせ 多くのベンダーがデジタル証明書を販売しています。 (ウェブ検索) 彼らは高価ではありません。

  • Linux コンピューターでは、Tomcat が Apache で実行されている場合は、 /etc/ を変更します。httpd/conf.d/ssl.conf ファイルが HTTPS のトラフィックを/から許可するERDDAP™URL の :8443 ポート番号を要求せずに:
    1. 既存の変更<VirtualHost> タグ (1つある場合) 、または、少なくともこれらの行を持っているように、ファイルの最後に 1 つを追加します。
        <VirtualHost \\_default\\_:443>
            SSLEngine on
            SSLProxyEngine On
            ProxyPass /erddap http://localhost:8443/erddap
            ProxyPassReverse /erddap http://localhost:8443/erddap
        </VirtualHost>
  1. それから Apache を再起動します: /usr/sbin/apachectl -k 優雅な (しかし、時々それは別のディレクトリにあります) お問い合わせ
  • インスタグラム トームキャット /conf/server.xml は、port=8443 を補完します。<コネクタ> タグ:
    <Connector port="8443" 
        protocol="org.apache.coyote.http11.Http11NioProtocol"
        maxThreads="150" SSLEnabled="true">
        <SSLHostConfig>
        <Certificate certificateKeystoreFile="conf/localhost-rsa.jks" 
            type="RSA" />
        </SSLHostConfig>
    </Connector>

CertificateKeystoreFileの場所を変更します。

認証​
  • インスタグラムdatasets.xml, 作成するツイート<ユーザー> (/docs/server-admin/datasets#user ディレクティブ) ユーザー名、パスワードで各ユーザのタグ (もしauthor=customの場合) および役割情報。 これは承認の部分ですERDDAPセキュリティシステム  
  • インスタグラムdatasets.xml, 追加 [<にアクセスする> (/docs/server-admin/datasets#accessibleto) パブリックアクセスを持たない各データセットにタグを付けます。<accessTo> では、そのデータセットにアクセスできるロールを指定します。  
  • Tomcatを再起動します。 トラブル? Tomcat のログを確認します。  
  • お問い合わせ 間違いは、セキュリティ上の欠陥につながる可能性があります。  
  • ログインページが使用していることを確認してくださいhttps (コメントはありませんhttp) お問い合わせ ログインを試みるhttp自動的にリダイレクトされるべきhttpsポート 8443 (ポート番号はApacheプロキシ経由で隠すことができますが、) お問い合わせ 外部Webリクエストがサーバーのポート8443にアクセスできるようにネットワーク管理者と連携する必要があります。  
  • 変更できます<ユーザー><いつでもアクセス可能なTo>タグ。 変更は、データセットの次の正規リロード、または使用している場合のASAPに適用されます。ログインお問い合わせ
認証​

**認証 (ログイン) **
ユーザーがログインを許可しない場合は、値を指定しないでください。<setup.xml での認証> ユーザーがログインできるようにするには、値を指定する必要があります。<認証> 現在、ERDDAP™サポート カスタム (使用しない) , 電子メール (使用しない) , サイトマップ (おすすめ) , パスワード (おすすめ) と オース2 (おすすめ) 認証方法 ログインを有効にしたい場合は、Google、orcid、またはoauth2オプションを強くお勧めします。これにより、ユーザーのパスワードを保存して処理することができます。 (習慣のために要求される) メールオプションよりも安全です。 ユーザーは、異なるサイトで同じパスワードを頻繁に使用することを忘れないでください。 そのため、同じパスワードを使うことができます。ERDDAP™彼らの銀行で行っているように。 これにより、ユーザーが要求するデータよりも、パスワードは非常に貴重になります。 そのため、パスワードをプライベートに保つためにできる限り多くのことをする必要があります。 それは大きな責任です。 電子メール、Google、orcid、oauth2オプションはパスワードの世話をするので、それらを収集、保存、または作業する必要はありません。 そのため、その責任から解放されます。

すべて<認証>オプションは、メニューユーザーのコンピューターで、ユーザーのブラウザはクッキーを許可するように設定する必要があります。 ユーザが作る場合ERDDAP™コンピュータプログラムからのリクエスト (ブラウザではない) 、クッキーおよび認証は機能しにくいです。 すべての認証システムに共通する問題です。 お問い合わせ

詳細情報<認証> オプションは:

カスタム​

カスタムはありますERDDAP'Webページ上のフォームにユーザー名とパスワードを入力し、ユーザーがログインできるようにするためのカスタムシステム。 ユーザーが10分以内に3回ログインして失敗した場合、ユーザーは10分間ログインしようとブロックされます。 これにより、ハッカーは、適切なパスワードを見つけるまで、何百万人ものパスワードを試すだけでハッカーを防ぎます。

ユーザ名とパスワードが経由して送信されるため、これはやや安全ですhttps (コメントはありませんhttp) , しかし、認証=グーグル, orcid, またはoauth2 は、パスワードを処理するのを無料だから良いです. カスタムアプローチは、ユーザーの名前とパスワードのハッシュダイジェストを収集する必要があります (お電話でのご予約 メールが安全ではありません!) そしてそれらを貯えて下さいdatasets.xmlお問い合わせ<ユーザー> (/docs/server-admin/datasets#user ディレクティブ) タグ。

カスタムオプションでは、あなたまでログインできない (お問い合わせERDDAP™管理者権限) 作成する<user> タグは、ユーザ名をユーザ名、パスワードのハッシュダイジェスト、そのロールを指定します。

おすすめ ユーザーのパスワードのハッシュダイジェストを生成し、送信するという厄介さのために、ERDDAP™パスワードのハッシュダイジェストを保持すると、このオプションは推奨されません。

このオプションのセキュリティを高めるため:

  • サーバーの他のユーザーがいることを確認してください (i.e., Linux ユーザ, ないERDDAP™ユーザー) Tomcatディレクトリにファイルを読み込むことはできません (特に、datasets.xmlファイル) またはERDDAP's bigParentDirectory. Linux では、user=tomcat として使用します。 chmod -Rのgrwx bigParentディレクトリ
    chmod -R の rwx bigParentディレクトリ
    chmod -Rのgrwx tomcatディレクトリ
    chmod -R の rwx tomcatディレクトリ
     
  • UEPSHA256を使う<setup.xml の passwordEncoding>  
  • ユーザのパスワードのハッシュダイジェストをユーザからユーザーに渡すために、as-possible メソッドを使用します。ERDDAP™管理者権限 (電話番号?) お問い合わせ  
電子メール​

電子メール認証オプションは、ユーザーのメールアカウントを使用して、ユーザーの認証を行います。 (ログにするためにアクセスしなければならない特別なリンクでメールを送信することによって) お問い合わせ 他のメールとは異なり、ERDDAP™送信,ERDDAP™機密情報を含むため、これらの招待状メールをメールログファイルに書きません。 理論的には、電子メールが常に暗号化されていないため、これは非常に安全ではありません。そのため、電子メールを介入する機能の悪い男は、有効なユーザーのメールアドレスを使用してこのシステムを悪用し、招待状メールを傍受することができます。 練習では、設定した時にERDDAP™Googleメールアカウントを使用してメールを送信します。また、接続用のTLSオプションの1つを使い、ユーザーがGoogleメールアカウントを持っている場合は、メールがすべての方法で暗号化されるため、これはややや安全ですERDDAP™ユーザへ。

このオプションのセキュリティを高めるため:

  • サーバ上の他のユーザーがいることを確認してください (i.e., Linux ユーザ, ないERDDAP™ユーザー) Tomcat ディレクトリまたは Tomcat ディレクトリにファイルを読み込むことはできません。ERDDAP's bigParentDirectory. Linux では、user=tomcat として使用します。 chmod -Rのgrwx bigParentディレクトリ
    chmod -R の rwx bigParentディレクトリ
    chmod -Rのgrwx tomcatディレクトリ
    chmod -R の rwx tomcatディレクトリ
     
  • 送信された電子メールのエンドツーエンドのセキュリティを得るために物事を設定しますERDDAP™ユーザーへ たとえば、作成だけでGoogle中心のシステムを作ることができます。<user> Google-managedメールアドレスのタグと設定ERDDAP™セキュア/TLS 接続で Google のメール サーバーを使用する: setup.xml で、例えば、
    <emailSmtpHost>smtp.gmail.com</emailSmtpHost>  
    <emailSmtpPort>587</emailSmtpPort>  
    <emailProperties>mail.smtp.starttls.enable|true</emailProperties>

おすすめ メール認証オプションはお勧めしません。 代わりにGoogle、orcid、またはoauth2オプションを使用してください。

Google、orcid、oauth2オプションと同様に、メールは非常に便利です。ERDDAP™管理者 - パスワードやハッシュダイジェストに対処する必要はありません。 あなたが作成する必要があるのは[<ユーザー> (/docs/server-admin/datasets#user ディレクティブ) ユーザーのタグdatasets.xmlユーザーのメールアドレスです。ERDDAP™ユーザ名として使用します。 (認証=メール、Google、orcid、またはoauth2 ではパスワード属性は使用されません。)

電子メールオプションで、ユーザーにのみ<user> タグdatasets.xmlにログオンしようとするERDDAP™電子メールアドレスを提供し、電子メールでリンクをクリックすることにより、ERDDAP™送信する。

ERDDAP™ケースインセンティブとしてメールアドレスを扱います。 これは、入力するメールアドレスを変換することによってこれを行います(で<user> タグ) または ユーザーの入力 (ログインフォームに) すべてのlowidecaseバージョンへ。

認証=メールを設定するには:

  1. setup.xml では、<baseHttpsUrl> タグの値。 パソコンの実験・作業のために、 https://localhost:8443
    パブリックERDDAP™、使用して下さい https://your.domain.org:8443
    Apache を使用している場合、または :8443 を使わずにプロキシパスポート番号は必要ありません。  
  2. setup.xml では、<認証> 電子メールへのタグの値:
    <authentication>email</authentication>
  1. setup.xml では、すべてのメールシステムが設定されていることを確認してください。<電子メール...> タグ, ので、ERDDAP™電子メールを送信できます。 可能であれば、セキュアな接続を使用するように設定します。 (SSL/TLSの特長) メールサーバへ。  
  2. お問い合わせdatasets.xml, [作成]<ユーザー> (/docs/server-admin/datasets#user ディレクティブ) プライベートデータセットにアクセスできるユーザのタグ ユーザーのメールアドレスをタグのユーザー名として使用してください。 ユーザタグにパスワード属性を指定しないでください。  
  3. リスタートERDDAP™setup.xml の変更とdatasets.xml効果を取る。  
グーグル, orcid, oauth2​
  • サイトマップ , パスワード と オース2   (おすすめ)
    これらのオプションの3つはすべて推奨ですERDDAP™認証オプション。 彼らはすべての最も安全なオプションです。 他のオプションは大幅にセキュリティが低下しています。  
サイトマップ​
  • グーグル認証オプションは、ログイン Googleでの実装であるOAuth 2.0 認証プロトコルお問い合わせERDDAP™ユーザーは、Googleのメールアカウントにサインインします。@noaa.govアカウント。 これは、ERDDAP™ユーザーの本人確認のため (名前とメールアドレス) プロフィール画像にアクセスするが、与えないERDDAP™電子メール、Google Drive、その他の個人情報へのアクセス

お問い合わせERDDAP™v2.22以下ERDDAP™「Googleサインイン」を利用しました。 Googleは2023年3月31日以降、システムが廃止されると言います。 既に終了していない場合は、お手数ですが、ERDDAP™v2.23+ を使用して、新しい「Google でサインイン」ベースの認証システムを使用します。

お問い合わせERDDAP™コンテンツ・セキュリティ・ポリシーを設定し、Google 認証を使用する v2.23 インスタンス、追加する必要があります。 https://accounts.google.com 許可されたスクリプトの一覧へ (もしくはscript-src-elem) お問い合わせERDDAP™もはや使用しません https://apis.google.com ですから、許可されている場合は、今すぐ削除することができます。

お問い合わせERDDAP™v2.24+ を追加する必要があります https://accounts.google.com/gsi/style stlye-src および https://accounts.google.com/gsi/ src に接続します。 script-src を使うには、 https://accounts.google.com/gsi/client.

より多くの情報のためにあなたが行くことができるサイトマップCSPの設定について ご質問がある場合は、noaaa.gov の chris.john までお問い合わせください。  

オーシッド​
  • orcid認証オプションは、Orcid認証の実装であるOAuth 2.0 認証プロトコルお問い合わせERDDAP™ユーザがサインインするOrcidアカウント研究者が自身を識別するために一般的に使用される、 これは、ERDDAP™ユーザーの Orcid の ID を検証し、 Orcid のアカウント番号を取得するには、ERDDAP™他の Orcid アカウント情報へのアクセス
オース2​
  • oauth2 オプションを使用すると、ユーザーはGoogleアカウントまたはそのOrcidアカウントのいずれかでサインインできます。

google, orcid, oauth2 オプションは、openid オプションの継承者です。ERDDAP™バージョン 1.68 で、バージョンのオープンに基づいていました。 期限切れのIDです。 グーグル、orcid、またはoauth2オプションに切り替えてください。

これらのオプションは非常に便利ですERDDAP™管理者 - パスワードやハッシュダイジェストに対処する必要はありません。 あなたが作成する必要があるのは[<ユーザー> (/docs/server-admin/datasets#user ディレクティブ) ユーザーのタグdatasets.xmlユーザの Google のメールアドレスまたは Orcid のアカウント番号をユーザ名属性として指定します。 (認証=メール、Google、orcid、oauth2 ではパスワード属性は使用しません。)

これらのオプションでは、誰でもログインできます。ERDDAP™GoogleのメールアカウントまたはOrcidアカウントにサインインすることで、プライベートなデータセットにアクセスする権利はありません。 (お問い合わせERDDAP™管理者権限) 作成する<user> タグ、Google のメールアドレスまたは Orcid のアカウント番号をユーザ名に指定し、そのロールを指定します。

ERDDAP™ケースインセンティブとしてメールアドレスを扱います。 これは、入力するメールアドレスを変換することによってこれを行います(で<user> タグ) または ユーザーの入力 (ログインフォームに) すべてのlowidecaseバージョンへ。

グーグル、orcid、またはoauth2認証を設定するには:

  • setup.xml では、<baseHttpsUrl> タグの値。 パソコンの実験・作業のために、 https://localhost:8443
    パブリックERDDAP™、使用して下さい https://your.domain.org:8443
    または、Apache を使用している場合は :8443 を使わずに、プロキシパスポート番号は必要ありません。  
  • setup.xml では、<認証> たとえば、Google、orcid、またはoauth2 へのタグの値。
    <authentication>oauth2</authentication>
Googleのセットアップ​
  • グーグルとoauth2オプションの場合: 以下の手順に従って、Google認証を設定してくださいERDDAPお問い合わせ  
    1. Googleのメールアカウントをお持ちでない場合、1 つを作る
       
    2. フォローこれらの手順Google Developers Console プロジェクトを作成し、クライアント ID を取得します。

Googleが承認を求めた場合Javaスクリプトの起源は、値から入力します<baseHttpsUrl> パーソナルコンピュータからERDDAP™setup.xml など、 https://localhost:8443
2番目の行目で、<baseHttpsUrl> あなたのパブリックからERDDAP™setup.xml など、 https://your.domain.org:8443

Authorized リダイレクト URI を指定しないでください。

このプロジェクトでクライアント ID が表示されたら、setup.xml にコピーして貼り付けます(通常は下回ります)<認証> 注文するが、配置は実際には問題ではありません)、<googleClientID> タグ、例、 <グーグルクライアントID> クライアントID </GoogleクライアントID> クライアント ID は 75 文字の文字列で、 おそらく .apps.googleusercontent.com で複数の数字から始まり、終了します。  

  1. お問い合わせdatasets.xml, [作成]<ユーザー> (/docs/server-admin/datasets#user ディレクティブ) プライベートデータセットにアクセスできるユーザごとにタグ付けします。 タグのusername属性の場合:

    • グーグルでサインインするユーザーは、ユーザーのGoogleメールアドレスを使用します。
    • orcid でサインインするユーザーには、ユーザーの Orcid アカウント番号を使用します。 (ダッシュで) お問い合わせ

ユーザタグのパスワード属性を指定しないでください。   4. リスタートERDDAP™setup.xml の変更とdatasets.xml効果を取る。  

Orcidのセットアップ​
  • orcidとoauth2オプションの場合: 以下の手順に従って、Orcid認証を設定してください。ERDDAPお問い合わせ (詳しくは、Orcid の認証 API ドキュメントお問い合わせ)
     
    1. Orcidアカウントをお持ちでない場合、1 つを作る
       
    2. Orcidにログイン https://orcid.org/signin あなたの個人 Orcid アカウントを使用して。  
    3. 「開発ツール」をクリック (トップの「研究者」の下) お問い合わせ  
    4. 「無料ORCID公開APIの登録」をクリックします。 この情報を入力: 名前:ERDDAP™お問い合わせ\[あなたの組織\]
      ウェブサイト:\[お問い合わせERDDAPドメイン\]
      説明:ERDDAP™科学的なデータサーバです。 ユーザーは、非公開のデータセットにアクセスするためにGoogleまたはOrcidで認証する必要があります。 リダイレクト URI:\[お問い合わせERDDAPドメイン\]/erddap/loginOrcid.html は、  
    5. 保存アイコンをクリック (3.5インチディスクみたい!) お問い合わせ ORCID APP クライアント ID と ORCID クライアントのシークレットが表示されます。  
    6. ORCID APP クライアント ID をコピーして貼り付ける (「APP-」で始まります) で setup.xml に<orcidClientID> タグ、例、
        <orcidClientID>APP-*ALPHANUMERICCHARACTERS*</orcidClientID>
  1. ORCIDクライアントシークレットのコピーとペースト (dashes の alpha 数値文字の小文字) で setup.xml に<orcidClientSecret> タグ、例、
        <orcidClientSecret>*alpha-numeric-characters-with-dashes*</orcidClientSecret>

  1. お問い合わせdatasets.xml, [作成]<ユーザー> (/docs/server-admin/datasets#user ディレクティブ) プライベートデータセットにアクセスできるユーザごとにタグ付けします。 タグのusername属性の場合:

    • グーグルでサインインするユーザーは、ユーザーのGoogleメールアドレスを使用します。
    • orcid でサインインするユーザーには、ユーザーの Orcid アカウント番号を使用します。 (ダッシュで) お問い合わせ

ユーザタグのパスワード属性を指定しないでください。   9. リスタートERDDAP™setup.xml の変更とdatasets.xml効果を取る。  

どちらの方法でもログイン​

google、orcid、oauth2 認証オプション、Google Sign-In または Orcid の認証 API を使用した場合、突然作業を中止します。 (何らかの理由で) または仕事に休むERDDAP™期待して、ユーザーはログインできませんERDDAPお問い合わせ 一時的なものとして (または永久的な) ソリューションは、ユーザーが他のシステムにサインアップするように要求することができます (Googleのメールアカウントを取得するか、 Orcidアカウントを取得する) お問い合わせ これを行うには:

  1. 変更する<認証>タグで、他の認証システムを割り当てます。 oauth2 オプションにより、ユーザーはシステムのいずれかでログインできます。
  2. 各々の重複<user> タグをタグ付けし、対応する Orcid アカウント番号にGoogleのメールアドレスからユーザー名属性を変更します。 (またはその逆) , しかし、ロールは同じ属性を保持します。
オープンID​

ERDDAP™openid 認証オプションをサポートしなくなり、バージョンのオープンに基づいていました。 期限切れのIDです。 代わりにGoogle、orcid、またはoauth2オプションを使用してください。

ベーシック​

ERDDAP™BASIC認証をサポートしていません。

  • BASICは、サイト全体へのセキュアなアクセスやブランケットのオン/オフアクセスを必要とする事前定義されたWebページに対してギアをつけているようですが、ERDDAP™リクエスト (アクセス制限) オンザフライを追加するデータセット。
  • BASIC認証は、ユーザーがログアウトする方法を提供していません!
  • BASIC認証は安全ではないことが知られています。
セキュアなデータソース​

データセットが制限されたアクセスが制限されている場合ERDDAP™ユーザ、データソース (どこからERDDAP™データを取得する) 公にアクセスしてはならない。 だから、どのようにすることができますかERDDAP™制限されたアクセスデータセットのデータを取得できますか? いくつかのオプションがあります:

  • ERDDAP™ローカルファイルからデータを配信できます (例えば、EDDTable 経由で ファイルまたはEDDGridファイルから) お問い合わせ  
  • ERDDAP™できますDMZシリーズおよびデータソース (例)OPeNDAPサーバまたはデータベース) 後ろにすることができますファイアウォール、それがアクセス可能である場所ERDDAP™公共ではなく、  
  • データソースは、公開Webサイト上で行うことができますが、データを取得するにはログインが必要です。 2種類のデータセットERDDAP™アクセスするためにログオンできますEDDTableFromデータベースそして、EDDTableFromCassandraさんお問い合わせ これらのデータセットのサポート (常に使うべき) ユーザ名 (作成するERDDAP™読み取り権限のみを持っているユーザー) 、パスワード、SSL接続、その他のセキュリティ対策

しかし、一般的には、現在、ERDDAP™データソースにログオンするための規定がないため、これらのデータソースに対処することはできません。 そのためにアクセスする理由EDDGridFromErddap と EDDTable Erddapからデータセットは制限できません。 現在、ローカルERDDAP™リモートからメタデータをログインしてアクセスする方法はありませんERDDAPお問い合わせ 「remote」を入れるERDDAP™ファイアウォールの背後にあると、そのデータセットがアクセス可能な状態を削除 制限が問題解決しない場合: EDDXxx のユーザー要求 FromErddap データはリモートにリダイレクトする必要がありますERDDAP™、リモートERDDAP™必ずアクセスしてください。

ハッカーに対する防衛​

サーバーソフトウェアでセキュリティの弱点を悪用しようとする悪い男ハッカーがありますERDDAPお問い合わせERDDAP™複数の防御層を持つ一般的なセキュリティアドバイスに従ってください。

  • 制限された特典 -- 最も重要な防衛の一つは、パスワードを持っていないtomcatと呼ばれるユーザーを介してTomcatを実行することです (そのユーザとしてログインできない) 限られたファイルシステム特権を持ち、 (例:データの読み込み専用アクセス) お問い合わせ お問い合わせERDDAP's の指示tomcatの設定お問い合わせ
  • ヘビーユース - 一般的には、ERDDAP™数千ものリクエストを行なうスクリプトなど、重い使用のために構築されています。 大変です。ERDDAP™同時に、重度の正当な使用と悪用からシールド自体を開く。 重い正当な使用、過度の正当な使用、および不正な使用を区別する時には困難です (時にはそれは本当に簡単です) お問い合わせ 他の防衛の中で、ERDDAP™意識的には、システムのリソースの不座標の分数を使用する単一の要求を許可しません (システムがアクティブでない限り) お問い合わせ
  • 面倒なユーザーを識別する - 場合ERDDAP™減速または凍結 (おそらく、naive user や bot が複数のスクリプトを実行して、複数のリクエストを同時に送信するか、悪い男のせいで、おそらく複数のスクリプトを実行しているからです。サービスの拒否攻撃) 見てみるとデイリーレポートメール (そしてより多くの頻繁な同一情報でERDDAP™ログファイル) アクティブユーザーの要求数を表示します。 ("Requester's IP アドレスを参照してください。 (許可される) ツイート) お問い合わせERDDAP™また、管理者にメールを送信します。「非日常的な活動:リクエストの25%が失敗しました」お問い合わせ それから見て下さいERDDAP™ログファイルでリクエストの性質を確認します。 誰かがあまりにも多くのリクエストをしていると感じた場合、奇妙なリクエスト (私は見たことを信じないだろう, よく, 多分、あなたは) , または攻撃型リクエスト, あなたはブラックリストに自分のIPアドレスを追加することができます.
  • ブラックリスト -- 面倒なユーザーのIPアドレス、ボット、およびサービスの拒否攻撃者にERDDAP ブラックリスト, それらの将来の要求がすぐに拒否されるように. この設定はdatasets.xmlリストにIPアドレスをすばやく追加できるように、ログインデータセットなので、ERDDAP™すぐに通知し、変更を適用します。 ブラックリストされたユーザーに送信されたエラーメッセージは、それらを連絡することを奨励しますERDDAP™彼らが誤ってブラックリストに入れていると感じた場合、管理者。 (私たちの経験では、複数のスクリプトを同時に実行していたり、そのスクリプトが非密なリクエストを行なっていたり、何人かのユーザーが気づいたりしています。)
  • データセットセキュリティ - データセットの種類 (同様に、EDDTableFromDatabase) 追加のセキュリティリスクを提示 (e.g.、SQLの注入) 自らのセキュリティ対策を講じます。 それらの種類のデータセットに関する情報を参照してください。と働くdatasets.xmlファイル, かなりEDDTableFromDatabase セキュリティお問い合わせ
  • セキュリティ監査 -- しかし、NOAAITセキュリティは、長年スキャンの要求を拒否しました。 (ボブの) ERDDAP™インストール。 初期スキャンでは、修正した問題がいくつか見つかりましたが、その後のスキャンでは問題が見つかりませんでしたERDDAPお問い合わせ スキャンは多くのことを心配します: 当然のことながら、tabledapリクエストはSQLリクエストのように見え、SQLインジェクションの脆弱性を心配しています。 しかし、これらの懸念は未知の理由ですERDDAP™クエリを常に解析し、検証し、インジェクションの脆弱性を回避する方法でSQLクエリを個別にビルドします。 彼らが時々言う他のことは、私たちのことであるJavaバージョンや Tomcat のバージョンは、必要に応じて最新のものではなく、応答で更新します。 以前は、セキュリティレポートを人々に見せるために提供しましたが、そうしないと言いました。

お問い合わせ 提案?​

お問い合わせERDDAP's セキュリティ システムまたは質問、疑問、懸念、または設定方法に関する提案がある場合は、当社のを参照してください。追加サポートを受けるセクションお問い合わせ

知っておくべきこと​

これらは、あなたが必要性が生じたまで知る必要はありません細部です。

セカンドERDDAP™​

  • セカンドの設定ERDDAP™テスト/開発のため
    これを行う場合は、2つのアプローチがあります。
  • (ベストベスト) Tomcatをインストールし、ERDDAP™お使いのコンピュータにあなたの公共を持っているコンピュータ以外にERDDAPお問い合わせ パソコンをご利用の場合:

  1. インストールを一度に行う。 まずはTomcatを起動して実行してください。 Tomcat が実行中の場合、Tomcat マネージャーは http://127.0.0.1:8080/manager/html/ (または多分 http://localhost:8080/manager/html/ )

  2. インストールERDDAPお問い合わせ

  3. プロキシパスを使用して、ポート番号を消去しないでください。ERDDAP™サイトマップ

  4. インスタグラムセットアップ。xmlのセット baseUrl への http://127.0.0.1:8080

  5. はじめにERDDAP™で見ることができるはずです http://127.0.0.1:8080/erddap/status.html (または多分 http://localhost:8080/erddap/status.html )

第二トンカット​

  • (第2ベスト) パブリックと同じコンピュータに別のTomcatをインストールERDDAPお問い合わせ

  1. インストールを一度に行う。 まずはTomcatを起動して実行してください。 2番目のTomcatに関連付けられているポート番号のすべての変更 (例:8080～8081) (見る複数のTomcat インスタンスセクションその文書を通した途中) お問い合わせ

  2. インストールERDDAP™新しいTomcatで。

  3. プロキシパスを使用して、ポート番号を消去しないでください。ERDDAP™サイトマップ

  4. インスタグラムセットアップ。xmlのセット baseUrl への http://www.*yourDomainName*:8081

  5. はじめにERDDAP™で見ることができるはずです http://www.*yourDomainName*:8081/erddap/status.html
     

ソリッドステートドライブ​

  • ソリッドステートドライブ (SSDシリーズ) お問い合わせ
    最も速く、最も簡単で、最も安い方法でスピードアップERDDAP's は、表データへのアクセスは、ソリッドステートドライブにデータファイルを置くことです。 (SSDシリーズ) お問い合わせ ほとんどの表形式のデータセットは比較的小さいため、1 または 2 TB SSD は、すべての表形式のデータセットのデータファイルを保持するのに十分です。 データをセルに書き込むとSSDが最終的に摩耗し、削除し、そのセルに新しいデータを何度も書き込む。 そのため、SSDを使用してデータを一度に書き、何度も読み込むと、コンシューマーグレードのSSDが非常に長時間持続する必要さえあれば、ハードディスクドライブよりもはるかに長い (ハードウェア) お問い合わせ 消費者向けSSDの方が安い (2018年、2TBの$200または$400) そして価格が落ちるのは速いです。 いつかERDDAP™データファイルにアクセスし、SSDはより短いレイテンシを提供します (~0.1ms, 対 ~3ms HDD, 対 ~10 (お問い合わせ) ms for RAID, versus ~55ms for Amazon S3) より高いスループット (~500 MB/S, versus ~75 MB/s HDD, versus ~500 MB/s の RAID) お問い合わせ そのため、大きなパフォーマンスブーストを得ることができます (最大10倍のHDD) $200で! システムの他のほとんどの変更と比較して ($10,000の新しいサーバー? 新規 RAID $35,000? $5000の新しいネットワークスイッチ? など。) 、これは投資の最高のリターンによるものです (ログイン) お問い合わせ SSD が死ぬとき (1、2、8年) 、それを取り替えて下さい。 長期的には、データのアーカイブ保存、データのフロントエンドのコピーだけに頼らないでください。\[SSDは、グリッドデータにも最適ですが、ほとんどのグリッドデータセットははるかに大きいため、SSDは非常に高価になります。\]

サーバがメモリにロードされていない場合、サーバーのメモリの追加は、非常に安価で、あらゆる面をスピードアップする手段です。ERDDAPお問い合わせ  

重負荷/制約 **​

重い使用を使って、スタンドアロンERDDAP™様々な問題で制約されることがあります。 詳しくは、制約とソリューションのリストお問い合わせ  

グリッド、クラスタ、およびフェデレーション​

非常に重い使用の下で、単一のスタンドアローンERDDAP™1 つ以上の制約に実行され、提案されたソリューションも不十分です。 そのような状況のために、ERDDAP™スケーラブルグリッドを簡単に構築できる機能 (クラスターやフェデレーションとも呼ばれる) インフォメーションERDDAPシステムが非常に重い使用を処理することを可能にするs (大型データセンター向けなど) お問い合わせ 詳しくは、グリッド、クラスター、フェデレーションERDDAPツイートお問い合わせ  

クラウドコンピューティング​

複数社が提供開始クラウドコンピューティングサービス (例:Amazon Webサービス) お問い合わせウェブホスティング会社クラウドサービスは、1990年代半ばからシンプルなサービスを提供してきましたが、クラウドサービスは、システムの柔軟性と提供サービスの範囲を大幅に拡大しました。 これらのサービスを使用して、単一のサービスを設定できますERDDAP™またはグリッド/クラスターERDDAP非常に重い使用を処理するs。 詳しくは、クラウドコンピューティングERDDAP™お問い合わせ

アマゾン​

取得するために必要なものの概要ERDDAP™AWS上で動作する:

  • 一般的には、記載されているすべてのことをします。AWS ユーザーガイドお問い合わせ
  • AWSアカウントを設定します。
  • 管理者権限でアカウント内のAWSユーザーを設定します。 以下の手順を実行するために、このユーザーとしてログインします。
  • 伸縮性があるブロックの貯蔵 (EBSについて) サーバーに取り付けられたハードドライブのAWS等価です。 EC2 インスタンスを作成するときに EBS スペースが割り当てられます。 永続的なストレージです。EC2インスタンスを停止すると情報が失われません。 インスタンスタイプを変更すると、 EBS スペースは自動的に新しいインスタンスに添付されます。
  • あなたのEC2インスタンスが安定した、公開URLを持っているようにElastic IPアドレスを作成します (インスタンスを再起動するたびに変更するプライベートURLとは対照的に) お問い合わせ
  • EC2インスタンスの作成と起動 (パソコン) お問い合わせ 広い範囲はありますインスタンスタイプ、別の価格の各。 m4.large または m4.xlarge インスタンスは強力で、ほとんどの用途に適していますが、ニーズを満たしているものを選択します。 AmazonのLinuxをオペレーティングシステムとして使用したいでしょう。
  • デスクトップ/ラップトップコンピューターがWindowsコンピュータの場合、プッシー、あなたのEC2インスタンスのコマンドラインにアクセスするために、Windows用の無料のSSHクライアント。 または、お好みの他のSSHプログラムがあるかもしれません。
  • EC2 インスタンスにログインすると、ユーザ名 "ec2-user" で管理ユーザとしてログインします。 ec2-userはsudo権限を持っています。 つまり、rootユーザとして何かを行う必要があるとき、sudo を使う いくつかのコマンド
  • デスクトップ/ラップトップコンピューターがWindowsコンピュータの場合、ファイル, 無料のSFTPプログラム, ファイルをEC2インスタンスから転送します。 または、お好みのSFTPプログラムがあるかもしれません。
  • Apache のインストールEC2 インスタンスに。
  • 標準に従うERDDAP™インストール手順お問い合わせ  

WaitThenTryAgain 例外​

ユーザはエラーメッセージを受け取ることができます。 WaitThenTryAgainException: そこにあった (臨時?) 問題。 しばらくお待ちください。 (ブラウザで、[リロード]ボタンをクリックします。)
詳細: GridDataAccessor.increment: 部分結果\[0 の 0\]「123542730」が「123532800」と予想されました。

WaitThenTryAgainExceptionの一般的な説明は次のとおりです。 いつかERDDAP™ユーザリクエストに応答し、データセットで予期しないエラーが発生する可能性があります。 (たとえば、ファイルからデータを読みながらエラーや、リモートデータセットにアクセスするエラー) お問い合わせ WaitThenTryAgain シグナル へERDDAP™失敗したリクエスト (ここまで) しかし、ERDDAP™データセットをすぐに再ロードしようとする (呼び出しリクエストリロードASAP) リクエストを再試行します。 多くの場合、これは成功し、ユーザはリクエストに対する応答が遅くなったことを確認します。 それ以外の場合、リロードが失敗するか遅すぎるか、またはその後のリクエストに対処する試みも失敗し、別のWaitThenTryAgainを投げます。 その場合、ERDDAP™再読み込みのためのデータセットをマークしますが、ユーザーに指示します (WaitThenTryAgain 例外) ご要望にお応えして失敗がありました。

通常の動作です。 このシステムは、多くの一般的な問題に対処することができます。 しかし、このシステムが過度にトリガーされるのは可能です。 最も一般的な原因は、ERDDAP'dataset の読み込みは問題を見ませんが、ERDDAP's データのリクエストに対する応答は問題です。 原因が何であれ、その解決策は、データセットに誤って何かに対処することです。 実際のエラーメッセージを見て、問題に対処するためにlog.txtを見てみましょう。 多くのファイルが有効なヘッダを持っているが、無効なデータがある場合 (破損したファイル) , 破損していないファイルでファイルを置き換えます. RAID への接続が不備の場合、それを修正します。 リモートサービスへの接続がフラッケーの場合、リモートソースからすべてのファイルをダウンロードし、ローカルファイルからデータを配信する方法を見つけます。

その特定のエラーの詳細な説明 (詳しくはこちら) は: お問い合わせEDDGridデータセット,ERDDAP™軸変数値をメモリに保存します。 これらは、例えば、要求された軸値を " 使用する変換するために使用されます。 () " インデックス番号にフォーマットします。 例えば、軸値が「10, 15, 20, 25」の場合、 (2018年12月20日) インデックス #2 のリクエストとして解釈される (0 ベースのインデックス) お問い合わせ いつかERDDAP™リクエストデータを取得し、ソースからデータを取得すると、ソースから取得した軸値がメモリ内の軸値と一致していることが確認されます。 通常、彼らは行います。 しかし、場合によっては、データソースは重要な方法で変更されています。例えば、軸変数の先頭からインデックス値が削除されることがあります。 (例:「10・15・20・25」は「20・25・30」になる場合があります。) お問い合わせ それが起こると、それが明らかであるERDDAPリクエストの解釈 (例: " (2018年12月20日) インデックス#2) 今は間違っています。 お問い合わせERDDAP™例外を投げ、RequestReloadASAP を呼び出します。ERDDAP™すぐにデータセットを更新します (多くの場合、数秒で、通常1分以内) お問い合わせ その他、同様の問題は、WaitThenTryAgain例外を投げます。

リクエストリロードASAP​

エラーメッセージの直後にlog.txtファイルでRequestReloadASAPが表示されることがあります。WaitThenTryAgain 例外お問い合わせ それは基本的に内部です, プログラマティックな方法のためのERDDAP™設定するログインデータセットがASAPを再ロードされるべきであることを信号するため。  

削除されていないファイル​

いくつかERDDAP™インストール, によって作成されるいくつかの一時的なファイルの問題がありましたERDDAP™宿泊予約 (ログイン) 削除されていない。 いくつかのケースでは、これらのファイルの多くが蓄積され、ディスク容量のかなりの量を占めています。

うまくいけば、これらの問題は修正されています (お問い合わせERDDAP™v2.00 の) お問い合わせ この問題が見つからない場合は、 Chris にオフエンディングファイルの directory+names にメールを送ってください。 noaaa.govのジョン 問題に対処するためのいくつかのオプションがあります。

  • ファイルが大きすぎず、ディスクスペースを外す原因でなければ、問題は無視できます。
  • 最も簡単な解決策は、tomcat/をシャットダウンすることです。ERDDAP™ (時間が経つにつれて、ユーザーの数が少ない) お問い合わせ 停止中、オペレーティングシステムがファイルを削除しない場合は、手動で削除します。 それから再起動して下さいERDDAPお問い合わせ  

JSON-ldの特長​

出力日付 URL​

遅くても、データプロバイダがデータファイルに書き込まれている URL は、最新のものになっています。 (例えば、httpなるほどhttpsNODC/NGDC/NCDC/NCDC のような組織は NCEI に再構成されます) お問い合わせ その結果、壊れたリンクは、すべてのウェブサイトが直面する常駐の問題です。 これに対処するため、ERDDAP™最新のURLを自動的に更新するシステムがあります。 GenerateDatasets の場合 Xml は最新の URL を参照し、最新の URL を最新の URL に追加します。<addAttributes>。 また、データセットが読み込まれた場合、ERDDAP™最新の URL を参照し、それを最新の URL にサイレントに変更します。 変更は、定義された一連のsearch-for/replace-withのペアによって制御されます<updateUrls> お問い合わせERDDAPお問い合わせ \[トームキャット\]/webapps/erddap/WEB-INF/classes/gov/noa/pfel/erddap/util/messages.xml ファイル。 変更を加えることができます。 変更の提案がある場合、またはこれがサービスに変わるべきだと考えている場合 (コンバーターのような) Chrisにメールをお送りください。 noaaa.govのジョン  

コーズ​

  • コーズ (クロスオリジンリソース共有)
    「制限されたリソースを可能にするメカニズム (例: フォントまたはERDDAP™データデータ) ウェブページでは、最初のリソースが提供されるドメインの外から別のドメインから要求されます。 (アラン・ランアナサン) お問い合わせ 基本的には、CORS は、応答の HTTP ヘッダに置くことができるメッセージで、基本的には「特定の他のサイトの場合、このサイトでは大丈夫です (特定のもの、またはすべて) リソースをつかむ (例:データ) このサイトから、サイト上で利用することができます。 したがって、それは代替手段ですジェソンプお問い合わせ

開発者のERDDAP™セキュリティ専門家であることは主張しません。 CORSに関するセキュリティ問題は、完全にクリアではありません。 セキュリティを低下させるアクションを宣言するステートメントを作りたくない。 そのため、ニュートラルにとどまり、それぞれに任せるERDDAP™管理者は、利益を決定したり、 CORS ヘッダを有効にしたり、リスクの価値があるかどうかを決定します。 いつものように、ERDDAP™プライベートなデータセットがあれば、セキュリティに十分注意を払ってみると良いでしょう。

CORSを有効にしたい場合ERDDAP™, ありますすぐに利用できる指示ウェブサイト管理者がCORSヘッダーを低レベルのサーバーソフトウェアで有効化できる方法を説明する (例: Apache または nginx) お問い合わせ

パレット​

  • パレットは、ERDDAP™グラフやマップを作成するときに、データ値の範囲を色の範囲に変換します。

各パレットは .cpt-style パレットファイルで定義されます。GMTのお問い合わせ すべてERDDAP™.cpt ファイルは有効な GMT .cpt ファイルですが、逆は真ではありません。 使用のためERDDAP™, .cpt ファイルには:

  • "#" で始まるファイルの開始時にオプションのコメント行を行ないます。
  • パレットのセグメントの説明、行ごとの1つのセグメントを持つメインセクション。 各セグメントの説明行には8つの値があります。 スタート 値、startRed、開始 緑、開始 青、エンドバリュー、エンドレッド、エンドグリーン、エンドブルー。 任意のセグメントの数があるかもしれません。ERDDAP™各セグメントの startRed/Green/Blue と endRed/Green/Blue の間の線形補間を使用します。

各セグメントは、異なる開始色と終了色を指定し、各セグメントの開始色は、前のセグメントの終了色と同じであるため、パレットは色の連続ブレンドを記述する。ERDDAP™パレットから色を分離するパレットのパレットをオンザフライするシステムがあります。 ログインERDDAP™ユーザーは、パレットが連続であるかどうかを指定できます (オリジナル) または分離して下さい (オリジナル由来) お問い合わせ しかし、いくつかのパレットのためのこれらの推奨事項を従わない正当な理由があります。

  • startValueとendValuesは整数でなければなりません。 最初のセグメントは startValue=0 と endValue=1 を持っている必要があります。 2 番目のセグメントは startValue=1 と endValue=2 を持っている必要があります。 お問い合わせ
  • 赤、緑、青の値は 0 から整数でなければなりません (なし) ... 255 (フルオン) お問い合わせ
  • ファイルの末尾には、次の3行が必要です。
    1. 背景の rgb 色の最小値以下のデータ値、例えば: B 128 128 128 128 最初のセグメントのstartRed、StartGreen、およびstartBlueがよくあります。
    2. データ値のフォアグラウンド rgb 色は、カラーバー最大値以上、例えば: F 128 0 0 最後のセグメントのendRed、endGreen、endBlueがよくあります。
    3. NaNのデータ値のrgb色、例えば、N 128 128 128 128 128 それは頻繁に中間の灰色です (128の128 128) お問い合わせ
  • 各行の値はタブで区切る必要があります。

サンプル.cptファイルはBlueWhiteRed.cptです。

会員番号 これはBlueWhiteRed.cptです。 0 0 0 0 0 0 0 0 255 1 0 0 255 2 0 255 255 255 2 0 255 255 255 255 255 255 255 3 255 255 255 255 4 255 255 0 4 255 255 0 5 255 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 日 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 時 分 分 時 分 時 分 時 分 時 分 時 時 分 分 分 時 時 時 時 分 分 時 時 時 時 分 時 時 時 時 時 時 時 時 時 時 時 時 時 分 時 時 時 時 時 時 時 時 時 時 時 時 時 時 時 時 分 分 時 時 時 時 時 時 時 時 時 時 時 時 時 時 時 時 時 時 分 時 時 時 時 時 ファックス: 86-20-6426 N 128 128 128 128

既存の .cpt ファイルを他の例で参照してください。 .cpt ファイルに問題がある場合、ERDDAP™.cpt ファイルが解析されたときにエラーを投げるでしょう。 (情報を誤用するよりも優れています) お問い合わせ

追加パレットを追加できますERDDAPお問い合わせ 自分で作ったり、ウェブで見つけたりすることができます (例えば、cpt 都市) おそらく形式を少し編集する必要がありますが、ERDDAP's .cpt の要件。 お問い合わせERDDAP™新しく .cpt ファイルを使用するには、ファイルに格納します。 トームキャット /webapps/erddap/WEB-INF/cptfiles (それぞれの新しいバージョンでは、ERDDAP) と:

  • デフォルトの message.xml ファイルを使用する場合: ファイル名を filename に追加します。<パレット> タグ トームキャット /webapps/erddap/WEB-INF/classes/gov/noaa/pfel/erddap/util/messages.xml. これを行う場合は、アップグレードするたびに行う必要がありますERDDAPお問い合わせ
  • custom message.xml ファイルを使用する場合: filename を<custom の message.xml ファイルにある customttes> タグ: トームキャット /content/erddap/messages.xml ディレクティブ これを行う場合は、一度だけそれを行う必要があります (しかし、カスタムmessions.xmlファイルを維持するための他の作業があります) お問い合わせ

それから再起動して下さいERDDAP™お問い合わせERDDAP™変更の通知。 このアプローチの利点は、ユーザーに提示されたリストのパレットの順序を指定することができることです。 コレクションを追加する場合は、著者の初期にプレフィックスを追加することをお勧めします。 (例: "KT\_ツイート) 各パレットの名前にコレクションを識別するため、それ以外の場合は同じ名前を持つ複数のパレットがあります。

標準パレットの削除や変更はしないでください。 それらはすべての標準的な特徴ですERDDAP™インストール。 パレットやパレットのコレクションが標準に含まれているべきだと思うならERDDAP™一般的な使用のため、配布はChrisにメールしてください。 noaaa.govのジョン

カラーバー​

  • 方法ERDDAP™カラーバーの色を生成しますか?
  1. ユーザはあらかじめ定義されたものを選択します。パレットまたは、例えば、虹のデフォルトを使用して下さい。 パレットはGMTスタイルの.cptカラーパレットテーブルファイルに保存/定義されます。 それぞれERDDAP's predefined パレットには、単純な整数範囲があります。例えば 0 から 1 (パレットに1つのセクションだけがある場合) または 0 から 4 (パレットに4つのセクションがある場合) お問い合わせ n=0 から n+1 までの各セグメントをカバーしています。
  2. ERDDAP™定義済みのパレットの範囲をスケーリングすることで、新しい.cptファイルをオンザフライで生成します。 (例: 0～4) ユーザーが必要とするパレットの範囲に (例:0.1～50) 新しいパレットの各セクションのセクションを生成し、 (例えば、0.1、0.5、1、5、10、50の刻印付きのログスケールは5つのセクションを持っています) お問い合わせ 各セクションの終点の色は、.cpt ファイルのパレットの関連セクションを見つけ、R、G、B 値を線形に補うことによって生成されます。 (GMTがカラーパレットテーブルファイルから色を生成する方法と同じです。) このシステムにより、ERDDAP™一般的なパレットから始める (例えば、8つの区分が付いている虹は、合計で0から8に spanning) カスタムパレットをオンザフライ作成 (例: 虹色に 0.1 から 50 mg/L をマップするカスタム虹) お問い合わせ
  3. ERDDAP™その後、新しい.cptファイルを使用して、色バーの各異なる色ピクセルの色を生成します (グラフまたはマップ上のデータをプロットするときに、各データポイントの後に) , 再び .cpt ファイルのパレットの関連セクションを見つけること, その後、線形に R を補う, G, B 値.

このプロセスは必然的に複雑に見えるかもしれません。 しかし、他の方法で解決するのが難しいログスケールの問題は解決します。

だから、どのようにして、あなたは何かを模倣することができますERDDAP™お問い合わせ 簡単ではありません。 基本的にはプロセスを複製する必要がありますERDDAP™使用しています。 もし、Javaプログラマは、同じを使用できますJavaクラスERDDAP™これをすべてするために使用します。 トームキャット /webapps/erddap/WEB-INF/classes/gov/noaa/pfel/coastwatch/sgt/CompoundColorMap.java.

データ流通システムガイドライン​

データの流通システムの設計と評価に関するより一般的な意見が見つかります詳しくはこちらお問い合わせ  

アーカイブAデータセット​

含まれたものERDDAP™インストールは、アーカイブを作成するのに役立つアーカイブADatasetと呼ばれるコマンドラインツールです。 (は、.zipまたは.tar.gzファイル) netcdf-3 のシリーズに格納されているデータセットの一部またはすべて.nc投稿に適したファイル形式のデータファイルNOAA'NCEI アーカイブ (.ncグリッドされたデータセットまたは.ncCFMAの表形式のデータセットの場合、ネクタイNetCDFテンプレート v2.0) お問い合わせ

アーカイブA データセットは、2つの異なるアーカイブフォーマットを作ることができます。

意外に、グローバルな変数メタデータということERDDAP™NCEIが奨励/要求することを奨励/要求は、ほぼ同じファイルCFとACDDメタデータであり、NCEIが奨励/要求するので、すべてのデータセットはNCEIに提出する準備が整います送信2NCEIまたはアトラック (NCEIのアーカイブコレクションの高度な追跡とリソースツール) お問い合わせ

お問い合わせ (お問い合わせERDDAP™管理者権限) データをNCEIに送信するために、アーカイブADatasetを使用して、 (NCEIとは) NCEIにデータのチャンクを提出し、チャンクがどうなるかを判断します。なぜなら、新しいデータがいつあるのか、チャンクが指定する方法が分かります。 (そしてNCEIはしません) お問い合わせ したがって、アーカイブADatasetは、NCEIに提出するパッケージを作成するために使用するツールです。

アーカイブA たとえば、データセットは他の状況では有用かもしれません。ERDDAP™データセットのサブセットを変換する必要がある管理者 (プライベートERDDAP) ネイティブファイル形式からセットまで.ncCFファイル, 公共ERDDAP™データをデータから配信できます。.nc元のファイルではなくCFファイル。

セットアップが完了したらERDDAP™実行する (少なくとも 1 時間) では、アーカイブADatasetを検索して利用することができます。 トームキャット /webapps/erddap/WEB-INFディレクトリ シェルスクリプトがあります (アーカイブADataset.sh) Linux/Unix およびバッチファイルの場合 (アーカイブADataset.bat) Windows用

Windows では、アーカイブADataset を実行する初めて、アーカイブADataset を編集する必要があります。 java へのパスを変更するテキストエディタでファイルをバットします。 Windowsが見つけることができるようにexeファイルJavaお問い合わせ

アーカイブADatasetを実行すると、一連の質問をします。 各質問に対して、応答を入力し、Enterキーを押します。 または、いつでもプログラムを終了するために ^C を押します。

または、コマンドラインで、注文して、回答を質問にすることができます。 これを行うには、一度プログラムを実行し、入力し、回答を書き留めます。 それから、単一のコマンドラインを作成できます (パラメータとしての回答) プログラムを実行し、すべての質問に答えます。 指定したパラメータのデフォルト値を使用する場合は、デフォルト値を使用します。 "" を使う (2つの二重引用符) 空の文字列のプレースホルダーとして。 コマンドラインのパラメータを指定すると、月1回にアーカイブADatasetを使用してデータの価値をアーカイブすることができます。 コマンド行をパラメータで生成し、メモやシェルスクリプトに保存したら、その月のアーカイブを作るために毎月小さな変更を加えるだけです。

ArchiveADataset の質問は、次のようにします。

  • オリジナルまたはバジットファイルパッケージを指定します。 NCEIは、バジットを使用します。
  • zip または tar を指定する.gzパッケージの圧縮。 NCEI用、タール.gzお問い合わせ
  • このアーカイブの連絡先メールアドレスを指定します (アーカイブ内の READ\_ME.txt ファイルに記述します。) お問い合わせ
  • 指定するdatasetIDアーカイブしたいデータセット。
  • アーカイブしたいデータ変数を指定する (通常すべて) お問い合わせ
  • アーカイブしたいデータセットのサブセットを指定します。 データリクエストのサブセットをフォーマットするのと同じ方法でサブセットをフォーマットする必要がありますので、表形式のデータセットよりもグリッド化されます。
    • グリッドされたデータセットの場合、残った寸法の値の範囲を指定できます。通常は時間範囲です。 archiveADataset は別々のリクエストを生成し、各値に対して別々のデータファイルを生成します。 グリッドされたデータセットは通常大きいため、データセット全体の大きさに相対的に小さなサブセットを指定する必要があります。 例えば、\[ (2015年12月1日) : : : (2015年12月31日) \]\[\]\[\]\[\]
    • 表形式のデータセットの場合、制約の任意のコレクションを指定できますが、多くの場合、時間の範囲です。 通常はタブラーデータセットが小さいため、制約なしを指定できることが多いため、データセット全体がアーカイブされます。 例えば、&time>=2015-12-01&time<2016年01月01日
  • 表形式のデータセットの場合: アーカイブされたデータが異なるデータファイルにさらにサブセットされる方法を決定する 0 以上の変数のコンマ区切りリストを指定します。 データセットの場合 cdm\_data\_type ディレクティブ\=タイムシリーズ|TimeSeriesプロファイル|ゴミ箱|Trajectoryプロファイル cf\_role=timeseries\_id を持つ変数を常に指定する必要があります。 (例:stationID) または cf\_role=trajectory\_id 属性。 archiveADataset は別々のリクエストを作成し、各変数の値のそれぞれに別々のデータファイルを生成します。stationIDお問い合わせ 他のすべてのタブラデータセットでは、この目的のために任意の変数を指定しないでしょう。 警告: あなたがアーカイブしているデータセットのサブセットが非常に大きい場合 (>2GB) この目的に適切な変数がないので、このデータセットではアーカイブADatasetは利用できません。 これはまれです。
  • 作成したデータファイルの形式を指定します。 グリッドデータセット用、NCEI用、.ncお問い合わせ 表データセットの場合、NCEIでは、.ncCFMAのオプションであれば、それ以外の場合は.ncお問い合わせ
  • 各データファイルとアーカイブパッケージ全体で作成するファイルダイジェストの種類を指定します。MD5、SHA-1、またはSHA-256。 ファイルのダイジェストはクライアントのための方法を提供します (例:NCEI) データファイルが破損しているかどうかをテストします。 昔は、.md5 ファイル, しかし、今、より良いオプションがあります. NCEIならSHA-256を使う。

すべての質問に答えた後、 ArchiveADataset は次のようになります。

  1. 一連のリクエストをデータセットにし、その結果のデータファイルをステージに bigParentディレクトリ /ArchiveAデータセット/ datasetID\_タイムスタンプ .... 埋め込まれたデータセットの場合、左右の次元の各値のファイルがあります。 (例、時間) お問い合わせ ファイル名は、その値になります。 (例、時間値) お問い合わせ 表形式のデータセットの場合、...変数の各値のファイルがあります。 (ツイート) お問い合わせ ファイル名は、その値になります。 変数が1つ以上ある場合、サブディレクトリ名を作るために左変数が使われ、一番右側の変数はファイル名を作るために使用されます。 各データファイルには、<2GBの (許可される最大.ncバージョン3ファイル) お問い合わせ

  2. データファイルのダイジェストで各データファイルに関連するファイルを作成します。 例えば、データファイルが46088の場合.ncそして消化タイプは.sha256です、そして消化ファイルは46088の名前を持っています.nc.sha256 。

  3. このアーカイブを生成するために指定したすべての設定のリストを含む、アーカイブに関する情報を READ\_ME.txt ファイルにします。

  4. 3ファイルを作る bigParentディレクトリ /ArchiveADataset/:

    • ツイート.zipまたは.tar.gz指定されたアーカイブファイル datasetID\_タイムスタンプ .zip (または.tar.gz) ステージされたデータファイルとダイジェストファイルをすべて含んでいます。 このファイルは、ディスク容量だけに制限されるサイズであってもよいです。
    • たとえば、アーカイブファイルのダイジェストファイル datasetID\_タイムスタンプ .zip.sha256.txtの
    • 「オリジナル」タイプのアーカイブでは、名前のテキストファイル datasetID\_タイムスタンプ .zip.listOfFiles.txtの使い方 (または.tar.gz) すべてのファイルをリストする.zip (または.tar.gz) ファイル。

NCEIのアーカイブを準備している場合は、NCEIに送信するファイルです。送信2NCEIまたはアトラック (NCEIのアーカイブコレクションの高度な追跡とリソースツール) お問い合わせ 5. ステージされたファイルをすべて削除し、アーカイブファイルのみ (例:.zip) 、消化器 (例:.sha256.txt) アーカイブの (オプション) .listOfFiles.txt ファイルが残っています。

ISO 19115の.xml メタデータファイル​

アーカイブADatasetアーカイブパッケージには、データセットのISO 19115 .xmlメタデータファイルには含まれません。 NCEI にデータセット用の ISO 19115 ファイルを提出したい場合、ISO 19115 .xml メタデータファイルを送ることができます。ERDDAP™データセット用に作成 (しかし、NMFS人々は、InPortからデータセットのためにISO 19115ファイルを取得する必要がありますERDDAP™既にそのファイルを提供していない) お問い合わせ

問題? 提案? アーカイブADataset が新規です。 問題や提案がある場合は、こちらを参照してください。追加サポートを受けるセクションお問い合わせ