Skip to main content
URLを指定し、そこからリンクを辿ってWebサイト全体をクロールし、コンテンツを収集します。
クロールは同一ドメイン内のページのみを対象とします。外部ドメインへのリンクは追跡されません。

​
クロールジョブの作成

1

ダッシュボードから「クロール」を選択

クロールのダッシュボード
2

「新規ジョブ作成」をクリック

クロールのジョブ作成モーダル
3

必要な情報を入力

  • URL: クロール開始地点のURL
  • 最大深度: リンクを辿る階層数（デフォルト: 1）
  • 最大取得ファイル数: 取得するファイル数（デフォルト: 100）
取得でエラーが発生した場合は最大取得ファイル数より少ない数で終了することがあります。
クロールに時間がかかりすぎる場合はジョブが停止します。
必要に応じて最大深度か最大取得ファイル数を調整するか、パスフィルターを設定してください。

​
クロール設定の詳細

​
パスフィルター

特定のURLのパスのみを含めたい場合は、正規表現を使用することで辿るリンクを制限できます

​
例

  • /docs から辿れる /docs/quickstart.html ・ /docs/introduction.html ・ /docs/example.html はクロールされます。
  • /docs の上位のディレクトリはクロールされません。
  • /docs から辿れない /docs/orphan.html はパスに /docs が含まれていたとしてもクロールされません。パスフィルターに含まれるのはあくまでクロール対象のURLのパスであり、クロール開始地点から辿れるURLに限定されます。

​
コンテンツパターン

リンクを辿った後に取り込むコンテンツを指定できます： 
.*\.(pdf|pptx)$          # pdfとpptxファイルのみを含める
.*\?utm_.*               # UTMパラメータ付きURLのみを含める
パスフィルターは前処理的に、コンテンツパターンは後処理的に動作します。

​
HTMLファイルのみをダウンロード

HTMLファイルのみをダウンロードするオプションを有効にできます。

​
ヘッドレスブラウザの使用

javascriptで動的に生成されるコンテンツを取得するためにヘッドレスブラウザを使用できます。
ヘッドレスブラウザはリソースを多く消費するため、使用する場合は最大深度か最大取得ファイル数を小さくすることをお勧めします。

​
ダウンロードするファイル拡張子

共通でサポートされているファイル形式に加えて、以下の拡張子のファイルがダウンロードされます。
  • bin
  • css
  • csv
  • gif
  • gz
  • js
  • json
  • py
  • svg
  • xml
  • zip