クロール

WebサイトのURLを指定してリンクを辿るクロールや、URLリストを指定した直接ダウンロードによって、コンテンツを収集します。ジョブ作成時に「URL指定」と「URLリスト」の2つのモードを選択できます。

モード	用途
URL指定	開始URLからリンクを辿ってサイト全体をクロール
URLリスト	指定したURLのファイルを直接ダウンロード

クロールジョブの作成（URL指定）

開始URLからリンクを辿り、同一ホスト（開始URLと同じホスト名）のページをクロールします。

ダッシュボードから「クロール」を選択

「新規ジョブ作成」をクリック

「URL指定」タブで必要な情報を入力

URL: クロール開始地点のURL
最大深度: リンクを辿る階層数（デフォルト: 1）
最大取得ファイル数: 取得するファイル数（デフォルト: 100）

取得でエラーが発生した場合は最大取得ファイル数より少ない数で終了することがあります。

クロールに時間がかかりすぎる場合はジョブが停止します。
必要に応じて最大深度か最大取得ファイル数を調整するか、パスフィルターを設定してください。

クロールジョブの作成（URLリスト）

ダウンロードしたいURLが決まっている場合は、URLリストモードを使用してファイルを直接ダウンロードできます。リンクを辿る必要がないため、異なるドメインのURLも混在させることができます。

ダッシュボードから「クロール」を選択

「新規ジョブ作成」をクリック、「URLリスト」タブを選択

URLリストを入力

1行に1つのURLを入力します。# で始まる行はコメントとして無視されます。

https://example.com/docs/guide.pdf
https://example.com/docs/tutorial.pdf
# 以下はサンプルページ
https://example.com/samples/demo.html

URLリストモードではリンクの探索を行わないため、パスフィルターや最大深度などのクロール設定は不要です。最大取得ファイル数はURL件数に自動で合わせられ、ダウンロード上限として適用されます。

クロール設定の詳細（URL指定モード）

以下の設定はURL指定モードでのみ使用できます。

パスフィルター

特定のURLのパスのみを含めたい場合は、正規表現を使用することで辿るリンクを制限できます

例

URL: https://example.com/docs
パスフィルター: ^/docs/

/docs から辿れる /docs/quickstart.html ・ /docs/introduction.html ・ /docs/example.html はクロールされます。
/docs の上位のディレクトリはクロールされません。
/docs から辿れない /docs/orphan.html はパスに /docs が含まれていたとしてもクロールされません。パスフィルターに含まれるのはあくまでクロール対象のURLのパスであり、クロール開始地点から辿れるURLに限定されます。

コンテンツパターン

リンクを辿った後に取り込むコンテンツを指定できます：

.*\.(pdf|pptx)$          # pdfとpptxファイルのみを含める
.*\?utm_.*               # UTMパラメータ付きURLのみを含める

パスフィルターは前処理的に、コンテンツパターンは後処理的に動作します。

HTMLファイルのみをダウンロード

HTMLファイルのみをダウンロードするオプションを有効にできます。

ヘッドレスブラウザの使用

javascriptで動的に生成されるコンテンツを取得するためにヘッドレスブラウザを使用できます。

ヘッドレスブラウザはリソースを多く消費するため、使用する場合は最大深度か最大取得ファイル数を小さくすることをお勧めします。

クロールファイル内容のダウンロード

クロールIDを source_group_id として指定すると、クロールで取得したファイルと source_id を一覧できます。limit を省略した場合は全件、指定した場合は pagination.next_id を次の after_id に渡してページングします。

curl -L \
  -H "x-api-key: $QAIP_API_KEY" \
  "https://api.qaip.example.com/api/v1/source-groups/{crawl_id}/sources?limit=100"

/search、GET /contents/{id}、POST /completions の citations で返る content.source_id も、同じクロールファイルのIDです。

クロール単位で検索

POST /search の source_group_id にクロールIDを指定すると、そのクロールで取得したデータだけを検索できます。

curl -L \
  -H "x-api-key: $QAIP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"query":"検索したい内容","source_group_id":"{crawl_id}"}' \
  "https://api.qaip.example.com/api/v1/search"

1ファイルをダウンロード

crawl_id を指定すると、クロールのmanifestから直接ファイルを解決するため、全クロール共通テーブルの走査を行いません。

curl -L \
  -H "x-api-key: $QAIP_API_KEY" \
  -o source.raw \
  "https://api.qaip.example.com/api/v1/sources/{source_id}/raw?crawl_id={crawl_id}"

crawl_id を省略する旧形式も互換性のため利用できますが、低速な非推奨経路です。GET /sources/{source_id}/raw はクロール由来の source_id のみ対象です。local_file の source_id は GET /sources/{source_id} で詳細を取得します。

複数ファイルをZIPでダウンロード

source_ids を指定すると選択したファイルだけを、リクエストbodyを省略するとクロール内の全ファイルをZIPでダウンロードできます。source_ids: [] は誤操作防止のためエラーになります。

curl -L \
  -H "x-api-key: $QAIP_API_KEY" \
  -H "Content-Type: application/json" \
  -o crawl-raw.zip \
  -d '{"source_ids":["{source_id_1}","{source_id_2}"]}' \
  "https://api.qaip.example.com/api/v1/crawls/{crawl_id}/raw-archive"

全件取得ではクロール単位に絞ったデータを逐次読み込み、少数の source_ids 指定ではmanifestからS3上の対象ファイルを直接取得します。指定したIDがそのクロールに含まれない場合は 422 を返します。他のデータソースへ広げる場合は、各データソースの永続化済みファイル内容と所有チェックを source_id から解決する必要があります。現時点では crawl のみ対応しています。

この API はテナント所有チェックで保存済みファイル内容全体を返します。チャンク単位の認可ポリシーは適用されないため、enforce 運用のテナントでエンドユーザーへ raw を提供する場合は、アプリ側で principal ごとの提供可否を制御してください。

ダウンロードするファイル拡張子

共通でサポートされているファイル形式に加えて、以下の拡張子のファイルがダウンロードされます。

bin
css
csv
gif
gz
js
json
py
svg
xml
zip

QAIP入門

データソース

Playground

管理

ユースケース

Integrations

Support

クロールジョブの作成（URL指定）

クロールジョブの作成（URLリスト）

クロール設定の詳細（URL指定モード）

パスフィルター

例

コンテンツパターン

HTMLファイルのみをダウンロード

ヘッドレスブラウザの使用

クロールファイル内容のダウンロード

クロール単位で検索

1ファイルをダウンロード

複数ファイルをZIPでダウンロード

ダウンロードするファイル拡張子

​クロールジョブの作成（URL指定）

​クロールジョブの作成（URLリスト）

​クロール設定の詳細（URL指定モード）

​パスフィルター

​例

​コンテンツパターン

​HTMLファイルのみをダウンロード

​ヘッドレスブラウザの使用

​クロールファイル内容のダウンロード

​クロール単位で検索

​1ファイルをダウンロード

​複数ファイルをZIPでダウンロード

​ダウンロードするファイル拡張子

クロールジョブの作成（URL指定）

クロールジョブの作成（URLリスト）

クロール設定の詳細（URL指定モード）

パスフィルター

例

コンテンツパターン

HTMLファイルのみをダウンロード

ヘッドレスブラウザの使用

クロールファイル内容のダウンロード

クロール単位で検索

1ファイルをダウンロード

複数ファイルをZIPでダウンロード

ダウンロードするファイル拡張子