新しくウェブサイトクロールを開始する

Webサイトの頻繁かつターゲットを絞ったクロールを実行することは、技術的な健全性を向上させ、オーガニック検索でのランキングを改善するための重要な要素です。このガイドでは、Similarwebを使用してWebサイトを効率的かつ効果的にクロールする方法を学びます。

ステップ1 - 基本情報

クロールを開始する前に、サイトのドメイン構造を理解しておくことをお勧めします。「ドメイン」フィールドにドメイン名を入力し、「チェック」をクリックします。関連するドメインにサムズアップが表示されます。

クロール中に見つかったサブドメインを含めたい場合は、「サブドメインをクロール」オプションをチェックします。その下では、HTTPとHTTPSの両方をクロールするかどうかも選択できます。 

プロジェクト名はドメイン名で自動的に入力されますが、プロジェクトを識別しやすくするために任意の名前に変更できます。

プロジェクト設定のプレビュー

設定を構成したら、プロジェクト設定をプレビューし、設定を確認し、クロールを開始する前にクロール構成を確認できます。たとえば、プレビュー機能を使用して401エラーを事前に確認できます。これにより、クロールが開始される前に問題を発見し、クロールが完了してから問題を発見するのではなく、必要な修正を行うことができます。

クロール設定プロセスのステップ1でプレビューにアクセスでき、「保存してプレビュー」オプションが表示されます。

プレビューが開くと、スクリーンショット、レンダリングされたHTML、静的HTML、およびレスポンスヘッダーを表示することができます。プレビューを確認したら、左下のボタンまたは右上のxを使用して設定に戻ることができます。

クロール設定プロセスのステップ4でも「保存してプレビュー」オプションにアクセスできます。「詳細設定」をクリックすると、そのすぐ下にオプションが表示されます。

ステップ2 - ソース

あなたのSimilarweb Site Auditプロジェクトに含めることができる7つの異なるタイプのURLソースがあります。

リンクされたURLをXMLサイトマップおよびGoogle Analyticsデータ、その他のデータタイプで補完するために、できるだけ多くのURLソースでクロールを実行することを検討してください。関連するソースの横にあるチェックボックスをオンにして、クロールにさまざまな要素を含めます。

• Webサイト: リンクをたどってより深いレベルまで、サイトのみをクロールします。クロールはデフォルトでプライマリドメインから開始されますが、別のポイントまたは複数のポイントから開始する必要がある場合は、Webサイトオプションを展開して指定することもできます。
• サイトマップ: サイトマップのセットと、それらのサイトマップ内のURLをクロールします。これらのページのリンクは追跡またはクロールされません。ここでオプションを展開すると、サイトマップを手動で追加したり、さまざまなサイトマップを選択または選択解除したり、robots.txtで新しいサイトマップを検出してクロールするか、XMLまたはTXTサイトマップをアップロードするかを選択できます。 
• バックリンク: バックリンクソースデータをアップロードし、URLをクロールしてサイト上のバックリンクを持つ追加のURLを発見します。これはMajesticとの統合を介して自動的に取り込むこともできます。 
• Google Search Console: Google Search Console統合を使用して、インプレッション、ページ上の位置、使用されたデバイスなどのデータでレポートを充実させます。サイト上のリンクされていない可能性のある追加のページを発見することもできます。統合を使用するには、GoogleアカウントをSimilarwebに接続する必要があります。詳細については、Google Search ConsoleとSite Auditの統合ガイドをご覧ください。
• アナリティクス: 同様に、Google AnalyticsまたはAdobe Analytics統合を使用するか、アナリティクスソースデータをアップロードして、サイト上のリンクされていない可能性のある追加のランディングページを発見できます。繰り返しになりますが、これを使用するにはGoogleアカウントを接続する必要があります。詳細については、Google AnalyticsとSite Auditの統合ガイドをご覧ください。 
• ログサマリー: Logz.ioやSplunkなどのログアナライザーツールからログファイルサマリーデータをアップロードして、ボットがサイトとどのようにやり取りするかを確認します。ログファイルデータを手動でアップロードすることもできます。
• URLリスト: テキストファイルまたはCSVでリストをアップロードして、固定のURLリストをクロールします。これらのページのリンクは追跡またはクロールされません。これは、サイト全体で使用される主要なテンプレートを特徴とするページなど、アクセシビリティの問題について特定のページセットをクロールする場合に特に便利です。 

ステップ3 - 制限

ステップ3では、クロールに関連する制限を設定できます。サイトがクロール不可能である兆候を探すために、小規模な「Webサイト」クロールから始めることをお勧めします。デフォルトのオプションは、開始ページから100レベルの深さまで、または最大100,000 URLまでクロールすることで、いずれか先に到達した方が適用されます。最初のクロールでは、2番目のオプションを「または最大100 URL、いずれか先に到達した方」に変更することをお勧めします。その後、制限が不十分な場合に通知を受けるか、クロールを終了するかを選択できます。最初の小規模なクロールでは、これをとにかく終了するように設定できます。

このステップでのもう1つのオプションは、クロール速度を設定することです。Similarwebクローラーは、インフラストラクチャが許す限り高速にクロールできます（テストでは、JavaScriptレンダリングクロールで最大350 URL/秒）。ただし、あまりにも速い速度でクロールすると、サーバーが追いつけず、サイトのパフォーマンスの問題につながる可能性があります。これを回避するために、Similarwebはアカウントに低い最大クロール速度を設定します。これを増やすことはできますが、インフラストラクチャが処理できるクロール速度を特定するために、開発運用チームと相談することが不可欠です。 

特定の時間にクロールの速度を下げたり上げたりするための制限を追加することもできます。たとえば、サイトのピーク時にはクロール速度を遅くし、トラフィックが少ない早朝にはクロール速度を速くすることを決定できます。

ステップ4 - 設定

ステップ4では、クロールを開始できます。小規模な初期クロールを完了し、設定が正しいことを確認したら、定期的にクロールを実行するスケジュールを設定できます。 

スケジュールを設定するには、ドロップダウンから必要な頻度を選択し、開始日時を選択します。「1回のみ」を選択して、将来の日時に1回限りの非定期的なクロールをスケジュールすることもできます。

スケジュールオプションの下には、詳細設定のボタンも表示されます。これをクリックすると、必要に応じて設定できる追加オプションが開きます。設定が適用されている要素にはチェックマークが表示され（上記の手順で追加された可能性があります）、各セクションを開いて新しい設定を追加または修正できます。 

詳細オプションは次のとおりです。

• スコープ:
  • ドメインスコープ: プライマリドメイン、サブドメインとHTTPおよびHTTPSの両方がクロールされるかどうか、およびクロールされるセカンダリドメインを詳細に指定します。これらは上記のステップ1と2で設定されている可能性があります。 
  • URLスコープ: ここでは、特定のURLパスのみを含めるか、特定のURLパスを除外するかを選択できます。

• ページグループ化では、新しいグループを作成し、ページグループ化の名前を追加し、「ページURL一致」列に正規表現を追加できます。クロールするURLの割合を選択します。指定されたパスに一致するURLがカウントされます。制限に達すると、それ以降の一致するすべてのURLは「ページグループ制限」レポートに入り、クロールされません。

• リソース制限: SimilarwebにクロールさせたいタイプのURLを定義します（例：非HTML、CSSリソース、画像など）。また、無効なSSL証明書を無視するようにクローラーを設定することもできます。
• リンク制限: Similarwebにクロールさせたいリンクを定義します（例：アンカーリンク、ページネーションリンクなどをたどる）。 
• リダイレクト設定: 内部または外部のリダイレクトをたどるかどうかを選択します。
• リンク検証: 正しく応答しているかどうかを確認するためにクロールされるリンクを選択できます。

• スパイダー設定:
  • 開始URL: これは上記のステップ2で設定されましたが、ここでアクセスして変更できます。 
  • JavaScriptレンダリング: ここでJavaScriptレンダリングを有効または無効にできます。カスタムリジェクション、追加のカスタムJavaScript、および外部JavaScriptリソースを追加することもできます。 
  • クローラーIP設定: 必要に応じて地域のIPを選択できます。クロールがブロックされている場合、またはファイアウォールの背後（ステージング環境など）でクロールする必要がある場合は、Webチームに52.5.118.182と52.86.188.211をホワイトリストに登録するよう依頼する必要があります。 
  • ユーザーエージェント: デフォルトでは、クローラーはGooglebot Smartphoneユーザーエージェントを使用しますが、必要に応じてここで変更でき、必要に応じてビューポートサイズを修正できます。 
  • モバイルサイト: Webサイトに別のモバイルサイトがある場合は、ここに設定を入力して、SimilarwebのクローラーがモバイルURLをクロールするときにモバイルユーザーエージェントを使用できるようにします。 
  • ステルスモードクロール: 実際のユーザーのセットによって実行されたかのようにクロールを実行できます。 
  • カスタムリクエストヘッダー: すべてのリクエストとともに送信されるカスタムリクエストヘッダーを追加できます。
  • Cookie: この設定は主にアクセシビリティクロールに使用され、クロールが進行できるようにCookieポップアップがクリアされるようにします。これは通常、テクニカルSEOクロールには必要ありませんが、必要に応じてCookie詳細の構成方法はこちらをご覧ください。
• 抽出:
  • カスタム抽出: 正規表現を使用して、ページがクロールされるときにページからカスタム情報を抽出できます。
• テスト設定:
  • Robots上書き: これにより、カスタムrobots.txtファイルを使用して除外できる追加のURLを識別できます。これにより、ライブ環境に新しいファイルをプッシュする影響をテストできます。robots ファイルの代替バージョンをアップロードし、クロールを開始するときに「Robots上書きを使用」を選択します。

• テストサイトドメイン: ここでテスト環境ドメインを入力して、ライブサイトとの比較を可能にします。 
• カスタムDNS: これにより、WebサイトにパブリックDNSレコードがない場合（ステージング環境など）、カスタムDNSエントリを構成できます。 
• 認証: 基本認証を使用してすべてのリクエストに認証資格情報を含めます。 
• URLパラメータを削除: Google Search ConsoleなどのURLパラメータツールを使用して検索エンジンのクロールから除外したパラメータがある場合は、「詳細設定」の「URLパラメータを削除」フィールドに入力してください。

• URL書き換え: URLに一致する正規表現を追加し、出力式を追加します。 

• レポート設定:
  • APIコールバック: クロールが完了したら呼び出されるURLを指定して、外部アプリケーションをトリガーできます。 
  • クロールメールアラート: クロールの進行状況に関するメール通知を受信するかどうかを設定し、通知を受信するメールアドレスを指定します。 
  • レポート設定: ここでレポートの追加設定を指定できます。

ステップ5 - 最終ステップ

最初の小規模なクロールが完了したら、結果を確認してすべてが正常に見えることを確認します。

まず、プロジェクトサマリーでクロールされたURLの数を確認します。ステップ3で最大100 URLをクロールするように選択した場合、URLカウントはその数に近いはずです。URLカウントが0の場合、サイトがクローラーをブロックしている可能性が高く、上記のIPアドレスをホワイトリストに登録する必要があります。

次に、レポートで返されるURLのドメインを確認します。プロジェクトリストからプロジェクトを選択し、アクセシビリティ概要をクリックします。その後、右側の上位SEOヘルススコアエラーをクリックしてレポートに入ることができます。

レポートが開いたら、URL詳細列に表示される「例URL」を確認し、ドメインまたはサブドメインが正しいことを確認します。 

すべてが正常に見える場合は、クロール設定のステップ3に戻って制限を増やし、完全なクロールを実行できます。

便利なヒント

特定の要件の設定

テスト/サンドボックスサイトがある場合は、「詳細設定」でテストサイトドメインと認証の詳細を追加することで「比較クロール」を実行できます。テストと本番の機能の詳細については、テストWebサイトとライブWebサイトの比較に関するガイドをご覧ください。エスケープされたフラグメントソリューションを使用したAJAXスタイルのWebサイトをクロールするには、「URL書き換え」機能を使用して、リンクされたすべてのURLをエスケープされたフラグメント形式に変更します。テスト機能の詳細については、開発の変更をライブにする前にテストする方法をお読みください。

クロール速度の変更

クロールの実行中にクローラーによって引き起こされるパフォーマンスの問題に注意してください。接続エラーまたは複数の502/503タイプのエラーが表示される場合は、「制限」タブでクロール速度を下げる必要がある場合があります。

堅牢なホスティングソリューションがある場合は、より速い速度でサイトをクロールできる可能性があります。クロール速度は、サイトの負荷が減少する時間（たとえば午前4時など）に増やすことができます。「制限」タブに移動し、「制限を表示」をクリックします。

アウトバウンドリンクの分析

大量の外部リンクを持つサイトは、ユーザーがデッドリンクに誘導されないようにしたい場合があります。これを確認するには、「プロジェクト設定」の「外部リンクをクロール」を選択し、レポート内の外部リンクの横にHTTPステータスコードを追加します。アウトバウンドリンク監査の詳細を読んで、外部リンクの分析とクリーンアップについて学んでください。

ユーザーエージェントの変更

「詳細設定」でユーザーエージェントを変更することで、さまざまなクローラーの目を通してサイトを確認できます（Facebook/Bingbotなど）。カスタムユーザーエージェントを追加して、Webサイトがどのように応答するかを判断します。

次のステップ

クロール後に「プロジェクト設定」をリセットして、「実際の」設定を適用してクロールを続行できるようにします。実験とクロールを繰り返すほど、エキスパートクローラーに近づくことを忘れないでください。