Каталог статей
Меню сайта


Категории каталога
Поисковики и каталоги [2]
Оптимизация сайтов [8]
Оптимизация сайтов под поисковые системы.
Поисковые роботы [9]
Индексация страниц сайта [0]
Индекс цитирования [5]
Статистика [0]
Продвижение сайта [6]
Мобильные телефоны [2]
Регистрация сайта [0]


Форма входа


Поиск по каталогу


Друзья сайта


Наш опрос
Вы пользуетесь интернет магазинами?
Всего ответов: 77


Вы вошли как Гость

Начало » Статьи » Поисковые роботы

Google Dance. Или немного о датацентрах Google

Google Dance. Или немного о датацентрах Google

Сейчас в сети можно найти достаточно много сервисов предлагающих оценить Page Rank Вашего сайта по 40-50-100-и т.д. датацентрам поисковой системы Google. Откуда эти сервисы берут информацию о датацентрах? И сколько же их (датацентров) вообще?

IP адресация Google

Задумавшись на эту тему, я решил ее изучить... Откуда начать в принципе? наверное самый простой путь - для начала оценить сколько вообще IP адресов принадлежит компании Google Inc? Вот пожалуй самый полный (на 01.11.2006) их список:
IP blocksIP countCCC blocksCCC block which including 99, 104 and 147 IPs
166.90.148.64 - 166.90.148.791610
206.186.136.192 - 206.186.136.2556410
209.245.184.136 - 209.245.184.143810
209.247.159.144 - 209.247.159.1591610
209.249.73.64 - 209.249.73.71810
209.85.128.0 - 209.85.255.25532768128128
216.239.32.0 - 216.239.63.25581923232
59.151.20.0 - 59.151.21.25551222
63.211.200.72 - 63.211.200.79810
63.84.190.224 - 63.84.190.2553210
64.124.112.24 - 64.124.112.31810
64.124.229.168 - 64.124.229.175810
64.128.207.160 - 64.128.207.1751610
64.154.178.208 - 64.154.178.2231610
64.233.160.0 - 64.233.191.25581923232
64.68.80.0 - 64.68.87.255204888
65.196.235.32 - 65.196.235.471610
65.202.99.152 - 65.202.99.159810
65.210.56.208 - 65.210.56.2231610
65.211.194.96 - 65.211.194.1111610
65.214.112.96 - 65.214.112.1273210
65.214.255.96 - 65.214.255.1111610
65.221.133.176 - 65.221.133.1911610
65.223.8.48 - 65.223.8.631610
65.245.24.8 - 65.245.24.15810
66.102.0.0 - 66.102.15.25540961616
66.192.134.32 - 66.192.134.471610
66.249.64.0 - 66.249.95.25581923232
66.249.64.0 - 66.249.95.25581923232
67.126.100.8 - 67.126.100.15810
67.69.26.16 - 67.69.26.23810
69.111.141.152 - 69.111.141.159810
69.224.21.208 - 69.224.21.215810
69.224.31.104 - 69.224.31.111810
69.224.31.88 - 69.224.31.95810
69.228.70.216 - 69.228.70.2392410
69.228.70.248 - 69.228.70.255810
69.228.76.104 - 69.228.76.111810
69.236.33.64 - 69.236.33.71810
69.237.120.224 - 69.237.120.231810
71.130.103.8 - 71.130.103.474010
71.130.34.224 - 71.130.34.2472410
72.14.192.0 - 72.14.255.255163846464
75.17.48.200 - 75.17.48.207810
75.23.57.184 - 75.23.57.191810
8.6.48.0 - 8.6.55.255204888
total91168390354
Задумаемся теперь - если Вы вдруг решили купить для своего интернет проекта выделенный IP адрес - разве вы обязательно станете размещать на нем датацентр Google? Я думаю нет. Следовательно и такая большая компания как Google свои IP адреса использует не только для организации датацентров... У них достаточно иных сервисов и потребностей. Кроме того вряд ли можно предположить что такое громадное адресное пространство компания Google (в которой кстати программисты и математики работают) содержит в беспорядке... Порядок наверняка есть. Следовательно нам следует изучать только небольшое количество IP адресов из данного списка и скорее всего они обязаны иметь одинаковое окончание, например при адресации: AAA.BBB.CCC.DDD, у всех датацентров IP адреса класса DDD должны быть одинаковы. И при этом все службы Google в рамках одного адресного пространства класса CCC, должны (теоретически) использовать сами и возвращать то значение значение Page Rank, которое сообщает им датацентр из их же адресного блока CCC. Верно ли данное предположение?

Эксперимент с IP адресами Google.

Лучшее подтверждение любой теории - практика. Мы взяли выборочно, случайным порядком, 700 IP адресов принадлежащих Google, после их проверки свою неработоспособность показали 54 из них. По оставшимся 646 мы замеряли значения Page Rank для нашего сайта ежедневно в течение двух месяцев. Page Rank "плавал" и изменялся, иногда на конкретном IP он обновлялся, иногда откатывался назад и т.д. НО! За редкими исключениями всегда АБСОЛЮТНО ВСЕ IP адреса из одного адресного пространства класса CCC показывали одни и те же значения! Наше предположение оказалось верно! Рассмотрим исключения. Исключения проявлялись в том что в некоторых адресных пространствах класса CCC, иногда демонстрировались различные значения Page Rank, которые уже на следующий день становились снова одинаковыми для всего блока CCC. Самое интересное состоит в том что такими адресами (со страннным и непонятным поведением) в нашем исследовании показали себя только ДВА адреса! Это адреса с окончаниями AAA.BBB.CCC.99, AAA.BBB.CCC.104.

Что говорят о датацентрах Google в мире?

Интернет вообще то сам по себе является превосходным источником информации, после путешествий по различным сайтам, удалось из разных мест собрать следующую информацию:
  • к датацентрам Google разные источники в разное время относили IP адреса со следующими окончаниями: 44, 80, 91, 99, 104, 115, 147, 184, 214
  • до 2004 года датацентры Google имели собственные доменные имена типа: www-XX.google.com, где XX - два символа английского алфавита, кроме того, предположительно, впоследствии эти адреса были сменены на адреса вида: gfe-XX.google.com (что понимается под абревиатурой GFE - мнения расходятся, самое правдоподобное из встреченных мною - "Google Front End")

Где вы датацентры?

Что дает нам эта информация? Первый из пунктов ничего! Его утверждения с одной стороны косвенно подтверждают наши исследования (адреса 99 и 104 там перечисленны), но другие указанные адреса не показывали странностей в поведении во время нашего исследования. Второй же достаточно интересен, оказывается что все субдомены gfe-XX.google.com ведут на одни и те-же IP окончания, вот краткий пример:
gfe-ed.google.com72.14.219.104
gfe-eh.google.com72.14.207.104
gfe-an.google.com209.85.133.104
gfe-ff.google.com66.249.85.104
gfe-fg.google.com72.14.221.104
gfe-fk.google.com209.85.129.104
gfe-ar.google.com72.14.223.104
Неужели и правда все получилось и мы нашли их "местожительство"? Но тогда где же Еще одно IP окончание - 99? Ведь оно тоже встречалось в нашем исследовании? Что это тогда за альтер-эго 104 адреса? Продолжение следует...
Категория: Поисковые роботы | Добавил: lastron (2006-11-14)
Просмотров: 738 | Рейтинг: 0.0 |

Всего комментариев: 0
Имя *:
Email *:
Код *: