ä¸ãç½ç«æ¹çå¦ä½éç¥ç¾åº¦
第ä¸æ¥ï¼è®¾ç½®301跳转
使ç¨301跳转è¿è¡éå®åï¼è·³è½¬æ好æè§å¾å¯å¾ªï¼ç¾åº¦æç´¢å¼æä¼èªå¨è¿è¡å¤ç
æéï¼301跳转è¦ä¿æä¸æ®µæ¶é´ï¼ç´è³æ°ç½é¡µçæåãæ¶å½ãæåºè¾¾å°é¢æã
第äºæ¥ï¼ä½¿ç¨æ¹çå·¥å ·
使ç¨ç¾åº¦ç«é¿å¹³å°å·¥å ·ï¼å¯å éç¾åº¦æç´¢å¼æ对301跳转çå¤çï¼å°½å¿«å®ææ°æ§å 容çè¡æ¥ãç®åæ¹çå·¥å ·é¤äºæ¯ææ¢ååå¤ï¼è¿å¯ä»¥æ¯æç«ç¹çº§æ¹çåç®å½çº§æ¹çï¼é½æ¯éè¿å·¥å ·çâç®å½æ¹çâåè½å®ç°çã
å·¥å ·å°åï¼http://zhanzhang.baidu.com/rewrite/index
1ï¼å½ç«ç¹çº§æ¹çæ¶ï¼éè¦å¨âç®å½æ¹ç æ¹çèå´âå¤æ交ç«ç¹çº§é¦é¡µURL
å¦www.example.com/ï¼ç¾åº¦å°ä¼å¯¹è¯¥ç«ç¹ä¸çææ页é¢è¿è¡æ¹çå¤çã
2ï¼å½ç«ç¹è¦è¿è¡ç®å½çº§æ¹çæ¶ï¼ä¾ç¶å¨âç®å½æ¹ç æ¹çèå´âå¤è¿è¡æ交ï¼ä½æ交çåºè¯¥æ¯éè¦æ¹ççç®å½ï¼èéç«ç¹çº§é¦é¡µURLã
å¦æ交âwww.example.com/a/âï¼ç¾åº¦ä¼å¯¹www.example.com/a/ï¼å æ¬www.example.com/a/b/è¿è¡æ¹çå¤çã
äºãç½ç«æ¢åå该å¦ä½éç¥ç¾åº¦
第ä¸æ¥ï¼éè¿301å®ææ°æ§å 容跳转
使ç¨301跳转对页é¢è¿è¡éå®åï¼ä¸ä» é¦é¡µéè¦è®¾ç½®ï¼æ§ååææ页é¢é½åºè¯¥301æåæ°ååçç¸åºé¡µé¢ãç¾åº¦æç´¢å¼æä¼èªå¨è¿è¡å¤ç
æéï¼åç½é¡µ301跳转è¦ä¿æä¸æ®µæ¶é´ï¼ç´è³æ°ç½é¡µçæåãæ¶å½ãæåºè¾¾å°é¢æã
第äºæ¥ï¼ä½¿ç¨æ¹çå·¥å ·
使ç¨æ¹çå·¥å ·ï¼å¯å éç¾åº¦æç´¢å¼æ对301跳转çå¤çï¼å°½å¿«å®ææ°æ§å 容çè¡æ¥ã
å·¥å ·å°åï¼http://zhanzhang.baidu.com/rewrite/index
è¦æ±ç«é¿å¨ç¾åº¦ç«é¿å¹³å°éªè¯æ§ç½ç«åæ°ç½ç«ï¼éªè¯çæåå¨æ¹çå·¥å ·ä¸éæ©âååæ¹çâï¼å¡«å ¥æ§ç½ç«åååè¿è¡ç¡®è®¤æ交ã
*æ¹çå·¥å ·è¿æä¾ç«ç¹çº§æ¹çãç®å½çº§æ¹çãå ·ä½ä½¿ç¨æ¹æ³å¯åèç¾åº¦ç«é¿å¹³å°å·²æçæç« ãç½ç«æ¹çå·¥å ·å¸®å©ã
第ä¸æ¥ï¼ä½¿ç¨æåå¼å¸¸å·¥å ·
å·²å¨æ¹çå·¥å ·ä¸æ交æ¹çè§ååï¼éæ¶å ³æ³¨æ°å 容çæåæ åµãå¦æä¸ç¬¦åé¢æï¼å¯ä½¿ç¨æåå¼å¸¸å·¥å ·æ¥æ¾é¨ååå ï¼æé¤ç±æå¡å¨ãè¿è¥åãDNSãIPãUAç导è´çæåä¸åæ¶ã
å·¥å ·å°åï¼ http://zhanzhang.baidu.com/crawl/index
å ·ä½å¯åèç¾åº¦ç«é¿å¹³å°å·²ææç« ãæåå¼å¸¸å·¥å ·å¸®å©ãï¼éé¢å¯¹æ¯é¡¹å ç´ é½æ详ç»è¯´æå解å³åæ³ã
第åæ¥ï¼ä½¿ç¨æåé¢æ¬¡å·¥å ·
æåé¢æ¬¡å·¥å ·æä¾ç«ç¹å¨ç¾åº¦è¿ä¸ä¸ªæç天级æåéæ²çº¿å¾ï¼å¦ææ°å 容æåéä¸ç¬¦åé¢æå¯å¨å·¥å ·ä¸è¿è¡åé¦ï¼spiderä¼æ ¹æ®ç«é¿çç³è¯·åå®é æ åµå¯¹æåé¢æ¬¡è¿è¡è°æ´ã
å·¥å ·å°åï¼http://zhanzhang.baidu.com/pressure/index
å ·ä½ä½¿ç¨æ¹æ³å¯åèç¾åº¦ç«é¿å¹³å°å·²ææç« ãæåé¢æ¬¡å·¥å ·å¸®å©ã
第äºæ¥ï¼ä½¿ç¨ç¾åº¦ç´¢å¼éå·¥å ·
ä¸ä¸ªç«ç¹ç被æåéå¤ä¸å°å¹¶ä¸æ¯éç¹ï¼éç¹æ¯ç´¢å¼éï¼åªæ被建为索å¼ç页é¢ææå¯è½å±ç°å¨ç¨æ·é¢åãç«é¿å¯ä»¥éè¿ç¾åº¦ç´¢å¼éå·¥å ·æ¥å¯¹æ¯æ°æ§å 容被建索å¼çæ°éï¼æ¥ç¡®è®¤æ¹çåç«ç¹å¨ç¾åº¦æç´¢å¼æçæ¶å½æ¯å¦å·²æ¢å¤æ£å¸¸ã
å·¥å ·å°åï¼http://zhanzhang.baidu.com/indexs/index
ä¸ãç½ç«æ¢ç©ºé´ï¼IPï¼è¯¥å¦ä½éç¥ç¾åº¦
å¨ä¸ç«é¿æåç§ä¸äº¤æµä¸ï¼ç«é¿è¡¨ç¤ºï¼æææ¹çï¼æææ¢ç©ºé´æ¢IPï¼æ¯æ¬¡é½æ¯ä¸ä¸å¾å·²èº«ä¸ç±å·±ãæ¹çè¿å¥½äºï¼ææ¹çå·¥å ·å¯ä»¥ä½¿ç¨ãæ¢äºç©ºé´åIPé½ä¸ç¥éæä¹éç¥ç¾åº¦ãå ¶å®ï¼ç»å½ç¾åº¦ç«é¿å¹³å°ï¼ä½¿ç¨æåè¯æå·¥å ·ï¼æ¢ç©ºé´åIPççä¸æ¯æäºã
æåè¯æå·¥å ·ä¼æ£æ¥ç«ç¹ä¸ç¾åº¦çè¿æ¥æ¯å¦ç éï¼è¥ç«é¿åç°IPä¿¡æ¯è¿æ¯èæ§çï¼å¯ä»¥éè¿âæ¥éâéç¥ç¾åº¦æç´¢å¼ææ´æ°IP
éè¦æ示ï¼ç±äºspiderç²¾åæéï¼å¦éæ¥éåç½ç«IPä¾æ§æ²¡æååï¼ç«é¿å¯è¿è¡å¤æ¬¡å°è¯ï¼ç´è³è¾¾å°é¢æã