וואָס איז אַ קריכער? קריכער געצייַג "יאַנדעקס" און Google

יעדער טאָג אויף די אינטערנעט עס איז אַ ריזיק סומע פון נייַ מאַטעריאַלס צו שאַפֿן אַ וועבזייַטל ופּדאַטעד די אַלט וועב בלעטער, ופּלאָאַד שלי און ווידיאס. אָן פאַרבאָרגן פון זוכן ענדזשאַנז קען ניט זיין געפֿונען אין די וועלט ווידע וועב, גאָרניט פון די דאקומענטן. אַלטערנאַטיוועס ווי ראָובאַטיק מגילה בייַ קיין געגעבן צייַט טוט נישט עקסיסטירן. וואָס איז אַ זוכן ראָבאָט, וואָס איר דאַרפֿן עס און ווי צו אַרבעטן?

וואָס איז אַ זוכן ראָבאָט

קריכער פּלאַץ (זוכן מאָטאָר) - עס איז אַ אָטאַמאַטיק פּראָגראַם וואָס איז ביכולת צו באַזוכן די מיליאַנז פון וועב בלעטער, געשווינד נאַוואַגייטינג דורך די אינטערנעט אָן קיין אָפּעראַטאָר אריינמישונג. באָץ זענען קעסיידער יבערקוקן פּלאַץ פון די וועלט ווידע וועב, דערגייונג נייַ וועב בלעטער און קעסיידער באַזוכן שוין ינדעקסט. אנדערע נעמען פֿאַר וועב קראַוולערס ספּיידערז, קראַוולערס, באָץ.

וואָס זענען זוכן מאָטאָר ספּיידערז

די הויפּט פֿעיִקייטן אַז דורכפירן זוכן מאָטאָר ספּיידערז - וועב בלעטער ינדעקסט, ווי ווויל ווי טעקסט, בילדער, אַודיאָ און ווידעא טעקעס אַז ביסט אויף זיי. באָץ טשעק רעפֿערענצן, שפּיגל זייטלעך (קאָפּיעס) און ופּדאַטעס. די ראָובאַץ אויך דורכפירן די HTML קאָד קאָנטראָל פֿאַר קאָנפאָרמיטי סטאַנדאַרדס פון דער וועלט ארגאניזאציע, וואָס דעוועלאָפּס און ימפּלאַמאַנץ טעקנאַלאַדזשיקאַל סטאַנדאַרדס פֿאַר די וועלט ווידע וועב.

וואָס איז ינדעקסינג, און וואָס עס איז דארף

ינדעקסינג - איז, אין פאַקט, איז דער פּראָצעס פון באזוכן אַ באַזונדער וועב בלאַט דורך זוכן ענדזשאַנז. די פּראָגראַם סקאַנז די טעקסט אויף דעם פּלאַץ, בילדער, ווידיאס, אַוטבאַונד לינקס, דעמאָלט דעם בלאַט אויס אין דער זוכן רעזולטאַטן. אין עטלעכע קאַסעס, די פּלאַץ קענען ניט זיין סקאַנד אויטאָמאַטיש, דעמאָלט עס קענען ווערן צוגעלייגט צו די זוכן מאָטאָר מאַניואַלי וועבמאַסטער. טיפּיקאַללי, דעם אַקערז אין דער אַוועק פון פונדרויסנדיק לינקס צו אַ באַזונדער (אָפֿט בלויז לעצטנס Created) בלאַט.

ווי טאָן זוכן מאָטאָר ספּיידערז

יעדער זוכן מאָטאָר האט זייַן אייגן באָט מיט די גוגל זוכן ראָבאָט קענען בייַטן באטייטיק לויט צו די מעקאַניזאַם אַרבעט אויף אַ ענלעך פּראָגראַם, "יאַנדעקס" אָדער אנדערע סיסטעמס.

אין אַלגעמיין, אַ ראָבאָט ארבעטן פּרינציפּ איז ווי גייט: די פּראָגראַם "קומט" אין די פּלאַץ און פונדרויסנדיק לינקס פון די הויפּט בלאַט, "לייענט" וועב מיטל (כולל יענע קוקן אָוווערכעד אַז טוט נישט זען די באַניצער). שיפל איז ווי צו נאַוויגירן צווישן בלעטער פון אַ פּלאַץ, און מאַך אויף צו אנדערע.

די פּראָגראַם וועט קלייַבן וואָס פּלאַץ צו אינדעקס? מער אָפֿט ווי ניט "יאַזדע" די שפּין הייבט מיט נייַעס זייטלעך אָדער הויפּט מיטל דירעקטעריז און אַגגרעגאַטאָרס מיט גרויס דערמאָנען וואָג. קריכער כּסדר סקאַנז די בלעטער איינער דורך איינער, אויף דעם קורס און קאָנסיסטענסי פון ינדעקסינג די ווייַטערדיק סיבות:

• אינערלעכער: פּערעלינאָווקאַ (ינערלעך לינקס צווישן בלעטער פון דער זעלביקער מיטל), פּלאַץ גרייס, די ריכטיק קאָד, באַניצער-פרייַנדלעך און אַזוי אויף;
• פונדרויסנדיק: די גאַנץ דערמאָנען וואָג, וואָס לידז צו דעם פּלאַץ.

דער ערשטער זאַך די זוכן ראָבאָט אָנפֿרעגן אויף קיין וועבזייַטל דורך ראָבאָצ.טקסט. ווייַטער מיטל ינדעקסינג איז געטאן באזירט אויף די אינפֿאָרמאַציע באקומען עס איז פון דעם דאָקומענט. די טעקע אנטהאלט ספּעציפיש ינסטראַקשאַנז פֿאַר די "ספּיידערז" אַז קענען פאַרגרעסערן די גיכער פון חשבון וויזיץ דורך זוכן ענדזשאַנז, און, דעריבער, צו דערגרייכן אַ פרי שלאָגן פּלאַץ אין דער "יאַנדעקס" אָדער Google.

פּראָגראַם אַנאַלאָגס קראַוולערס

אָפֿט דעם טערמין "זוכן ראָבאָט" איז צעמישט מיט ינטעליגענט, באַניצער אָדער אָטאַנאַמאַס אגענטן, "אַנץ" אָדער "וואָרמס". געטובלט באַטייַטיק חילוק בלויז אין פאַרגלייַך מיט אגענטן, אנדערע זוך אָפּשיקן צו ענלעך טייפּס פון ראָובאַץ.

לעמאָשל, אגענטן קענען זיין:

• אינטעלעקטואַל: די פּראָגראַם, וואָס זענען באווויגן פון פּלאַץ צו פּלאַץ, ינדיפּענדאַנטלי דאַסיידינג ווי צו גיינ ווייַטער; זיי זענען נישט זייער פּראָסט אויף די אינטערנעט;
• אָטאַנאַמאַס: די אגענטן העלפן דער באַניצער אין סאַלעקטינג אַ פּראָדוקט, זוכן, אָדער פילונג אויס Forms, די אַזוי-גערופֿן Filters, וואָס זענען קליין שייך צו נעץ מגילה.;
• באַניצער: די פּראָגראַם ביישטייערן צו באַניצער ינעראַקשאַן מיט די וועלט ווידע וועב, אַ בלעטערער (למשל, אָפּעראַ, ד"ה, Google קראָום, Firefox), שליחים (וויבער, טעלעגראַם) אָדער E- פּאָסט מגילה (מס אַוטלוק און קוואַלקאַם).

"אַנץ" און "וואָרמס" זענען מער ענלעך צו די זוכן מאָטאָר "ספּיידערז". דער ערשטער פאָרעם צווישן אַ נעץ און קאַנסיסטאַנטלי ינטעראַקט ווי דעם מוראַשקע קאַלאַני, "וואָרמס" איז ביכולת צו רעפּלאַקייט אין אנדערע בנוגע די זעלבע ווי די סטאַנדאַרט קריכער.

פאַרשיידנקייַט פון זוכן מאָטאָר ראָובאַץ

ויסטיילן צווישן פילע טייפּס פון קראַוולערס. דעפּענדינג אויף די ציל פון די פּראָגראַם, זיי זענען:

• "מירער" - דופּליקאַטעס זענט בראַוזינג וועבסיטעס.
• מאָביל - פאָקוס אויף רירעוודיק ווערסיעס פון וועב בלעטער.
• שנעל - פאַרריכטן נייַ אינפֿאָרמאַציע געשווינד דורך וויוינג די לעצט ופּדאַטעס.
• דערמאָנען - דערמאָנען אינדעקס, ציילן זייער נומערן.
• ינדעקסערס פאַרשידענע טייפּס פון צופרידן - ספּעציפיש מגילה פֿאַר טעקסט, אַודיאָ, וידאו, בילדער.
• "ספּיוואַרע" - איר זוכט פֿאַר בלעטער וואס זענען נישט נאָך געוויזן אין די זוכן מאָטאָר.
• "וואָאָדפּעקקער" - פּיריאַדיקלי באַזוכן זייטלעך צו קאָנטראָלירן זייער שייכות און עפעקטיווקייַט.
• לאַנדיש - בראַוזינג די וועב רעסורסן ליגן אויף איינער פון די מדינה דאָומיינז (למשל, .מאָבי, אָדער .קז .ואַ).
• גלאבאלע - אינדעקס אַלע די נאציאנאלע זייטלעך.

ראָובאַץ הויפּט זוכן ענדזשאַנז

עס זענען אויך עטלעכע זוכן מאָטאָר ספּיידערז. אין טעאָריע, זייער פונקטיאָנאַליטי קענען בייַטן וויידלי, אָבער אין פיר די מגילה זענען כּמעט יידעניקאַל. די הויפּט חילוק ינדעקסינג וועב בלעטער ראָובאַץ צוויי הויפּט זוכן ענדזשאַנז זענען ווי גייט:

• די סטרינגענסי פון טעסטינג. עס איז געגלויבט אַז די מעקאַניזאַם פון קריכער "יאַנדעקס" עפּעס שטרענגערע עסטאַמאַץ די פּלאַץ פֿאַר העסקעם מיט די סטאַנדאַרדס פון די וועלט ווידע וועב.
• פּרעזערוויישאַן פון די אָרנטלעכקייַט פון די פּלאַץ. די גוגל קריכער ינדעקסיז די גאנצע פּלאַץ (כולל מידיאַ צופרידן), "יאַנדעקס" קענען אויך מיינונג צופרידן סאַלעקטיוולי.
• גיכקייַט פּרובירן נייע בלעטער. גוגל מוסיף נייַ מיטל אין די זוכן רעזולטאַטן ין אַ ביסל טעג, אין די פאַל פון "דורך יאַנדעקס" פּראָצעס זאל נעמען צוויי וואָכן אָדער מער.
• די אָפטקייַט פון שייַעך-ינדעקסינג. קריכער "יאַנדעקס" טשעק פֿאַר אַפּדייץ צוויי מאָל אַ וואָך, און Google - איינער יעדער 14 טעג.

אינטערנעט, פון קורס, נישט לימיטעד צו די צוויי זוכן ענדזשאַנז. אנדערע זוכן ענדזשאַנז האָבן זייער ראָובאַץ וואס נאָכגיין זייער אייגן ינדעקסינג פּאַראַמעטערס. אין דערצו, עס זענען עטלעכע "ספּיידערז" וואָס זענען דיזיינד ניט הויפּט זוכן רעסורסן, און יחיד טימז אָדער וועבמאַסטערס.

פּראָסט מיסקאַנסעפּשאַנז

פאַרקערט צו פאָלקס גלויבן, "ספּיידערז" טאָן ניט פּראָצעס די אינפֿאָרמאַציע. דער פּראָגראַם בלויז סקאַנז און סטאָרז וועב בלעטער און ווייַטער פּראַסעסינג נעמט אַ גאָר אַנדערש ראָובאַץ.

אויך, פילע ניצערס גלויבן אַז די זוכן מאָטאָר ספּיידערז האָבן אַ נעגאַטיוו פּראַל און "שעדלעך" אינטערנעץ. אין פאַקט, עטלעכע ווערסיעס פון "ספּיידערז" קענען באטייטיק אָווערלאָאַד די סערווער. עס איז אויך אַ מענטש פאַקטאָר - די וועבמאַסטער, וואס Created דעם פּראָגראַם, קענען מאַכן מיסטייקס אין די ראָבאָט קאָנפיגוראַטיאָן. נאָך רובֿ פון די יגזיסטינג מגילה זענען געזונט דיזיינד און פּראָפעססיאָנאַללי געראטן, און קיין ימערדזשינג פּראָבלעמס פּונקט אַוועקגענומען.

ווי צו פירן די ינדעקסינג

זוכן מאָטאָר ראָובאַץ זענען די אָטאַמייטיד מגילה, אָבער די ינדעקסינג פּראָצעס קענען זיין טייל קאַנטראָולד דורך די וועבמאַסטער. דעם זייער העלפּס פונדרויסנדיק און ינערלעך אַפּטאַמאַזיישאַן פון די מיטל. אין דערצו, איר קענען מאַניואַלי לייגן אַ נייַ פּלאַץ צו אַ זוכן מאָטאָר: גרויס רעסורסן האָבן אַ ספּעציעל פאָרעם פון וועב בלעטער רעגיסטראַציע.