Nee, 'n robotte. txt-lêer word nie benodig vir 'n webwerf nie. As 'n bot na jou webwerf kom en dit het nie een nie, sal dit net jou webwerf deurkruis en bladsye indekseer soos dit normaalweg sou. … txt-lêer is net nodig as jy meer beheer wil hê oor wat gekruip word.
Wat gebeur as jy nie robots txt het nie?
robotte. txt is heeltemal opsioneel. As jy een het, sal deurkruipers wat aan standaarde voldoen dit respekteer, as jy geen het nie, is alles wat nie in HTML-META-elemente (Wikipedia) toegelaat word nie, deurkruipbaar. Werf sal sonder beperkings geïndekseer word.
Kan ek robots-txt uitvee?
Jy moet albei lyne van jou robotte verwyder. txt lêer. Die robots-lêer is in die wortelgids van jou webgasheer-lêergids geleë, dit kan gewoonlik gevind word in /public_html/ en jy behoort hierdie lêer te kan redigeer of uitvee deur: FTP met 'n FTP-kliënt soos FileZilla of WinSCP.
Is robots-txt veilig?
Die robotte. txt lêer is nie self 'n sekuriteitsbedreiging nie, en die korrekte gebruik daarvan kan goeie praktyke verteenwoordig vir nie-sekuriteitsredes. Jy moet nie aanvaar dat alle webrobotte die lêer se instruksies sal nakom nie.
Hoekom is robots txt sleg?
Voeg bloot 'n lys URL's by wat bedoel is om privaat te wees by 'n robot. txt-lêer is een van die ergste maniere om URL's verborge te probeer hou en in die meeste gevalle lei dit tot presies die teenoorgestelde van die beoogde uitkoms.
