{"id":18992,"date":"2021-11-06T17:03:32","date_gmt":"2021-11-06T13:33:32","guid":{"rendered":"https:\/\/parspack.com\/?p=18992"},"modified":"2024-09-28T15:27:02","modified_gmt":"2024-09-28T11:57:02","slug":"what-is-robots-txt-file-all-you-need-to-know","status":"publish","type":"post","link":"https:\/\/parspack.com\/blog\/cms\/what-is-robots-txt-file-all-you-need-to-know","title":{"rendered":"\u0641\u0627\u06cc\u0644 robots.txt \u0686\u0633\u062a\u061f | \u0622\u0646\u0686\u0647 \u0628\u0627\u06cc\u062f \u062f\u0631\u0628\u0627\u0631\u0647 \u0641\u0627\u06cc\u0644 Robots.txt \u0648 \u062a\u0627\u062b\u06cc\u0631 \u0622\u0646 \u062f\u0631 \u0633\u0626\u0648 \u0628\u062f\u0627\u0646\u06cc\u062f"},"content":{"rendered":"

Robot.txt \u0686\u06cc\u0633\u062a\u061f \u0627\u06a9\u062b\u0631 \u0635\u0627\u062d\u0628\u0627\u0646 \u0648\u0628 \u0633\u0627\u06cc\u062a \u062a\u0635\u0648\u0631 \u0645\u06cc \u06a9\u0646\u0646\u062f \u06a9\u0647 \u0646\u0645\u06cc \u062a\u0648\u0627\u0646\u0646\u062f \u0628\u0631 \u0631\u0648\u06cc \u0645\u0648\u062a\u0648\u0631 \u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644 \u062a\u0633\u0644\u0637 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u0646\u062f\u061b \u0627\u0645\u0627 \u0627\u06cc\u0646 \u062a\u0635\u0648\u0631 \u0627\u0634\u062a\u0628\u0627\u0647 \u0627\u0633\u062a \u0632\u06cc\u0631\u0627 \u0634\u0645\u0627 \u0628\u06cc\u0634\u062a\u0631 \u0627\u0632 \u0622\u0646 \u0686\u0647 \u06a9\u0647 \u0641\u06a9\u0631 \u0645\u06cc \u06a9\u0646\u06cc\u062f\u060c \u0645\u06cc \u062a\u0648\u0627\u0646\u06cc\u062f \u0628\u0631 \u0631\u0648\u06cc \u0645\u0648\u062a\u0648\u0631 \u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0628\u0627 \u06a9\u0645\u06a9 Robots.txt \u062a\u0633\u0644\u0637 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u062f. \u062f\u0631 \u0627\u062f\u0627\u0645\u0647 \u0642\u0635\u062f \u062f\u0627\u0631\u06cc\u0645 \u062a\u0648\u0636\u06cc\u062d\u0627\u062a \u0645\u0641\u0635\u0644\u06cc \u0631\u0627 \u062f\u0631\u0628\u0627\u0631\u0647 \u0641\u0627\u06cc\u0644 Robot.txt \u0628\u0647 \u0634\u0645\u0627 \u0628\u062f\u0647\u06cc\u0645 \u0648 \u06a9\u0627\u0631\u0628\u0631\u062f \u0647\u0627\u06cc \u0622\u0646 \u0631\u0627 \u0628\u06af\u0648\u06cc\u06cc\u0645.<\/p>\n

\u0622\u0646\u0686\u0647 \u062f\u0631 \u0627\u06cc\u0646 \u0645\u0642\u0627\u0644\u0647 \u062e\u0648\u0627\u0647\u06cc\u062f \u062e\u0648\u0627\u0646\u062f:<\/p>\n

\u0641\u0627\u06cc\u0644 Robots.txt \u0686\u06cc\u0633\u062a\u061f<\/span><\/h2>\n

\u0641\u0627\u06cc\u0644 Robots.txt \u06cc\u06a9 \u0641\u0627\u06cc\u0644 \u0645\u062a\u0646\u06cc \u06a9\u0627\u0645\u0644\u0627 \u0633\u0627\u062f\u0647 \u0627\u0633\u062a\u061b \u0647\u0645\u0627\u0646\u0637\u0648\u0631 \u06a9\u0647 \u0627\u0632 \u0646\u0627\u0645 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u067e\u06cc\u062f\u0627\u0633\u062a\u060c \u0641\u0631\u0645\u062a .txt \u062f\u0627\u0631\u062f \u0648 \u062f\u0631 \u062f\u0627\u06cc\u0631\u06a9\u062a\u0648\u0631\u06cc \u0633\u0627\u06cc\u062a\u062a\u0627\u0646 \u0642\u0631\u0627\u0631 \u062e\u0648\u0627\u0647\u062f \u062f\u0627\u0634\u062a. \u0634\u0645\u0627 \u0628\u0627 \u06a9\u0645\u06a9 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0645\u06cc \u062a\u0648\u0627\u0646\u06cc\u062f \u0628\u0647 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u06af\u0648\u06af\u0644 \u0648 \u06a9\u0631\u0627\u0648\u0644\u0631 \u0647\u0627 \u062f\u0633\u062a\u0648\u0631\u0627\u062a \u062f\u0644\u062e\u0648\u0627\u0647 \u062e\u0648\u062f \u0631\u0627 \u0628\u062f\u0647\u06cc\u062f.<\/p>\n

\u0628\u0631\u0627\u06cc \u0645\u062b\u0627\u0644 \u0645\u06cc \u062a\u0648\u0627\u0646\u06cc\u062f \u0628\u0647 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u06af\u0648\u06af\u0644 \u0628\u06af\u0648\u06cc\u06cc\u062f \u06a9\u0647 \u06a9\u062f\u0627\u0645 \u0635\u0641\u062d\u0627\u062a \u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u0631\u0627 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06a9\u0646\u0646\u062f \u0648 \u062f\u0631 \u0646\u062a\u0627\u06cc\u062c \u06af\u0648\u06af\u0644 \u0646\u0645\u0627\u06cc\u0634 \u062f\u0647\u0646\u062f \u0648 \u06a9\u062f\u0627\u0645 \u0635\u0641\u062d\u0627\u062a \u0631\u0627 \u062f\u0631 \u0646\u062a\u0627\u06cc\u062c \u06af\u0648\u06af\u0644 \u0646\u0645\u0627\u06cc\u0634 \u0646\u062f\u0647\u0646\u062f \u0648 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0646\u06a9\u0646\u0646\u062f.<\/p>\n

\"\u0641\u0627\u06cc\u0644
\u0641\u0627\u06cc\u0644 Robots.txt \u0686\u06cc\u0633\u062a<\/figcaption><\/figure>\n

\u0628\u0627 \u062a\u0648\u0636\u06cc\u062d\u0627\u062a\u06cc \u06a9\u0647 \u062a\u0627 \u0628\u0647 \u0627\u06cc\u0646\u062c\u0627 \u062f\u0631\u0628\u0627\u0631\u0647 \u0641\u0627\u06cc\u0644 Robot.txt \u062f\u0627\u062f\u0647 \u0634\u062f\u060c \u0627\u062d\u062a\u0645\u0627\u0644\u0627 \u0645\u062a\u0648\u062c\u0647 \u0627\u0647\u0645\u06cc\u062a \u0622\u0646 \u0634\u062f\u0647 \u0627\u06cc\u062f\u061b Robot.txt \u062f\u0631 \u0648\u0627\u0642\u0639 \u06cc\u06a9 \u0627\u0628\u0632\u0627\u0631 \u0642\u062f\u0631\u062a\u0645\u0646\u062f \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u0634\u0645\u0627 \u0627\u06cc\u0646 \u0627\u0645\u06a9\u0627\u0646 \u0631\u0627 \u0645\u06cc \u062f\u0647\u062f \u062a\u0627 \u0648\u0628\u0633\u0627\u06cc\u062a \u062e\u0648\u062f \u0631\u0627 \u0622\u0646 \u06af\u0648\u0646\u0647 \u06a9\u0647 \u0645\u06cc \u062e\u0648\u0627\u0647\u06cc\u062f\u060c \u0628\u0647 \u06af\u0648\u06af\u0644 \u0646\u0645\u0627\u06cc\u0634 \u062f\u0647\u06cc\u062f.<\/p>\n

\u062f\u0631 \u0635\u0648\u0631\u062a\u06cc \u06a9\u0647 \u0627\u0632 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0628\u0647 \u062f\u0631\u0633\u062a\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f\u060c \u0645\u062a\u0648\u062c\u0647 \u062a\u0627\u062b\u06cc\u0631 \u0622\u0646 \u0628\u0631 \u0633\u0626\u0648\u06cc \u0633\u0627\u06cc\u062a \u062e\u0648\u062f \u062e\u0648\u0627\u0647\u06cc\u062f \u0634\u062f\u061b \u0627\u0644\u0628\u062a\u0647 \u0628\u0627\u06cc\u062f \u0645\u0631\u0627\u0642\u0628 \u0628\u062f \u0627\u0641\u0632\u0627\u0631 \u0647\u0627 \u0648 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u062c\u0627\u0633\u0648\u0633 \u0628\u0627\u0634\u06cc\u062f \u06a9\u0647 \u062e\u0627\u0631\u062c \u0627\u0632 \u0642\u0648\u0627\u0646\u06cc\u0646 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0639\u0645\u0644 \u0645\u06cc \u06a9\u0646\u0646\u062f \u0648 \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u0622\u0633\u06cc\u0628 \u0647\u0627\u06cc \u062c\u0628\u0631\u0627\u0646 \u0646\u0627\u067e\u0630\u06cc\u0631\u06cc \u0631\u0627 \u0628\u0647 \u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u0648\u0627\u0631\u062f \u06a9\u0646\u0646\u062f.<\/p>\n

\u0641\u0627\u06cc\u0644 Robots.txt \u062f\u0631 \u06a9\u062c\u0627 \u0642\u0631\u0627\u0631 \u062f\u0627\u0631\u062f\u061f<\/span><\/h2>\n

\u0641\u0627\u06cc\u0644 Robot.txt \u062f\u0631 \u062f\u0627\u06cc\u0631\u06a9\u062a\u0648\u0631\u06cc \u0631\u0648\u062a \u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u0630\u062e\u06cc\u0631\u0647 \u0645\u06cc \u0634\u0648\u062f\u061b \u0628\u0631\u0627\u06cc \u067e\u06cc\u062f\u0627 \u06a9\u0631\u062f\u0646 \u0622\u0646 \u0645\u06cc \u062a\u0648\u0627\u0646\u06cc\u062f \u0628\u0647 \u062f\u0633\u062a\u0631\u0633\u06cc FTP \u062f\u0631 \u0633\u06cc \u067e\u0646\u0644 \u06cc\u0627 \u062f\u0627\u06cc\u0631\u06a9\u062a \u0627\u062f\u0645\u06cc\u0646 \u0628\u0631\u0648\u06cc\u062f. \u0633\u067e\u0633 \u0645\u06cc \u062a\u0648\u0627\u0646\u06cc\u062f \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0631\u0627 \u062f\u0631 public_html \u0633\u0627\u06cc\u062a \u062e\u0648\u062f \u067e\u06cc\u062f\u0627 \u06a9\u0646\u06cc\u062f. \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u062d\u062c\u0645 \u0633\u0646\u06af\u06cc\u0646\u06cc \u0646\u062f\u0627\u0631\u062f \u0648 \u062f\u0631 \u0627\u06a9\u062b\u0631 \u0645\u0648\u0627\u0642\u0639 \u0646\u0647\u0627\u06cc\u062a\u0627\u064b \u0686\u0646\u062f \u0635\u062f \u0628\u0627\u06cc\u062a \u062e\u0648\u0627\u0647\u062f \u0628\u0648\u062f.<\/p>\n

\u0686\u06af\u0648\u0646\u0647 \u0641\u0627\u06cc\u0644 Robot.txt \u0631\u0627 \u0627\u06cc\u062c\u0627\u062f \u06a9\u0646\u06cc\u0645\u061f<\/span><\/h2>\n

\u0627\u0632 \u0622\u0646 \u062c\u0627\u06cc\u06cc \u06a9\u0647 \u0641\u0627\u06cc\u0644 Robot.txt \u06cc\u06a9 \u0641\u0627\u06cc\u0644 \u0645\u062a\u0646\u06cc \u0633\u0627\u062f\u0647 \u0627\u0633\u062a\u060c \u0627\u06cc\u062c\u0627\u062f \u06a9\u0631\u062f\u0646 \u0622\u0646 \u06a9\u0627\u0631 \u062f\u0634\u0648\u0627\u0631\u06cc \u0646\u06cc\u0633\u062a\u061b \u0628\u0631\u0627\u06cc \u0627\u0646\u062c\u0627\u0645 \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0646\u06cc\u0627\u0632 \u0628\u0647 \u06cc\u06a9 \u0648\u06cc\u0631\u0627\u06cc\u0634\u06af\u0631 \u0645\u062a\u0646 \u0633\u0627\u062f\u0647 \u0645\u0627\u0646\u0646\u062f Notepad \u062f\u0627\u0631\u06cc\u062f. \u062f\u0631 \u0627\u06cc\u0646 \u0648\u06cc\u0631\u0627\u06cc\u0634\u06af\u0631 \u0635\u0641\u062d\u0647 \u0627\u06cc \u0631\u0627 \u0628\u0627\u0632 \u06a9\u0646\u06cc\u062f \u0648 \u06cc\u06a9 \u0628\u0631\u06af\u0647 \u062e\u0627\u0644\u06cc \u0631\u0627 \u0628\u0627 \u0646\u0627\u0645 robots.txt \u0630\u062e\u06cc\u0631\u0647 \u06a9\u0646\u06cc\u062f\u061b \u0633\u067e\u0633 \u0648\u0627\u0631\u062f cPanel \u0634\u0648\u06cc\u062f \u0648 \u0628\u0639\u062f public_html \u0631\u0627 \u0628\u0631\u0627\u06cc \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u062f\u0627\u06cc\u0631\u06a9\u062a\u0648\u0631\u06cc \u0631\u0648\u062a \u0633\u0627\u06cc\u062a\u060c \u0628\u0627\u0632 \u06a9\u0646\u06cc\u062f.<\/p>\n

\u0628\u0639\u062f \u0627\u0632 \u0627\u06cc\u0646\u06a9\u0647 public_html \u0631\u0627 \u0628\u0627\u0632 \u06a9\u0631\u062f\u06cc\u062f\u060c \u0641\u0627\u06cc\u0644 \u0631\u0627 \u0628\u0647 \u062f\u0627\u062e\u0644 \u0622\u0646 \u0628\u06a9\u0634\u06cc\u062f\u061b \u062a\u0648\u062c\u0647 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u062f \u06a9\u0647 \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u0645\u0627\u0644\u06a9 \u0633\u0627\u06cc\u062a\u060c \u0628\u0627\u06cc\u062f \u0628\u062a\u0648\u0627\u0646\u06cc\u062f \u0628\u0647 \u062a\u0645\u0627\u0645 \u0642\u0633\u0645\u062a \u0647\u0627\u06cc \u0641\u0627\u06cc\u0644 \u062f\u0633\u062a\u0631\u0633\u06cc \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u062f \u0648 \u0622\u0646 \u0631\u0627 \u0628\u062e\u0648\u0627\u0646\u06cc\u062f\u060c \u0648\u06cc\u0631\u0627\u06cc\u0634 \u06a9\u0646\u06cc\u062f \u0648 \u0628\u0646\u0648\u06cc\u0633\u06cc\u062f. \u0644\u0627\u0632\u0645 \u0628\u0647 \u0630\u06a9\u0631 \u0627\u0633\u062a \u06a9\u0647 \u0627\u06cc\u0646 \u062f\u0633\u062a\u0631\u0633\u06cc \u0647\u0627 \u0631\u0627 \u0647\u06cc\u0686 \u0634\u062e\u0635\u06cc \u0628\u0647 \u063a\u06cc\u0631 \u0627\u0632 \u0645\u0627\u0644\u06a9 \u0633\u0627\u06cc\u062a \u0646\u0628\u0627\u06cc\u062f \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u062f. \u062f\u0631 \u0627\u062f\u0627\u0645\u0647 \u06cc \u0645\u0642\u0627\u0644\u0647 \u0646\u062d\u0648\u0647 \u0633\u0627\u062e\u062a \u0641\u0627\u06cc\u0644 \u0631\u0628\u0627\u062a \u0631\u0627 \u0628\u0627 \u062f\u0633\u062a\u0648\u0631\u0627\u062a \u0622\u0646 \u0622\u0648\u0631\u062f\u0647 \u0627\u06cc\u0645.<\/p>\n

 <\/p>\n

\"\u062f\u0633\u062a\u0648\u0631\u0627\u062a
\u062f\u0633\u062a\u0648\u0631\u0647\u0627\u06cc Robots.txt<\/figcaption><\/figure>\n

\u062f\u0633\u062a\u0648\u0631 \u0647\u0627\u06cc \u0645\u0648\u062c\u0648\u062f \u062f\u0631 \u0641\u0627\u06cc\u0644 Robot.txt<\/span><\/h2>\n

\u0628\u0647 \u0637\u0648\u0631 \u06a9\u0644\u06cc\u060c \u062f\u0648 \u0646\u0648\u0639 \u062f\u0633\u062a\u0648\u0631 \u0628\u0631\u0627\u06cc \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0647\u0627 \u062f\u0627\u0631\u06cc\u0645\u061b \u0627\u0648\u0644\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631 \u0628\u0631\u0627\u06cc \u0645\u062d\u062f\u0648\u062f \u06a9\u0631\u062f\u0646 \u0645\u0648\u062a\u0648\u0631 \u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0627\u0632 \u06a9\u0631\u0627\u0648\u0644 \u06a9\u0631\u062f\u0646 \u0627\u0633\u062a \u0648 \u062f\u0648\u0645\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631 \u0647\u0645 \u0628\u0631\u0627\u06cc \u0627\u062c\u0627\u0632\u0647 \u062f\u0627\u062f\u0646 \u0628\u0647 \u0645\u0648\u062a\u0648\u0631 \u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0628\u0631\u0627\u06cc \u06a9\u0631\u0627\u0648\u0644 \u06a9\u0631\u062f\u0646 \u062e\u0648\u0627\u0647\u062f \u0628\u0648\u062f.<\/p>\n

\u0647\u0645\u0627\u0646\u0637\u0648\u0631 \u06a9\u0647 \u06af\u0641\u062a\u0647 \u0634\u062f \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u0648 \u062f\u0648 \u062f\u0633\u062a\u0648\u0631 \u0628\u0627\u0644\u0627\u060c \u0645\u06cc \u062a\u0648\u0627\u0646\u06cc\u062f \u0628\u0647 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u06af\u0648\u06af\u0644 \u0628\u06af\u0648\u06cc\u06cc\u062f \u06a9\u0647 \u0635\u0641\u062d\u0647 \u0645\u0648\u0631\u062f \u0646\u0638\u0631 \u0634\u0645\u0627 \u0631\u0627 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06a9\u0646\u0646\u062f \u0648 \u06cc\u0627 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0646\u06a9\u0646\u0646\u062f.<\/p>\n

\u062a\u0648\u062c\u0647 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u062f \u06a9\u0647 \u0642\u0628\u0644 \u0627\u0632 \u062f\u0633\u062a\u0648\u0631 \u062f\u0627\u062f\u0646\u060c \u0628\u0627\u06cc\u062f \u0627\u0648\u0644 \u0646\u0627\u0645 \u0631\u0628\u0627\u062a \u0631\u0627 \u0628\u06cc\u0627\u0648\u0631\u06cc\u062f \u0648 \u0633\u067e\u0633 \u062f\u0633\u062a\u0648\u0631 \u0645\u0648\u0631\u062f \u0646\u0638\u0631 \u0631\u0627 \u0628\u062f\u0647\u06cc\u062f. \u0628\u0631\u0627\u06cc \u0627\u0646\u062c\u0627\u0645 \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0628\u0627\u06cc\u062f \u0627\u0632 \u062f\u0633\u062a\u0648\u0631 \u0632\u06cc\u0631 \u0628\u0647\u0631\u0647 \u0628\u06af\u06cc\u0631\u06cc\u062f:<\/p>\n

User-agent: *<\/span><\/h3>\n

\u0634\u0627\u06cc\u062f \u0628\u0631\u0627\u06cc\u062a\u0627\u0646 \u0633\u0648\u0627\u0644 \u067e\u06cc\u0634 \u0628\u06cc\u0627\u06cc\u062f \u06a9\u0647 ” * ” \u0628\u0647 \u0686\u0647 \u062f\u0644\u06cc\u0644 \u062f\u0631 \u0627\u0628\u062a\u062f\u0627\u06cc \u0639\u0628\u0627\u0631\u062a \u0622\u0645\u062f\u0647 \u0627\u0633\u062a\u061b \u0627\u06cc\u0646 \u0639\u0644\u0627\u0645\u062a \u062a\u0645\u0627\u0645 \u0631\u0628\u0627\u062a\u200c \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648 \u0631\u0627 \u0628\u0647 \u0646\u0648\u0639\u06cc \u0635\u062f\u0627 \u0645\u06cc \u0632\u0646\u062f. \u0627\u0632 \u0622\u0646 \u062c\u0627\u06cc\u06cc \u06a9\u0647 \u0631\u0628\u0627\u062a\u200c \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648 \u0627\u0646\u0648\u0627\u0639 \u0645\u062e\u062a\u0644\u0641\u06cc \u062f\u0627\u0631\u0646\u062f\u060c \u0628\u0631\u0627\u06cc \u062e\u0637\u0627\u0628 \u0642\u0631\u0627\u0631 \u062f\u0627\u062f\u0646 \u0622\u0646 \u0647\u0627 \u0628\u0627\u06cc\u062f \u0646\u0627\u0645\u0634\u0627\u0646 \u0631\u0627 \u0628\u0644\u062f \u0628\u0627\u0634\u06cc\u062f.<\/p>\n

\u062f\u0631 \u062d\u0627\u0644\u06cc \u06a9\u0647 \u0646\u06cc\u0627\u0632\u06cc \u0628\u0647 \u0628\u0644\u062f\u0646 \u0628\u0648\u062f\u0646 \u0646\u0627\u0645\u0634\u0627\u0646 \u0646\u06cc\u0633\u062a\u060c \u0628\u0627 \u0622\u0648\u0631\u062f\u0646 \u0639\u0644\u0627\u0645\u062a ” * ” \u062f\u0631 \u0627\u0628\u062a\u062f\u0627\u06cc \u062f\u0633\u062a\u0648\u0631 ” User-agent: * “\u060c \u062a\u0645\u0627\u0645 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648 \u0631\u0627 \u062e\u0637\u0627\u0628 \u0642\u0631\u0627\u0631 \u0645\u06cc \u062f\u0647\u06cc\u062f.<\/p>\n

\u062f\u0633\u062a\u0648\u0631 \u062f\u06cc\u0633 \u0627\u0644\u0648 (Disallow)<\/span><\/h3>\n

\u062f\u0633\u062a\u0648\u0631 Disallow \u0628\u0631\u0627\u06cc \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0646\u06a9\u0631\u062f\u0646 \u06a9\u0627\u0631\u0628\u0631\u062f \u062f\u0627\u0631\u062f\u061b \u0628\u0627 \u0627\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631 \u0634\u0645\u0627 \u0628\u0647 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648 \u0645\u06cc \u06af\u0648\u06cc\u06cc\u062f \u06a9\u0647 \u0646\u0645\u06cc \u062e\u0648\u0627\u0647\u06cc\u062f \u0635\u0641\u062d\u0647 \u06cc\u0627 \u0628\u062e\u0634 \u0645\u0648\u0631\u062f \u0646\u0638\u0631 \u062f\u0631 \u0633\u0627\u06cc\u062a\u062a\u0627\u0646\u060c \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0634\u0648\u062f.<\/p>\n

\u062f\u0631 \u0628\u0631\u062e\u06cc \u0634\u0631\u0627\u06cc\u0637\u060c \u0645\u0634\u06a9\u0644\u0627\u062a\u06cc \u0628\u0631\u0627\u06cc \u06cc\u06a9\u06cc \u0627\u0632 \u0635\u0641\u062d\u0627\u062a \u0634\u0645\u0627 \u067e\u06cc\u0634 \u0645\u06cc \u0622\u06cc\u062f \u06a9\u0647 \u0628\u0627\u06cc\u062f \u0622\u0646 \u0631\u0627 \u0628\u0631\u0637\u0631\u0641 \u06a9\u0646\u06cc\u062f\u061b \u0642\u0628\u0644 \u0627\u0632 \u0628\u0631\u0637\u0631\u0641 \u06a9\u0631\u062f\u0646 \u062d\u062a\u0645\u0627 \u0628\u0627\u06cc\u062f \u062f\u0633\u062a\u0648\u0631 Disallow \u0631\u0627 \u062f\u0631 \u0641\u0627\u06cc\u0644 Robot.txt \u0627\u062c\u0631\u0627 \u06a9\u0646\u06cc\u062f.<\/p>\n

\u062f\u0631 \u0635\u0648\u0631\u062a\u06cc \u06a9\u0647 \u0645\u0634\u06a9\u0644 \u0635\u0641\u062d\u0647 \u0631\u0627 \u062d\u0644 \u0646\u06a9\u0646\u06cc\u062f \u0648 \u062f\u0633\u062a\u0648\u0631 \u062f\u06cc\u0633 \u0627\u0644\u0648 \u0631\u0627 \u0647\u0645 \u0627\u062c\u0631\u0627 \u0646\u06a9\u0646\u06cc\u062f\u060c \u0635\u0641\u062d\u0647 \u0645\u0648\u0631\u062f \u0646\u0638\u0631 \u062f\u0631 \u06af\u0648\u06af\u0644 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0645\u06cc \u0634\u0648\u062f \u0648 \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u0628\u0647 \u0633\u0626\u0648<\/a> \u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u0636\u0631\u0628\u0647 \u0628\u0632\u0646\u062f.<\/p>\n

\u062f\u0633\u062a\u0648\u0631 Allow<\/span><\/h3>\n

\u062f\u0633\u062a\u0648\u0631 Allow \u062f\u0642\u06cc\u0642\u0627 \u0628\u0631\u0639\u06a9\u0633 \u062f\u0633\u062a\u0648\u0631 Disallow \u0639\u0645\u0644 \u0645\u06cc \u06a9\u0646\u062f\u061b \u0627\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631 \u0628\u0647 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644 \u0627\u062c\u0627\u0632\u0647 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06a9\u0631\u062f\u0646 \u0631\u0627 \u0645\u06cc \u062f\u0647\u062f.<\/p>\n

\u062a\u0648\u062c\u0647 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u062f\u060c \u0632\u0645\u0627\u0646\u06cc \u06a9\u0647 \u0635\u0641\u062d\u0647 \u0627\u06cc \u062f\u0631 \u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u0645\u0634\u06a9\u0644 \u0641\u0646\u06cc \u06cc\u0627 \u0633\u0626\u0648\u06cc\u06cc \u062f\u0627\u0631\u062f\u060c \u0646\u0628\u0627\u06cc\u062f \u062f\u0633\u062a\u0648\u0631 Allow \u0631\u0627 \u0627\u062c\u0631\u0627 \u06a9\u0646\u06cc\u062f\u061b \u0632\u06cc\u0631\u0627 \u062f\u0631 \u0627\u06cc\u0646 \u0634\u0631\u0627\u06cc\u0637 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648 \u0635\u0641\u062d\u0647 \u0631\u0627 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0645\u06cc \u06a9\u0646\u0646\u062f \u0648 \u0646\u062a\u06cc\u062c\u0647 \u0622\u0646 \u0622\u0633\u06cc\u0628 \u062f\u06cc\u062f\u0646 \u0631\u062a\u0628\u0647 \u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u062f\u0631 \u0646\u062a\u0627\u06cc\u062c \u06af\u0648\u06af\u0644 \u062e\u0648\u0627\u0647\u062f \u0628\u0648\u062f.<\/p>\n

\u062f\u0633\u062a\u0648\u0631 Crawl-delay<\/span><\/h3>\n

Crawl-delay \u0628\u0647 \u0645\u0648\u062a\u0648\u0631 \u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u062f\u0633\u062a\u0648\u0631 \u0645\u06cc \u062f\u0647\u062f \u06a9\u0647 \u0635\u0641\u062d\u0647 \u0627\u06cc \u0631\u0627 \u0628\u0627 \u062a\u0627\u062e\u06cc\u0631 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06a9\u0646\u0646\u062f\u061b \u0627\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631 \u0632\u0645\u0627\u0646\u06cc \u06a9\u0627\u0631\u0628\u0631\u062f \u062f\u0627\u0631\u062f \u06a9\u0647 \u0635\u0641\u062d\u0647 \u0634\u0645\u0627 \u062f\u0627\u0631\u0627\u06cc \u0645\u0634\u06a9\u0644 \u0627\u0633\u062a \u0648 \u0645\u06cc \u062e\u0648\u0627\u0647\u06cc\u062f \u0622\u0646 \u0631\u0627 \u0628\u0631\u0637\u0631\u0641 \u06a9\u0646\u06cc\u062f.<\/p>\n

\u0628\u0627 \u0627\u062c\u0631\u0627\u06cc \u062f\u0633\u062a\u0648\u0631 Crawl-delay \u0628\u0639\u062f \u0627\u0632 \u0628\u0631\u0637\u0631\u0641 \u06a9\u0631\u062f\u0646 \u0645\u0634\u06a9\u0644\u060c \u0635\u0641\u062d\u0647 \u0634\u0645\u0627 \u062a\u0648\u0633\u0637 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644 \u06a9\u0631\u0627\u0648\u0644 \u0648 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u062e\u0648\u0627\u0647\u062f \u0634\u062f.<\/p>\n

\u062f\u0631 \u0627\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631 \u0634\u0645\u0627 \u0632\u0645\u0627\u0646 \u062a\u0627\u062e\u06cc\u0631 \u0631\u0627 \u0647\u0645 \u0628\u0647 \u0631\u0628\u0627\u062a \u0647\u0627 \u0627\u0639\u0644\u0627\u0645 \u0645\u06cc \u06a9\u0646\u06cc\u062f\u061b \u0627\u0644\u0628\u062a\u0647 \u0627\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631 \u0628\u0631\u0627\u06cc \u0631\u0628\u0627\u062a\u06cc \u0645\u0627\u0646\u0646\u062f Googlebot \u0642\u0627\u0628\u0644 \u0627\u062c\u0631\u0627 \u0646\u06cc\u0633\u062a \u0648 \u0628\u0631\u0627\u06cc \u0627\u0646\u062c\u0627\u0645 \u0622\u0646 \u0628\u0627\u06cc\u062f \u0627\u0632 \u0627\u0628\u0632\u0627\u0631\u06cc \u0645\u0627\u0646\u0646\u062f \u06af\u0648\u06af\u0644 \u0633\u0631\u0686 \u06a9\u0646\u0633\u0648\u0644 \u0628\u0647\u0631\u0647 \u0628\u06af\u06cc\u0631\u06cc\u062f.<\/p>\n

\u0628\u0631\u0627\u06cc \u0645\u062b\u0627\u0644 \u0632\u0645\u0627\u0646\u06cc \u06a9\u0647 \u062f\u0633\u062a\u0648\u0631 ” crawl-delay: 120 ” \u0631\u0627 \u062f\u0631 \u0641\u0627\u06cc\u0644 Robot.txt \u0627\u062c\u0631\u0627 \u0645\u06cc \u06a9\u0646\u06cc\u062f\u060c \u0628\u0647 \u0645\u0648\u062a\u0648\u0631 \u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0645\u06cc \u0641\u0647\u0645\u0627\u0646\u06cc\u062f \u06a9\u0647 \u0647\u0631 \u0635\u0641\u062d\u0647 \u0631\u0627 \u0628\u0627 \u0641\u0627\u0635\u0644\u0647 120 \u062b\u0627\u0646\u06cc\u0647 \u0627\u0632 \u0647\u0645 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06a9\u0646\u0646\u062f. (\u0628\u0639\u062f \u0627\u0632 \u0647\u0631 \u0627\u06cc\u0646\u062f\u06a9\u0633 120 \u062b\u0627\u0646\u06cc\u0647 \u0635\u0628\u0631 \u06a9\u0646\u0646\u062f \u0648 \u0633\u067e\u0633 \u0635\u0641\u062d\u0647 \u062f\u06cc\u06af\u0631\u06cc \u0631\u0627 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06a9\u0646\u0646\u062f)<\/p>\n

\u062f\u0633\u062a\u0648\u0631 Sitemap<\/span><\/h3>\n

\u062f\u0633\u062a\u0648\u0631 \u0633\u0627\u06cc\u062a \u0645\u067e(\u0646\u0642\u0634\u0647 \u0633\u0627\u06cc\u062a) \u0628\u0631\u0627\u06cc \u0645\u0639\u0631\u0641\u06cc \u06a9\u0631\u062f\u0646 \u0646\u0642\u0634\u0647 \u0633\u0627\u06cc\u062a (\u0633\u0627\u06cc\u062a \u0645\u067e) \u0628\u0647 \u06a9\u0631\u0627\u0648\u0644\u0631 \u0647\u0627 \u06a9\u0627\u0631\u0628\u0631\u062f \u062f\u0627\u0631\u062f.\u00a0 \u0646\u0642\u0634\u0647 \u0633\u0627\u06cc\u062a \u06cc\u06a9 \u0641\u0627\u06cc\u0644 XML \u0627\u0633\u062a \u06a9\u0647 \u0634\u0627\u0645\u0644 \u0644\u06cc\u0633\u062a\u06cc \u0627\u0632 \u062a\u0645\u0627\u0645 \u0635\u0641\u062d\u0627\u062a \u0648\u0628 \u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u0648 \u0647\u0645\u0686\u0646\u06cc\u0646 \u0645\u062a\u0627\u062f\u06cc\u062a\u0627\u0647\u0627 \u0645\u06cc \u0628\u0627\u0634\u062f (\u0645\u062a\u0627\u062f\u06cc\u062a\u0627 \u0634\u0627\u0645\u0644 \u0627\u0637\u0644\u0627\u0639\u0627\u062a\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u0647\u0631 URL \u0645\u0646\u0633\u0648\u0628 \u0645\u06cc \u0634\u0648\u062f). \u0628\u0647 \u0647\u0645\u0627\u0646 \u0631\u0648\u0634\u06cc \u06a9\u0647 \u06cc\u06a9 \u0631\u0648\u0628\u0627\u062a. \u0641\u0627\u06cc\u0644 txt \u06a9\u0627\u0631 \u0645\u06cc \u06a9\u0646\u062f\u060c \u0646\u0642\u0634\u0647 \u0633\u0627\u06cc\u062a \u0628\u0647 \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0627\u062c\u0627\u0632\u0647 \u0645\u06cc \u062f\u0647\u062f \u062a\u0627 \u062f\u0631 \u0641\u0647\u0631\u0633\u062a\u06cc \u0627\u0632 \u062a\u0645\u0627\u0645 \u0635\u0641\u062d\u0627\u062a \u0648\u0628 \u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u062f\u0631 \u06cc\u06a9 \u0645\u06a9\u0627\u0646 \u0628\u062e\u0632\u0646\u062f.<\/p>\n

\u0632\u0645\u0627\u0646\u06cc \u06a9\u0647 \u062f\u0633\u062a\u0648\u0631 ” *:User-agent” \u0631\u0627 \u0627\u062c\u0631\u0627 \u0645\u06cc \u06a9\u0646\u06cc\u062f \u0648 \u062a\u0645\u0627\u0645 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644 \u0631\u0627 \u062e\u0637\u0627\u0628 \u0642\u0631\u0627\u0631 \u0645\u06cc \u062f\u0647\u06cc\u062f\u060c \u0628\u0627\u06cc\u062f \u06cc\u06a9\u06cc \u0627\u0632 \u0686\u0647\u0627\u0631 \u062f\u0633\u062a\u0648\u0631 \u0628\u0627\u0644\u0627 \u0631\u0627 \u0628\u0647 \u0641\u0627\u06cc\u0644 \u0628\u06cc\u0641\u0632\u0627\u06cc\u06cc\u062f.<\/p>\n

\u062a\u0648\u062c\u0647 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u062f \u06a9\u0647 \u062a\u0631\u062a\u06cc\u0628 \u062f\u0633\u062a\u0648\u0631\u0627\u062a \u062f\u0631 \u0641\u0627\u06cc\u0644 \u0628\u0627\u06cc\u062f \u0631\u0639\u0627\u06cc\u062a \u0634\u0648\u062f\u061b \u062f\u0631 \u0641\u0627\u06cc\u0644 \u0627\u0628\u062a\u062f\u0627 \u0628\u0627\u06cc\u062f \u062f\u0633\u062a\u0648\u0631 \u0647\u0627\u06cc \u0645\u062d\u062f\u0648\u062f \u06a9\u0646\u0646\u062f\u0647 \u0645\u0627\u0646\u0646\u062f Disallow \u0642\u0631\u0627\u0631 \u0628\u06af\u06cc\u0631\u062f \u0648 \u0633\u067e\u0633 \u062f\u0633\u062a\u0648\u0631 \u0647\u0627\u06cc\u06cc \u06a9\u0647 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644 \u0631\u0627 \u0628\u0631\u0627\u06cc \u062e\u0632\u06cc\u062f\u0646 \u0648 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0645\u062c\u0627\u0632 \u0645\u06cc \u06a9\u0646\u062f (\u0645\u0627\u0646\u0646\u062f Allow)\u060c \u0642\u0631\u0627\u0631 \u062f\u0627\u062f\u0647 \u0634\u0648\u062f.<\/p>\n

\u0628\u0631\u0627\u06cc \u0627\u06cc\u0646\u06a9\u0647 \u0627\u062c\u0627\u0632\u0647 \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u0633\u0627\u06cc\u062a \u0631\u0627 \u0628\u0647 \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644 \u0646\u062f\u0647\u06cc\u062f\u060c \u0628\u0627\u06cc\u062f \u0627\u0632 \u062f\u0633\u062a\u0648\u0631 \u0632\u06cc\u0631 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f:<\/p>\n

User-agent: *\r\nDisallow: \/<\/pre>\n
\u062f\u0631 \u0634\u0631\u0627\u06cc\u0637\u06cc \u06a9\u0647 \u0645\u06cc \u062e\u0648\u0627\u0647\u06cc\u062f \u06a9\u0631\u0627\u0648\u0644 \u06a9\u0631\u062f\u0646 \u06cc\u06a9 \u0641\u0648\u0644\u062f\u0631 \u0627\u0632 \u0628\u062e\u0634 \u0647\u0627\u06cc \u0633\u0627\u06cc\u062a \u0631\u0627 \u0645\u062d\u062f\u0648\u062f \u06a9\u0646\u06cc\u062f (\u062a\u0648\u062c\u0647 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u062f \u06a9\u0647 \u0628\u0627 \u0627\u062c\u0631\u0627\u06cc \u0627\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631\u060c \u062a\u0645\u0627\u0645 \u0628\u062e\u0634 \u0647\u0627\u06cc \u0633\u0627\u06cc\u062a \u0628\u0647 \u063a\u06cc\u0631 \u0627\u0632 \u0641\u0648\u0644\u062f\u0631 \u0645\u0648\u0631\u062f \u0646\u0638\u0631 \u062a\u0648\u0633\u0637 \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644 \u06a9\u0631\u0627\u0648\u0644 \u062e\u0648\u0627\u0647\u062f \u0634\u062f)\u060c \u0628\u0627\u06cc\u062f \u062f\u0633\u062a\u0648\u0631 \u0632\u06cc\u0631\u0627 \u0631\u0627 \u0627\u062c\u0631\u0627 \u06a9\u0646\u06cc\u062f:<\/p>\n
User-agent: *\r\nDisallow: \/folder\/<\/pre>\n
\u062f\u0631 \u0628\u0639\u0636\u06cc \u0639\u06a9\u0633 \u0647\u0627\u06cc \u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u0645\u0634\u06a9\u0644\u0627\u062a\u06cc \u062f\u0627\u0631\u0646\u062f \u0648 \u06a9\u0631\u0627\u0648\u0644 \u0634\u062f\u0646 \u0622\u0646 \u0639\u06a9\u0633 \u0647\u0627 \u062a\u0648\u0633\u0637 \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644 \u0628\u0647 \u0633\u0626\u0648\u06cc \u0633\u0627\u06cc\u062a \u0622\u0633\u06cc\u0628 \u0645\u06cc \u0632\u0646\u062f\u061b \u062f\u0631 \u0627\u06cc\u0646 \u0634\u0631\u0627\u06cc\u0637 \u0628\u0627\u06cc\u062f \u062f\u0633\u062a\u0648\u0631\u06cc \u0631\u0627 \u0627\u062c\u0631\u0627 \u06a9\u0646\u06cc\u062f \u06a9\u0647 \u062a\u0645\u0627\u0645 \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648 \u0627\u0632 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06a9\u0631\u062f\u0646 \u0622\u0646 \u0639\u06a9\u0633 \u0647\u0627 \u0645\u062d\u062f\u0648\u062f \u0634\u0648\u0646\u062f. \u0628\u0631\u0627\u06cc \u0627\u0646\u062c\u0627\u0645 \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u062f\u0633\u062a\u0648\u0631 \u0632\u06cc\u0631 \u0631\u0627 \u0627\u062c\u0631\u0627 \u06a9\u0646\u06cc\u062f:<\/p>\n
User-agent: googlebot-images\r\n\r\nDisallow: \/photos<\/pre>\n
\"\u0627\u0633\u062a\u0641\u0627\u062f\u0647
\u062f\u0644\u0627\u06cc\u0644 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 Robots.txt<\/figcaption><\/figure>\n
\u0628\u0647 \u0686\u0647 \u062f\u0644\u06cc\u0644 \u0627\u0632 \u0641\u0627\u06cc\u0644 Robot.txt \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc \u06a9\u0646\u06cc\u0645\u061f<\/span><\/h2>\n
\u062f\u0631 \u0627\u062f\u0627\u0645\u0647 \u0628\u0647 \u0645\u0639\u0631\u0641\u06cc \u0686\u0646\u062f \u062f\u0644\u06cc\u0644 \u0628\u0631\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0641\u0627\u06cc\u0644 Robot.txt \u0645\u06cc \u067e\u0631\u062f\u0627\u0632\u06cc\u0645.<\/p>\n
\u0645\u062f\u06cc\u0631\u06cc\u062a \u062f\u0633\u062a\u0631\u0633\u06cc \u0645\u0648\u062a\u0648\u0631 \u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644<\/span><\/h3>\n
\u0627\u0635\u0644\u06cc \u062a\u0631\u06cc\u0646 \u062f\u0644\u06cc\u0644 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644\u060c \u0645\u062f\u06cc\u0631\u06cc\u062a \u062f\u0633\u062a\u0631\u0633\u06cc \u0645\u0648\u062a\u0648\u0631 \u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644 \u0627\u0633\u062a\u061b \u0647\u0645\u0627\u0646\u0637\u0648\u0631 \u06a9\u0647 \u06af\u0641\u062a\u06cc\u0645\u060c \u0632\u0645\u0627\u0646\u06cc \u06a9\u0647 \u06cc\u06a9 \u0648\u0628\u0645\u0633\u062a\u0631 \u06cc\u0627 \u0645\u062f\u06cc\u0631 \u0633\u0627\u06cc\u062a \u0642\u0635\u062f \u0627\u0646\u062a\u0634\u0627\u0631 \u0635\u0641\u062d\u0647 \u0627\u06cc \u0631\u0627 \u062f\u0631 \u0633\u0627\u06cc\u062a \u062e\u0648\u062f \u062f\u0627\u0631\u062f \u0648 \u0622\u0646 \u0635\u0641\u062d\u0647 \u0628\u0631\u062e\u06cc \u0627\u0632 \u0642\u0648\u0627\u0646\u06cc\u0646 \u0633\u0626\u0648 \u0631\u0627 \u0627\u0635\u0637\u0644\u0627\u062d\u0627 \u0632\u06cc\u0631 \u0633\u0648\u0627\u0644 \u0645\u06cc \u0628\u0631\u062f\u060c \u0628\u0627\u06cc\u062f \u0627\u0632 \u062f\u0633\u062a\u0648\u0631\u0627\u062a \u0645\u0648\u062c\u0648\u062f \u062f\u0631 \u0641\u0627\u06cc\u0644 Robots.txt \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u062f.<\/p>\n
\u0628\u0647\u06cc\u0646\u0647 \u0633\u0627\u0632\u06cc \u0633\u0627\u06cc\u062a \u0628\u0648\u0633\u06cc\u0644\u0647 Robots.txt<\/span><\/h3>\n
\u062f\u0631 \u0637\u0648\u0644 \u0631\u0648\u0632\u060c \u0635\u062f \u0647\u0627 \u0648 \u0634\u0627\u06cc\u062f \u0647\u0632\u0627\u0631\u0627\u0646 \u0631\u0628\u0627\u062a \u0627\u0631\u0633\u0627\u0644 \u0634\u062f\u0647 \u062a\u0648\u0633\u0637 \u06af\u0648\u06af\u0644 \u0648\u0627\u0631\u062f \u0633\u0627\u06cc\u062a \u0647\u0627 \u0645\u06cc \u0634\u0648\u0646\u062f \u0648 \u0627\u0637\u0644\u0627\u0639\u0627\u062a \u0633\u0627\u06cc\u062a \u0631\u0627 \u0628\u0631\u0627\u06cc \u06af\u0648\u06af\u0644 \u0645\u06cc \u0628\u0631\u0646\u062f\u061b \u0628\u0631\u0627\u06cc \u0645\u062b\u0627\u0644\u060c \u0632\u0645\u0627\u0646\u06cc \u06a9\u0647 1000 \u0631\u0628\u0627\u062a \u062a\u0648\u0633\u0637 \u06af\u0648\u06af\u0644 \u0648\u0627\u0631\u062f \u0633\u0627\u06cc\u062a\u062a\u0627\u0646 \u0634\u0648\u0646\u062f\u060c \u0628\u062f\u0648\u0646 \u0634\u06a9 \u0639\u0645\u0644\u06a9\u0631\u062f \u0628\u0647\u06cc\u0646\u0647 \u0648 \u0633\u0631\u0639\u062a \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc \u0635\u0641\u062d\u0627\u062a \u0634\u0645\u0627 \u0628\u0627 \u0627\u0641\u062a \u0634\u062f\u06cc\u062f\u06cc \u0645\u0648\u0627\u062c\u0647 \u062e\u0648\u0627\u0647\u062f \u0634\u062f.<\/p>\n
\u062f\u0631 \u0627\u06cc\u0646 \u0634\u0631\u0627\u06cc\u0637 \u0627\u0633\u062a \u06a9\u0647 \u0628\u0631\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647 \u0633\u0627\u0632\u06cc \u0639\u0645\u0644\u06a9\u0631\u062f \u0633\u0627\u06cc\u062a\u060c \u0628\u0627\u06cc\u062f \u0631\u0628\u0627\u062a \u0647\u0627\u06cc \u0645\u0648\u062a\u0648\u0631 \u062c\u0633\u062a\u062c\u0648\u06cc \u06af\u0648\u06af\u0644 \u0631\u0627 \u0645\u062d\u062f\u0648\u062f \u06a9\u0631\u062f\u061b \u0628\u0631\u0627\u06cc \u0627\u0646\u062c\u0627\u0645 \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0647\u0645 \u0628\u0627\u06cc\u062f \u0627\u0632 \u0641\u0627\u06cc\u0644 Robots.txt \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0631\u062f.<\/p>\n
\u0645\u062f\u06cc\u0631\u06cc\u062a \u0644\u06cc\u0646\u06a9 \u0647\u0627 \u0648 \u0622\u062f\u0631\u0633 \u0647\u0627 (URL) \u0628\u0627 Robots.txt<\/span><\/h3>\n
\u0642\u0637\u0639\u0627 \u0645\u062f\u06cc\u0631\u06cc\u062a \u062a\u0639\u062f\u0627\u062f \u0632\u06cc\u0627\u062f\u06cc URL \u0648 \u0644\u06cc\u0646\u06a9 \u0628\u0631\u0627\u06cc \u0645\u062f\u06cc\u0631\u0627\u0646 \u0648\u0628\u0633\u0627\u06cc\u062a \u0647\u0627 \u06a9\u0627\u0631 \u0646\u0633\u0628\u062a\u0627 \u062f\u0634\u0648\u0627\u0631\u06cc \u0627\u0633\u062a\u061b \u0634\u0645\u0627 \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 Robot.txt \u0645\u06cc \u062a\u0648\u0627\u0646\u06cc\u062f \u0628\u0647 \u0645\u062f\u06cc\u0631\u06cc\u062a \u0644\u06cc\u0646\u06a9 \u0647\u0627 \u0648 \u0622\u062f\u0631\u0633 \u0647\u0627\u06cc \u0633\u0627\u06cc\u062a\u062a\u0627\u0646 \u0628\u067e\u0631\u062f\u0627\u0632\u06cc\u062f \u0648 \u0647\u0631 \u0632\u0645\u0627\u0646 \u06a9\u0647 \u0627\u062d\u0633\u0627\u0633 \u0646\u06cc\u0627\u0632 \u06a9\u0631\u062f\u06cc\u062f\u060c \u062f\u0631 \u0622\u0646 \u062a\u063a\u06cc\u06cc\u0631 \u0627\u06cc\u062c\u0627\u062f \u06a9\u0646\u06cc\u062f.<\/p>\n
\u06cc\u06a9\u06cc \u0627\u0632 \u062a\u06a9\u0646\u06cc\u06a9 \u0647\u0627\u06cc\u06cc \u06a9\u0647 \u062f\u0631 \u0633\u0626\u0648 \u0645\u0648\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0642\u0631\u0627\u0631 \u0645\u06cc \u06af\u06cc\u0631\u062f\u060c URL Cloacking \u0646\u0627\u0645 \u062f\u0627\u0631\u062f \u06a9\u0647 \u0628\u0631\u0627\u06cc \u067e\u0646\u0647\u0627\u0646 \u06a9\u0631\u062f\u0646 \u0622\u062f\u0631\u0633 \u0635\u0641\u062d\u0627\u062a \u0627\u0632 \u062f\u06cc\u062f \u0645\u0648\u062a\u0648\u0631 \u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0648 \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u06a9\u0627\u0631\u0628\u0631\u062f \u062f\u0627\u0631\u062f.<\/p>\n
\u0627\u06af\u0631 \u06cc\u06a9 \u0633\u0626\u0648 \u06a9\u0627\u0631 \u062d\u0631\u0641\u0647 \u0627\u06cc \u0646\u06cc\u0633\u062a\u06cc\u062f\u060c \u0628\u0647 \u0647\u06cc\u0686 \u0639\u0646\u0648\u0627\u0646 \u0633\u0645\u062a \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0627\u06cc\u0646 \u0631\u0648\u0634 \u0646\u0631\u0648\u06cc\u062f\u061b \u0627\u06cc\u0646 \u062a\u06a9\u0646\u06cc\u06a9 \u06cc\u06a9\u06cc \u0627\u0632 \u062a\u06a9\u0646\u06cc\u06a9 \u0647\u0627\u06cc \u0633\u0626\u0648\u06cc \u06a9\u0644\u0627\u0647 \u0633\u06cc\u0627\u0647 \u0628\u0647 \u062d\u0633\u0627\u0628 \u0645\u06cc \u0622\u06cc\u062f \u0648 \u062d\u062a\u0645\u0627 \u0628\u0627\u06cc\u062f \u062a\u0648\u0633\u0637 \u0627\u0641\u0631\u0627\u062f \u062d\u0631\u0641\u0647 \u0627\u06cc \u0648 \u0645\u062a\u062e\u0635\u0635 \u0627\u0646\u062c\u0627\u0645 \u0634\u0648\u062f.<\/p>\n
\u062f\u0631 \u063a\u06cc\u0631 \u0627\u06cc\u0646 \u0635\u0648\u0631\u062a \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u0628\u0631\u0627\u06cc \u0647\u0645\u06cc\u0634\u0647 \u0627\u0632 \u0646\u062a\u0627\u06cc\u062c \u06af\u0648\u06af\u0644 \u0645\u062d\u0648 \u0648 \u067e\u0646\u0627\u0644\u062a\u06cc \u0634\u0648\u062f \u06a9\u0647 \u0646\u062a\u06cc\u062c\u0647 \u0622\u0646 \u0628\u0631 \u0628\u0627\u062f \u0631\u0641\u062a\u0646 \u0632\u062d\u0645\u0627\u062a \u0634\u0645\u0627 \u062e\u0648\u0627\u0647\u062f \u0628\u0648\u062f.
\n\u062f\u0631 URL Cloacking \u0627\u0632 \u0631\u0648\u0634\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc \u0634\u0648\u062f \u06a9\u0647 \u0634\u0631\u0627\u06cc\u0637 \u0648 \u0642\u0648\u0627\u0646\u06cc\u0646 \u06af\u0648\u06af\u0644 \u0631\u0627 \u06a9\u0627\u0645\u0644\u0627 \u0646\u0642\u0636 \u0645\u06cc \u06a9\u0646\u062f \u0648 \u0628\u0647 \u0647\u0645\u06cc\u0646 \u062f\u0644\u06cc\u0644 \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647 \u0622\u0646 \u0631\u0648\u0634 \u0633\u0626\u0648\u06cc \u06a9\u0644\u0627\u0647 \u0633\u06cc\u0627\u0647 \u0645\u06cc \u06af\u0648\u06cc\u0646\u062f.<\/p>\n
\u0628\u0647 \u062d\u062f\u0627\u06a9\u062b\u0631 \u0631\u0633\u0627\u0646\u062f\u0646 \u0628\u0648\u062f\u062c\u0647 \u062e\u0632\u0634<\/span><\/h3>\n
\u0627\u06af\u0631 \u0628\u0631\u0627\u06cc \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06a9\u0631\u062f\u0646 \u062a\u0645\u0627\u0645 \u0635\u0641\u062d\u0627\u062a \u062e\u0648\u062f \u0628\u0627 \u0645\u0634\u06a9\u0644 \u0645\u0648\u0627\u062c\u0647 \u0647\u0633\u062a\u06cc\u062f\u060c \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u0628\u0627 \u0645\u0634\u06a9\u0644 \u0628\u0648\u062f\u062c\u0647 crawl \u0645\u0648\u0627\u062c\u0647 \u0634\u0648\u06cc\u062f. \u0628\u0627 \u0645\u0633\u062f\u0648\u062f \u06a9\u0631\u062f\u0646 \u0635\u0641\u062d\u0627\u062a \u0628\u06cc\u200c\u0627\u0647\u0645\u06cc\u062a \u0628\u0627 robots.txt\u060c \u06af\u0648\u06af\u0644 \u0628\u0627\u062a \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0628\u06cc\u0634\u062a\u0631 \u0628\u0648\u062f\u062c\u0647 \u062e\u0632\u0634\u0650 \u0634\u0645\u0627 \u0631\u0627 \u0635\u0631\u0641 \u0635\u0641\u062d\u0627\u062a\u06cc \u06a9\u0646\u062f \u06a9\u0647 \u0648\u0627\u0642\u0639\u0627\u064b \u0645\u0647\u0645 \u0647\u0633\u062a\u0646\u062f.<\/p>\n
 <\/p>\n
\"\u0627\u06cc\u062c\u0627\u062f
\u0646\u062d\u0648\u0647 \u0627\u06cc\u062c\u0627\u062f robots.txt<\/figcaption><\/figure>\n
\u0646\u062d\u0648\u0647 \u0627\u06cc\u062c\u0627\u062f \u0641\u0627\u06cc\u0644 Robots.txt<\/span><\/h2>\n
\u0647\u0645\u0627\u0646\u0637\u0648\u0631 \u06a9\u0647 \u0628\u0627\u0644\u0627\u062a\u0631 \u0628\u0647 \u0628\u0647\u062a\u0631\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631\u0627\u062a \u0641\u0627\u06cc\u0644 \u0631\u0628\u0627\u062a \u0627\u0634\u0627\u0631\u0647 \u06a9\u0631\u062f\u06cc\u0645\u060c \u0628\u0647\u062a\u0631\u06cc\u0646 \u06a9\u0627\u0631 \u0628\u0631\u0627\u06cc \u0634\u0631\u0648\u0639\u060c \u067e\u06cc\u0631\u0648\u06cc \u0627\u0632 \u0645\u0631\u0627\u062d\u0644 \u0632\u06cc\u0631 \u0645\u06cc \u0628\u0627\u0634\u062f:<\/p>\n
    \n
  • \u06cc\u06a9 \u0641\u0627\u06cc\u0644 Robots.txt \u0627\u06cc\u062c\u0627\u062f \u06a9\u0646\u06cc\u062f<\/li>\n
  • \u0627\u0648\u0644\u06cc\u0646 \u0642\u062f\u0645 \u0634\u0645\u0627 \u0627\u06cc\u0646 \u0627\u0633\u062a \u06a9\u0647 \u0648\u0627\u0642\u0639\u0627\u064b \u0641\u0627\u06cc\u0644 robots.txt \u062e\u0648\u062f \u0631\u0627 \u0627\u06cc\u062c\u0627\u062f \u06a9\u0646\u06cc\u062f.<\/li>\n
  • \u0628\u0647 \u0639\u0646\u0648\u0627\u0646 \u06cc\u06a9 \u0641\u0627\u06cc\u0644 \u0645\u062a\u0646\u06cc\u060c \u062f\u0631 \u0648\u0627\u0642\u0639 \u0645\u06cc \u062a\u0648\u0627\u0646\u06cc\u062f \u0628\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062f\u0641\u062a\u0631\u0686\u0647 \u06cc\u0627\u062f\u062f\u0627\u0634\u062a \u0648\u06cc\u0646\u062f\u0648\u0632 \u06cc\u06a9 \u0641\u0627\u06cc\u0644 \u0627\u06cc\u062c\u0627\u062f \u06a9\u0646\u06cc\u062f.<\/li>\n
  • \u0645\u0647\u0645 \u0646\u06cc\u0633\u062a \u06a9\u0647 \u062f\u0631 \u0646\u0647\u0627\u06cc\u062a \u0686\u06af\u0648\u0646\u0647 \u0641\u0627\u06cc\u0644 robots.txt \u062e\u0648\u062f \u0631\u0627 \u0645\u06cc \u0633\u0627\u0632\u06cc\u062f\u060c \u0641\u0631\u0645\u062a \u0622\u0646 \u062f\u0642\u06cc\u0642\u0627\u064b \u06cc\u06a9\u0633\u0627\u0646 \u0627\u0633\u062a:<\/li>\n<\/ul>\n
    user agent: X\r\n\r\n\r\nDisallow: Y<\/pre>\n
      \n
    • User-agent \u0631\u0628\u0627\u062a \u062e\u0627\u0635\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0634\u0645\u0627 \u0628\u0627 \u0622\u0646 \u0635\u062d\u0628\u062a \u0645\u06cc \u06a9\u0646\u06cc\u062f.<\/li>\n
    • \u0647\u0631 \u0686\u06cc\u0632\u06cc \u06a9\u0647 \u0628\u0639\u062f \u0627\u0632 “Disallow” \u0645\u06cc \u0622\u06cc\u062f \u0635\u0641\u062d\u0627\u062a \u06cc\u0627 \u0628\u062e\u0634 \u0647\u0627\u06cc\u06cc \u0647\u0633\u062a\u0646\u062f \u06a9\u0647 \u0645\u06cc \u062e\u0648\u0627\u0647\u06cc\u062f \u0645\u0633\u062f\u0648\u062f \u06a9\u0646\u06cc\u062f.<\/li>\n<\/ul>\n
      \u062f\u0631 \u0627\u06cc\u0646\u062c\u0627 \u06cc\u06a9 \u0645\u062b\u0627\u0644 \u0627\u0633\u062a:<\/p>\n
      user agent: googlebot\r\n\r\n\r\nDisallow: \/images<\/pre>\n
        \n
      • \u0627\u06cc\u0646 \u0642\u0627\u0646\u0648\u0646 \u0628\u0647 Googlebot \u0645\u06cc\u200c\u06af\u0648\u06cc\u062f \u06a9\u0647 \u067e\u0648\u0634\u0647 \u062a\u0635\u0648\u06cc\u0631 \u0648\u0628\u200c\u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u0631\u0627 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0646\u06a9\u0646\u062f.<\/li>\n
      • \u0647\u0645\u0686\u0646\u06cc\u0646 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u062f \u0627\u0632 \u06cc\u06a9 \u0633\u062a\u0627\u0631\u0647 (*) \u0628\u0631\u0627\u06cc \u0635\u062d\u0628\u062a \u0628\u0627 \u062a\u0645\u0627\u0645 \u0631\u0628\u0627\u062a\u200c\u0647\u0627\u06cc\u06cc \u06a9\u0647 \u062f\u0631 \u0648\u0628\u200c\u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u062a\u0648\u0642\u0641 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/li>\n<\/ul>\n
        \u062f\u0631 \u0627\u06cc\u0646\u062c\u0627 \u06cc\u06a9 \u0645\u062b\u0627\u0644 \u0627\u0633\u062a:<\/p>\n
        *:User agent\r\n\r\nDisallow: \/images<\/pre>\n
        <\/h2>\n
        \"\u0646\u062d\u0648\u0647
        \u067e\u06cc\u062f\u0627 \u06a9\u0631\u062f\u0646 \u0641\u0627\u06cc\u0644 Robots.txt<\/figcaption><\/figure>\n
        \u067e\u06cc\u062f\u0627 \u06a9\u0631\u062f\u0646 \u0641\u0627\u06cc\u0644 Robots.txt \u062e\u0648\u062f \u0631\u0627 \u0622\u0633\u0627\u0646 \u06a9\u0646\u06cc\u062f<\/span><\/h2>\n
        \u0647\u0646\u06af\u0627\u0645\u06cc \u06a9\u0647 \u0641\u0627\u06cc\u0644 robots.txt \u062e\u0648\u062f \u0631\u0627 \u062f\u0627\u0631\u06cc\u062f\u060c \u0648\u0642\u062a \u0622\u0646 \u0627\u0633\u062a \u06a9\u0647 \u0622\u0646 \u0631\u0627 \u0632\u0646\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n
        \u0627\u0632 \u0646\u0638\u0631 \u0641\u0646\u06cc \u0645\u06cc \u062a\u0648\u0627\u0646\u06cc\u062f \u0641\u0627\u06cc\u0644 robots.txt \u062e\u0648\u062f \u0631\u0627 \u062f\u0631 \u0647\u0631 \u062f\u0627\u06cc\u0631\u06a9\u062a\u0648\u0631\u06cc \u0627\u0635\u0644\u06cc \u0633\u0627\u06cc\u062a \u062e\u0648\u062f \u0642\u0631\u0627\u0631 \u062f\u0647\u06cc\u062f.<\/p>\n
        \u0627\u0645\u0627 \u0628\u0631\u0627\u06cc \u0627\u0641\u0632\u0627\u06cc\u0634 \u0634\u0627\u0646\u0633 \u06cc\u0627\u0641\u062a\u0646 \u0641\u0627\u06cc\u0644 robots.txt\u060c \u062a\u0648\u0635\u06cc\u0647 \u0645\u06cc \u06a9\u0646\u0645 \u0622\u0646 \u0631\u0627 \u062f\u0631 \u0627\u06cc\u0646 \u0622\u062f\u0631\u0633 \u0642\u0631\u0627\u0631 \u062f\u0647\u06cc\u062f:<\/p>\n
        https:\/\/example.com\/robots.txt<\/p>\n
        (\u062a\u0648\u062c\u0647 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u062f \u06a9\u0647 \u0641\u0627\u06cc\u0644 robots.txt \u0634\u0645\u0627 \u0628\u0647 \u062d\u0631\u0648\u0641 \u06a9\u0648\u0686\u06a9 \u0648 \u0628\u0632\u0631\u06af \u062d\u0633\u0627\u0633 \u0627\u0633\u062a. \u0628\u0646\u0627\u0628\u0631\u0627\u06cc\u0646 \u0645\u0637\u0645\u0626\u0646 \u0634\u0648\u06cc\u062f \u06a9\u0647 \u0627\u0632 \u06cc\u06a9 “r” \u06a9\u0648\u0686\u06a9 \u062f\u0631 \u0646\u0627\u0645 \u0641\u0627\u06cc\u0644 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f)<\/p>\n
         <\/p>\n
        \"\u062e\u0637\u0627\u0647\u0627\u06cc
        \u062e\u0637\u0627\u0647\u0627\u06cc \u0641\u0627\u06cc\u0644 robots.txt<\/figcaption><\/figure>\n
        \u062e\u0637\u0627\u0647\u0627\u06cc \u0641\u0627\u06cc\u0644 robots.txt \u0648 \u0627\u0634\u062a\u0628\u0627\u0647\u0627\u062a \u0622\u0646 \u0631\u0627 \u0628\u0631\u0631\u0633\u06cc \u06a9\u0646\u06cc\u062f<\/span><\/h2>\n
        \u0627\u06cc\u0646 \u0648\u0627\u0642\u0639\u0627\u064b \u0645\u0647\u0645 \u0627\u0633\u062a \u06a9\u0647 \u0641\u0627\u06cc\u0644 robots.txt \u0634\u0645\u0627 \u0628\u0647 \u062f\u0631\u0633\u062a\u06cc \u062a\u0646\u0638\u06cc\u0645 \u0634\u0648\u062f. \u06cc\u06a9 \u0627\u0634\u062a\u0628\u0627\u0647 \u0648 \u06a9\u0644 \u0633\u0627\u06cc\u062a \u0634\u0645\u0627 \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u0627\u0632 \u0641\u0647\u0631\u0633\u062a \u062e\u0627\u0631\u062c \u0634\u0648\u062f.<\/p>\n
        \u062e\u0648\u0634\u0628\u062e\u062a\u0627\u0646\u0647\u060c \u0646\u06cc\u0627\u0632\u06cc \u0646\u06cc\u0633\u062a \u0627\u0645\u06cc\u062f\u0648\u0627\u0631 \u0628\u0627\u0634\u06cc\u062f \u06a9\u0647 \u06a9\u062f \u0634\u0645\u0627 \u062f\u0631\u0633\u062a \u062a\u0646\u0638\u06cc\u0645 \u0634\u062f\u0647 \u0628\u0627\u0634\u062f. \u06af\u0648\u06af\u0644 \u06cc\u06a9 \u0627\u0628\u0632\u0627\u0631 \u062a\u0633\u062a \u0631\u0628\u0627\u062a \u0642\u0648\u06cc \u062f\u0627\u0631\u062f \u06a9\u0647 \u0645\u06cc \u062a\u0648\u0627\u0646\u06cc\u062f \u0627\u0632 \u0622\u0646 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f:\u00a0Robot Taster \u06af\u0648\u06af\u0644 \u0647\u0631 \u062e\u0637\u0627 \u0648 \u0647\u0634\u062f\u0627\u0631\u06cc \u0631\u0627 \u06a9\u0647 \u067e\u06cc\u062f\u0627 \u0645\u06cc \u06a9\u0646\u062f \u0631\u0627 \u0628\u0647 \u0634\u0645\u0627 \u0646\u0634\u0627\u0646 \u0645\u06cc \u062f\u0647\u062f<\/p>\n
         <\/p>\n
        \"\u062a\u0641\u0627\u0648\u062a
        \u0631\u0628\u0627\u062a \u062a\u06a9\u0633\u062a Vs \u0646\u0648\u0627\u06cc\u0646\u062f\u06a9\u0633\u061f<\/figcaption><\/figure>\n
        Robots.txt \u06cc\u0627 \u0645\u062a\u0627 \u062a\u06af noindex\u061f<\/span><\/h2>\n
        \u0686\u0631\u0627 \u0648\u0642\u062a\u06cc \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u062f \u0635\u0641\u062d\u0627\u062a\u06cc \u0631\u0627 \u062f\u0631 \u0633\u0637\u062d \u0635\u0641\u062d\u0647 \u0628\u0627 \u0645\u062a\u0627 \u062a\u06af \u00abnoindex\u00bb \u0645\u0633\u062f\u0648\u062f \u06a9\u0646\u06cc\u062f\u060c \u0627\u0632 robots.txt \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u062f\u061f<\/p>\n
          \n
        • \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062a\u06af noindex \u0628\u0631\u0627\u06cc \u067e\u06cc\u0627\u062f\u0647 \u0633\u0627\u0632\u06cc \u0631\u0648\u06cc \u0645\u0646\u0627\u0628\u0639 \u0686\u0646\u062f\u0631\u0633\u0627\u0646\u0647 \u0627\u06cc \u0645\u0627\u0646\u0646\u062f \u0641\u06cc\u0644\u0645 \u0647\u0627 \u0648 \u0641\u0627\u06cc\u0644 \u0647\u0627\u06cc PDF \u062f\u0634\u0648\u0627\u0631 \u062e\u0648\u0627\u0647\u062f \u0628\u0648\u062f.<\/li>\n
        • \u0647\u0645\u0686\u0646\u06cc\u0646\u060c \u0627\u06af\u0631 \u062a\u0639\u062f\u0627\u062f \u0632\u06cc\u0627\u062f\u06cc \u0635\u0641\u062d\u0647 \u062f\u0627\u0631\u06cc\u062f \u06a9\u0647 \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u06cc\u062f \u0622\u0646\u200c\u0647\u0627 \u0631\u0627 \u0645\u0633\u062f\u0648\u062f \u06a9\u0646\u06cc\u062f\u060c \u06af\u0627\u0647\u06cc \u0627\u0648\u0642\u0627\u062a \u0628\u0647\u200c\u062c\u0627\u06cc \u0627\u0641\u0632\u0648\u062f\u0646 \u062f\u0633\u062a\u06cc \u06cc\u06a9 \u0628\u0631\u0686\u0633\u0628 noindex \u0628\u0647 \u0647\u0631 \u0635\u0641\u062d\u0647\u060c \u0645\u0633\u062f\u0648\u062f \u06a9\u0631\u062f\u0646 \u06a9\u0644 \u0628\u062e\u0634 \u0622\u0646 \u0633\u0627\u06cc\u062a \u0628\u0627 robots.txt \u0622\u0633\u0627\u0646\u200c\u062a\u0631 \u0645\u06cc \u0628\u0627\u0634\u062f.<\/li>\n
        • \u0645\u0648\u0627\u0631\u062f \u062e\u0627\u0635\u06cc \u0646\u06cc\u0632 \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u062f \u06a9\u0647 \u0646\u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u06cc\u062f \u0647\u06cc\u0686 \u0628\u0648\u062f\u062c\u0647 \u062e\u0632\u0634\u06cc \u0631\u0627 \u0628\u0631\u0627\u06cc \u0628\u0627\u0632\u062f\u06cc\u062f \u06af\u0648\u06af\u0644 \u062f\u0631 \u0635\u0641\u062d\u0627\u062a\u06cc \u0628\u0627 \u062a\u06af noindex \u0647\u062f\u0631 \u062f\u0647\u06cc\u062f.<\/li>\n<\/ul>\n
          \u0628\u0646\u0627\u0628\u0631\u0627\u06cc\u0646 \u0628\u063a\u06cc\u0631 \u0627\u0632 \u0627\u06cc\u0646 \u0633\u0647 \u0645\u0648\u0631\u062f\u060c \u062a\u0648\u0635\u06cc\u0647 \u0645\u06cc \u06a9\u0646\u06cc\u0645 \u0628\u0647 \u062c\u0627\u06cc robots.txt \u0627\u0632 \u062f\u0633\u062a\u0648\u0631\u0627\u062a \u0645\u062a\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f. \u067e\u06cc\u0627\u062f\u0647 \u0633\u0627\u0632\u06cc \u0622\u0646\u0647\u0627 \u0622\u0633\u0627\u0646 \u062a\u0631 \u0627\u0633\u062a. \u0648 \u0627\u062d\u062a\u0645\u0627\u0644 \u0648\u0642\u0648\u0639 \u0641\u0627\u062c\u0639\u0647 \u06a9\u0645\u062a\u0631\u06cc \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u062f (\u0645\u0627\u0646\u0646\u062f \u0645\u0633\u062f\u0648\u062f \u06a9\u0631\u062f\u0646 \u06a9\u0644 \u0633\u0627\u06cc\u062a \u0634\u0645\u0627).<\/p>\n
           <\/p>\n
          \"\u0641\u0627\u06cc\u0644
          \u0633\u0626\u0648 \u0648 robot.txt<\/figcaption><\/figure>\n
          \u06a9\u0644\u0627\u0645 \u0622\u062e\u0631<\/span><\/h2>\n
          Robot.txt \u06cc\u06a9 \u0641\u0627\u06cc\u0644 \u0645\u062a\u0646\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0628\u0631\u0627\u06cc \u0628\u0647\u0628\u0648\u062f \u0633\u0626\u0648 \u0633\u0627\u06cc\u062a \u0627\u0632 \u0637\u0631\u06cc\u0642 \u0645\u062f\u06cc\u0631\u06cc\u062a \u0627\u06cc\u0646\u062f\u06a9\u0633 \u06af\u0648\u06af\u0644\u060c \u0645\u0648\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0642\u0631\u0627\u0631 \u0645\u06cc \u06af\u06cc\u0631\u062f. \u062f\u0631 \u0627\u06cc\u0646 \u0645\u0642\u0627\u0644\u0647 \u0633\u0639\u06cc \u06a9\u0631\u062f\u06cc\u0645 \u0647\u0631 \u0622\u0646\u0686\u0647 \u06a9\u0647 \u0644\u0627\u0632\u0645 \u0627\u0633\u062a \u062f\u0631\u0628\u0627\u0631\u0647 \u0641\u0627\u06cc\u0644 Robot.txt \u0628\u062f\u0627\u0646\u06cc\u062f \u0631\u0627 \u0628\u0647 \u0634\u0645\u0627 \u0628\u06af\u0648\u06cc\u06cc\u0645\u061b \u0628\u0631\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062f\u0633\u062a\u0648\u0631\u0627\u062a \u062f\u0631 Robot.txt \u0628\u0627\u06cc\u062f \u062f\u0642\u062a \u0632\u06cc\u0627\u062f\u06cc \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u06cc\u062f \u0632\u06cc\u0631\u0627 \u0628\u0631\u0648\u0632 \u0647\u0631 \u06af\u0648\u0646\u0647 \u0645\u0634\u06a9\u0644\u060c \u0645\u06cc \u062a\u0648\u0627\u0646\u062f \u0628\u0627\u0639\u062b \u0627\u0632 \u0628\u06cc\u0646 \u0631\u0641\u062a\u0646 \u0632\u062d\u0645\u0627\u062a \u0634\u0645\u0627 \u0628\u0631 \u0631\u0648\u06cc \u0648\u0628 \u0633\u0627\u06cc\u062a \u0634\u0648\u062f.<\/p>\n
          \u062a\u0627 \u062d\u062f \u0627\u0645\u06a9\u0627\u0646\u060c \u0633\u0639\u06cc \u06a9\u0646\u06cc\u062f \u0627\u0632 \u0631\u0648\u0634 \u0647\u0627\u06cc \u06a9\u0644\u0627\u0647 \u0633\u06cc\u0627\u0647 \u0633\u0626\u0648 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0646\u06a9\u0646\u06cc\u062f\u061b \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0645\u0627\u0646\u0646\u062f \u06cc\u06a9 \u0634\u0645\u0634\u06cc\u0631 \u062f\u0648 \u0644\u0628\u0647 \u0627\u0633\u062a \u0648 \u0647\u0631 \u0644\u062d\u0638\u0647 \u0627\u0645\u06a9\u0627\u0646 \u062f\u0627\u0631\u062f \u0633\u0627\u06cc\u062a\u062a\u0627\u0646 \u062a\u0648\u0633\u0637 \u06af\u0648\u06af\u0644 \u062c\u0631\u06cc\u0645\u0647 \u0645\u0648\u0642\u062a\u06cc \u06cc\u0627 \u062f\u0627\u0626\u0645 \u0634\u0648\u062f. \u062f\u0631 \u0635\u0648\u0631\u062a\u06cc \u06a9\u0647 \u062a\u0648\u0633\u0637 \u06af\u0648\u06af\u0644 \u0628\u0647 \u0635\u0648\u0631\u062a \u062f\u0627\u0626\u0645 \u062c\u0631\u06cc\u0645\u0647 \u0634\u062f\u06cc\u062f\u060c \u062a\u0642\u0631\u06cc\u0628\u0627 \u0647\u06cc\u0686 \u0631\u0627\u0647 \u0628\u0631\u06af\u0634\u062a\u06cc \u0628\u0631\u0627\u06cc \u0634\u0645\u0627 \u0648\u062c\u0648\u062f \u0646\u062f\u0627\u0631\u062f \u0648 \u0628\u0627\u06cc\u062f \u0628\u0647 \u0641\u06a9\u0631 \u0631\u0627\u0647 \u0627\u0646\u062f\u0627\u0632\u06cc \u06cc\u06a9 \u0633\u0627\u06cc\u062a \u062f\u06cc\u06af\u0631 \u0628\u0627\u0634\u06cc\u062f!<\/p>\n
          \u0633\u0648\u0627\u0644\u0627\u062a \u0645\u062a\u062f\u0627\u0648\u0644<\/span><\/h2>\n
          robot txt \u062f\u0631 \u0633\u0626\u0648 \u0686\u06cc\u0633\u062a\u061f<\/span><\/h3>\n
          robot.txt \u06cc\u06a9 \u0641\u0627\u06cc\u0644 \u0645\u062a\u0646\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0628\u0631\u0627\u06cc \u0633\u0626\u0648 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u062d\u0627\u0648\u06cc \u062f\u0633\u062a\u0648\u0631\u0627\u062a\u06cc \u0628\u0631\u0627\u06cc \u0631\u0648\u0628\u0627\u062a\u200c\u0647\u0627\u06cc \u0641\u0647\u0631\u0633\u062a\u200c\u06a9\u0646\u0646\u062f\u0647 \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u062c\u0633\u062a\u062c\u0648 \u0627\u0633\u062a \u06a9\u0647 \u0635\u0641\u062d\u0627\u062a\u06cc \u0631\u0627 \u0645\u0634\u062e\u0635 \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u06cc\u0627 \u0646\u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0634\u0648\u0646\u062f.<\/p>\n
          robots.txt \u0686\u0647 \u0646\u0627\u0645 \u062f\u0627\u0631\u062f\u061f<\/span><\/h3>\n
          \u06cc\u06a9 \u0641\u0627\u06cc\u0644 robots. txt \u0645\u062c\u0645\u0648\u0639\u0647 \u0627\u06cc \u0627\u0632 \u062f\u0633\u062a\u0648\u0631\u0627\u0644\u0639\u0645\u0644 \u0647\u0627 \u0628\u0631\u0627\u06cc \u0631\u0628\u0627\u062a \u0647\u0627 \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0641\u0627\u06cc\u0644 \u062f\u0631 source files \u0627\u06a9\u062b\u0631 \u0648\u0628 \u0633\u0627\u06cc\u062a \u0647\u0627 \u0642\u0631\u0627\u0631 \u062f\u0627\u0631\u062f. robots. txt \u0628\u06cc\u0634\u062a\u0631 \u0628\u0631\u0627\u06cc \u0645\u062f\u06cc\u0631\u06cc\u062a \u0641\u0639\u0627\u0644\u06cc\u062a\u200c\u0647\u0627\u06cc \u0631\u0628\u0627\u062a\u200c\u0647\u0627\u06cc \u062e\u0648\u0628 \u0645\u0627\u0646\u0646\u062f \u062e\u0632\u0646\u062f\u0647\u200c\u0647\u0627\u06cc \u0648\u0628 \u062f\u0631 \u0646\u0638\u0631 \u06af\u0631\u0641\u062a\u0647 \u0634\u062f\u0647\u200c\u0627\u0646\u062f\u060c \u0632\u06cc\u0631\u0627 \u0631\u0628\u0627\u062a\u200c\u0647\u0627\u06cc \u0628\u062f \u0627\u062d\u062a\u0645\u0627\u0644\u0627\u064b \u062f\u0633\u062a\u0648\u0631\u0627\u0644\u0639\u0645\u0644\u200c\u0647\u0627 \u0631\u0627 \u062f\u0646\u0628\u0627\u0644 \u0646\u0645\u06cc\u200c\u06a9\u0646\u0646\u062f.<\/p>\n
          \u06a9\u062f\u0627\u0645 \u06cc\u06a9 \u0628\u0647\u062a\u0631 \u0627\u0633\u062a\u061f Robots.txt \u06cc\u0627 noindex\u061f<\/span><\/h3>\n
          \u0628\u0631\u0627\u06cc \u0633\u0647 \u062d\u0627\u0644\u062a \u0632\u06cc\u0631 \u0627\u0632 robot.txt \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f. \u062f\u0631 \u063a\u06cc\u0631 \u0627\u06cc\u0646\u0635\u0648\u0631\u062a \u0627\u062d\u062a\u0645\u0627\u0644\u0627 \u0645\u062a\u0627 \u062a\u06af \u0646\u0648\u0627\u06cc\u0646\u062f\u06a9\u0633 \u06af\u0632\u06cc\u0646\u0647 \u0628\u0647\u062a\u0631\u06cc \u0628\u0631\u0627\u06cc \u0634\u0645\u0627 \u0628\u0627\u0634\u062f.<\/p>\n
            \n
          • \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 robot.tx \u0628\u0631\u0627\u06cc \u067e\u06cc\u0627\u062f\u0647 \u0633\u0627\u0632\u06cc \u0631\u0648\u06cc \u0645\u0646\u0627\u0628\u0639 \u0686\u0646\u062f\u0631\u0633\u0627\u0646\u0647 \u0627\u06cc \u0645\u0627\u0646\u0646\u062f \u0641\u06cc\u0644\u0645 \u0647\u0627 \u0648 \u0641\u0627\u06cc\u0644 \u0647\u0627\u06cc PDF<\/li>\n
          • \u0646\u06cc\u0627\u0632 \u0628\u0647 \u0645\u062d\u062f\u0648\u062f \u06a9\u0631\u062f\u0646 \u0628\u0648\u062f\u062c\u0647 \u06a9\u0631\u0627\u0648\u0644 \u062a\u0639\u062f\u0627\u062f \u0632\u06cc\u0627\u062f\u06cc \u0627\u0632 \u0628\u0631\u06af\u0647 \u0647\u0627<\/li>\n
          • \u0645\u0648\u0627\u0631\u062f \u062e\u0627\u0635 \u06a9\u0647 \u062f\u0631 \u06a9\u0644 \u0646\u06cc\u0627\u0632 \u0628\u0647 \u062e\u0632\u0634 \u0646\u062f\u0627\u0631\u0646\u062f<\/li>\n<\/ul>\n
            \u0686\u06af\u0648\u0646\u0647 \u062e\u0632\u0634 \u0631\u0628\u0627\u062a \u062e\u0627\u0635\u06cc \u0631\u0627 \u0645\u062a\u0648\u0642\u0641 \u06a9\u0646\u0645\u061f<\/span><\/h3>\n
            \u0628\u0631\u0627\u06cc \u062c\u0644\u0648\u06af\u06cc\u0631\u06cc \u0627\u0632 \u0627\u06cc\u0646\u062f\u06a9\u0633 \u0634\u062f\u0646 \u0645\u0642\u0627\u0644\u0627\u062a \u062e\u0627\u0635 \u062f\u0631 \u0633\u0627\u06cc\u062a \u062e\u0648\u062f \u062a\u0648\u0633\u0637 \u0647\u0645\u0647 \u0631\u0628\u0627\u062a \u0647\u0627\u060c \u0627\u0632 \u0645\u062a\u0627 \u062a\u06af \u0632\u06cc\u0631 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f: <meta name=”robots” content=”noindex, nofollow”>. \u0647\u0645\u0686\u0646\u06cc\u0646 \u0628\u0631\u0627\u06cc \u062c\u0644\u0648\u06af\u06cc\u0631\u06cc \u0627\u0632 \u062e\u0632\u0634 \u0631\u0628\u0627\u062a \u0647\u0627 \u062f\u0631 \u062a\u0635\u0627\u0648\u06cc\u0631 \u06cc\u06a9 \u0645\u0642\u0627\u0644\u0647 \u062e\u0627\u0635\u060c \u0627\u0632 \u0645\u062a\u0627 \u062a\u06af \u0632\u06cc\u0631 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f: <meta name=”robots” content=”noimageindex”>.<\/p>\n