robots.txt คืออะไร ?? สำคัญขนาดไหน ?? robots.txt คือไฟล์ข้อความธรรมดา โดยสามารถสร้างจากโปรแกรม notepad ก็ได้ หรือโปรแกรม text editor อื่นๆ ทั่วไป แต่สำคัญคือ ต้องตั้งชื่อไฟล์ว่า robots.txt เท่านั้น นำไฟล์นี้ไปวางไว้ที่ root ของเว็บไซต์ เช่น www.mywebsite.com/robots.txt เป็นต้น