robots.js - رایگان دانلود نرم افزار برای Web به ماژول های تر

robots.js 0.9.4

قابل استفاده به جلو و از داده ها از فایل robots.txt و خوراک آن به یک برنامه دیگر و یا آمار ابزار.آیا URL هدف، دلیلی برای دسترسی و وضعیت داده استخراج به چه چیزی جدید در این نسخه است: دستگیره خطای HTTP (بازدید کنندگان) درخواست. به چه جدید در نسخه 0.7.2 است: ثابت package.json اطلاعات متا برای اشکالات. در مورد...