reppy 0.1.0

در reppy آغاز شده از عدم حمایت memoization در دیگر تجزیه کننده های robots.txt را مواجه می شوند، و عدم حمایت از خزیدن تاخیر و نقشه سایت در ساخته شده در robotparser.مطابقاین بسته پشتیبانی از سال 1996 RFC، و همچنین ویژگی های اضافی معمولا-اجرا، مانند تطبیق کلمات، خزیدن تاخیر و نقشه. روش های مختلف به تطبیق اجازه ندهید وجود...
نرم افزار اخیرا مشاهده