افزونه WP Content Crawler | ربات دریافت و کپی مطالب

ربات خزنده محتوا | کرالر سایت | دریافت محتوا از هر سایت | افزونه استخراج محتوا 

معرفی افزونه WP Content Crawler

افزونه WP Content Crawler یک افزونه پلاگین هوش مصنوعی وردپرس است که به کاربران اجازه می دهد تا به طور خودکار محتوا را تقریباً از هر وب سایتی در اینترنت جمع آوری کنند. این افزونه می تواند برای اهداف مختلفی مانند ایجاد یک سایت شخصی که اخبار، پست ها یا محصولات سایت های مورد علاقه را جمع آوری می کند یا استفاده از آن با ووکامرس برای جمع آوری محصولات از سایت های خرید استفاده شود. علاوه بر آن به شما درجمع‌آوری محصولات از برنامه‌های وابسته برای کسب درآمد یا ایجاد یک محیط آزمایشی برای افزونه یا قالب کمک می کند. 

با استفاده از این ربات قادر خواهید بود هر نوع محتوا اعم از برگه ها، نوشته ها، تصاویر، گالری ها، محصولات، دسته ها، برچسب ها و … را به راحتی و بدون نیاز به خوراک RSS یا وب سرویس API به صورت ۲۴ ساعته و ۷ روز هفته به وبسایت وردپرسی خود منتقل کنید.

یک پلاگین حرفه ای وردپرس است که محتویات یک سایت را از سایتی دیگر به یکباره و یا در فواصل زمانی تنظیم شده به سایت وردپرسی شما انتقال می دهد. این ربات نویسنده ی حرفه ای کارش را بخوبی انجام میدهد و شما را از داشتن نویسنده بی نیاز می کند. کار با این پلاگین بسیار ساده است و نیاز به هیچ گونه دانش برنامه نویسی ندارد و برای بهترین تجربه کاربری طراحی شده است.

تقریباً از هر سایتی بصورت خودکار برای وبلاگ خود، محتوا دریافت کنید.

افزونه خزنده محتوا چه کاربردی برای شما دارد یا برای چه چیزی می توان استفاده کرد؟

1. یک سایت شخصی ایجاد کنید که اخبار، پست ها و غیره را از سایت های مورد علاقه شما جمع آوری کند تا آنها را در یک مکان مشاهده کنید.
2. کسب درامد کنید. مثلا سایت خبری بزنید و در یکتانت کسب درامد به ازای هر کلیک دریافت کنید.
3. برای جمع آوری محصولات از سایت های خرید، از آن در ووکامرس استفاده کنید.
4. برای کسب درآمد، محصولات خود را از برنامه های وابسته گردآوری کنید.
5. برای ایجاد یک محیط آزمایشی برای پلاگین / قالب خود، پست ها را جمع آوری کنید.
6. برای ایجاد مجموعه ای از آنها، پلاگین ها، قالب ها، برنامه ها، تصاویر را از سایت های دیگر جمع آوری کنید.
7. رقبا را ردیابی کنید.
8. شما می توانید هر چیزی را تصور کنید. اینترنت پر از مطالب است.
9. دریافت نتایج زنده مسابقات ورزشی مختلف
10. دریافت وضعیت کنونی و پیش بینی آب و هوای مناطق
11. دریافت آخرین نرخ ارز و قیمت فروشگاهای اینترنتی
12. دریافت تازه ترین اخبار خبرگزاری ها
13. دریافت و دانلود موزیک های موجود در مطالب
14. دریافت اطلاعات و منوهای رستوران ها
15. دریافت اطلاعات فرودگاه ها و مناطق پرواز
16. و هزاران سناریوی دیگر…

ویژگی های افزونه خزنده محتوا

– هر جزئیات پست را ذخیره کنید

شما می توانید هر جزئیات پست را مانند: عنوان، گزیده، محتوا، برچسب ها، دسته بندی ها، اسلاگ، تاریخ، متا سفارشی، طبقه بندی ، کلمات کلیدی متا، توضیحات متا، تصویر برجسته، تصاویر پست، وضعیت و… را ذخیره نمائید.

– بازرس بصری

برای پیداکردن انتخاب کننده CSS، تنها کافیست روی یک عنصر کلیک کنید. همچنین می توانید انتخاب کننده های جایگزین CSS را که ممکن است به آنها علاقه مند باشید دریافت نمائید. برای انجام اینکار نیازی به خروج از پنل مدیریت نخواهید داشت.

– پست های خزنده

پس از پیکربندی تنظیمات، افزونه آدرس های پست ها را پیدا و آنها را به طور خودکار در پس زمینه ایندکس می کند.

– ارسال مجدد پست

شما می توانید چندین بار یک پست را به روز کنید، فاصله به روزرسانی را تنظیم و پست های قدیمی را نادیده بگیرید.

– حذف پست ها

این افزونه به شما این امکان را می دهد تا پست های قدیمی را به صورت خودکار حذف کنید.

– مدیریت برنامه ریزی

شما می توانید چندین بار آدرس های خود را تنظیم و رویدادهای خزنده را هر بار برای یک سایت اجرا کنید. به عنوان مثال می توانید هر دقیقه 3 پست را ذخیره کنید.

– دسته بندی ها را ذخیره کنید

این افزونه می تواند دسته های هدف را برای شما ایجاد کند. فقط باید انتخاب کننده های CSS را که نام گروه را پیدا می کنند تعریف کنید. آنها حتی می توانند به عنوان زیر شاخه ها ایجاد شوند.

– پیدا کردن و جایگزینی

هر چیزی را در صفحه هدف پیدا کرده و جایگزین کنید. همچنین می توانید از عبارات منظم استفاده نمائید. علاوه بر آن می توانید از گزینه های اختصاصی برای یافتن و جایگزینی در عنوان پست، محتوا، برچسب ها، ارسال متا و دیگران استفاده کنید.

– تغییر HTML

می توانید عناصر کلون را حذف و کلون کنید، ویژگی های عنصر را حذف و تبادل کنید، عناصر خالی را حذف کنید، لینک ها را با دامنه حذف کنید  و…

– دستکاری های متن پیشرفته

می توانید متون بزرگ، کوچک و… را ایجاد کنید. همچنین می توانید طول را با توجه به تعداد کاراکتر یا تعداد کلمات محدود نمائید.

– تست های سریع

از دکمه ذره بین برای تست های سریع تنظیمات استفاده کنید. می‌توانید گزینه های مختلفی انتخاب‌ گرهای CSS، فرمول‌ها، دستورات فیلتر و موارد دیگر را آزمایش کنید. همچنین می‌توانید ذخیره‌ سازی را برای تست های سریع فعال تا آنها را سریع ‌تر نمائید.

– هشدارها

زمانی که یک پیکربندی اشتباه انجام می شود، یک هشدار دریافت می کنید که به شما اطلاع می دهد که چرا اشتباه شده است. سپس می توانید خیلی ساده آن را در همان زمان رفع نمائید.

– تنظیمات را به طور کلی تست کنید

صفحه تست کننده تنظیمات سایت به شما کمک می‌ کند تا بررسی کنید که آیا پیکربندی‌های شما مطابق انتظار کار می‌کنند یا خیر. شما فقط کافیست آدرس صفحه یا پست را وارد کرده و دکمه تست را بزنید. بعد از آن این افزونه در صفحه میخزد و تمام جزئیاتی را که در صفحه پیدا می کند را به همراه برخی اطلاعات عملکرد و در صورت وجود هشدارها به شما نشان می دهد.

– ترجمه کردن

با استفاده از یکی از خدمات پولی می توانید به طور خودکار پست ها را از یک زبان به زبان دیگر ترجمه کنید. همچنین می توانید انتخاب کنید که کدام بخش از پست ها باید ترجمه شود. علاوه بر این می توانید ترجمه را چندین بار انجام و ویژگی های عنصر را ترجمه نمائید.

– گزینه های اختصاصی

شما می توانید محصولات ساده و خارجی ایجاد کنید. همچنین می توانید محصول را به عنوان مجازی و یا قابل دانلود علامت گذاری نمائید. علاوه بر آن می توانید فایل قابل دانلود را از صفحه هدف بازیابی کنید.

– تصاویر را به عنوان گالری محصول ذخیره کنید

شما می توانید تصاویر محصول را از صفحه مورد نظر بازیابی کرده و آنها را به عنوان گالری محصول ووکامرس ایجاد شده در سایت خود، تنها با علامت زدن یک چک باکس اختصاص دهید.

– نتایج آزمون اختصاصی

هنگامی که یک صفحه محصول را از طریق سایت تستر آزمایش می کنید، نتایج آزمایش شامل یک بخش اختصاصی ووکامرس است که در آن می توانید تمام جزئیات محصول را که از صفحه هدف بازیابی شده است، مشاهده کنید. بنابراین می توانید اطمینان حاصل کنید که محصولات همانطور که انتظار می رود ایجاد می شوند.

– هر نوع پستی را انتخاب کنید

اگر دوست ندارید پست های وردپرس معمولی داشته باشید، کافیست نوع پستی را که می خواهید ایجاد کنید را انتخاب نمائید. تمام پست های ثبت شده در سایت وردپرس شما در دسترس هستند و می توانید نوع پست متفاوتی را برای هر سایت انتخاب یا از تنظیمات عمومی نوع پست را برای همه سایت ها تنظیم کنید.

– ذخیره فیلدهای سفارشی

انواع پست سفارشی معمولاً اطلاعات اضافی را در فیلدهای سفارشی خود نگه می دارند. می‌توانید مقادیر فیلدهای سفارشی را در قالب متن ساده ذخیره تا نوع پست سفارشی بتواند از آنها استفاده کند.

– ذخیره مقادیر طبقه بندی

انواع پست های سفارشی ممکن است اطلاعات اضافی را در طبقه بندی های خاص مانند برچسب ها، نام شرکت، شماره و … نگه دارند. شما می توانید مقادیر طبقه بندی ها را در قالب متن ساده ذخیره تا نوع پست سفارشی بتواند از آن مقادیر در مکان های صحیح استفاده کند.

– استفاده از دسته بندی های نوع پست سفارشی

افزونه از انواع پست سفارشی پشتیبانی می کند. شما می‌توانید با تعریف طبقه‌بندی در تنظیمات کلی، پست‌ها را در آن دسته‌ها ذخیره کنید. سپس می‌توانید آن دسته‌ها را در تنظیمات انتخاب کنید.

– پیگیری سایت های فعال

این امکان فراهم است تا سایت‌های فعال را مشاهده کنید، آخرین زمان خزیدن آن‌ها، تعداد پست‌های خزیدن، تعداد آدرس در صف و موارد دیگر را پیگیری نمائید.

– پیگیری رویدادها

شما می توانید رویدادهای مختلفی را همچون: آدرس ها، خزیدن ها و… را پیگیری کنید. همچنین می توانید تعداد کل پست های موجود در صف، خزیدن و حذف شده ها را مشاهده کنید. هنگامی که یک پست در حال خزیدن می باشد در این بخش نیز نمایش داده می شود.

– مشاهده آخرین پست های خزیده شده، خزیدن مجدد و حذف شده

این امکان فراهم است تا آخرین پست هایی را که خزیده شده اند، دوباره خزیده اند و حذف شده اند را مشاهده کنید. همچنین می‌توانید صفحه داشبورد را در بازه‌های زمانی خاص به‌روزرسانی نمائید تا رویدادها را در زمان وقوع دنبال کنید.

– همراه با تنظیمات مختلف

با کلیک بر روی دکمه “تنظیمات” که در تصویر با حاشیه آبی نشان داده شده است، کادر گزینه ها برای شما نمایش داده می شود. این دکمه برای بسیاری از تنظیماتی که انتخابگر CSS را تعریف می کند، در دسترس است.

– تبدیل خودکار JSON به HTML

می توانید تمام داده های JSON موجود در صفحه را به طور خودکار به عناصر HTML تبدیل و از آنها در گزینه های انتخابگر CSS استفاده کنید. این به شما امکان می دهد تا به راحتی از داده های JSON استفاده نمائید.

– JSON را به HTML تبدیل کنید

می توانید به طور انتخابی قطعات را از داده های JSON بازیابی و آنها را در قالب HTML سفارشی خود قرار دهید. به این ترتیب، می توانید کل سایتی که به عنوان JSON تعریف شده است را دوباره ایجاد کنید. این امکان بازیابی داده ها را از صفحاتی که کل صفحه خود را به عنوان JSON تعریف می کنند.

– درخواست های سفارشی ایجاد کنید

شما می توانید درخواست های سفارشی را در حین خزیدن در صفحه هدف ارسال کنید. به عنوان مثال، می توانید یک درخواست به یک API بدهید، پاسخ JSON آن را به HTML تبدیل کنید و از آن در محتوای پست استفاده کنید.

– پروکسی ها را تعریف کنید

شما می توانید یک یا چند سرور پروکسی تعریف کنید. در حین خزیدن، افزونه آنها را یکی یکی امتحان می کند تا به وب سایت مورد نظر برسد. این افزونه هر بار که درخواستی به سایت مورد نظر می دهد از این پروکسی ها استفاده می کند.

– پراکسی ها را تصادفی کنید

شما همچنین می توانید هر بار که افزونه درخواستی را به سایت مورد نظر ارسال می کند، به طور تصادفی از یک پروکسی از لیست پراکسی ها استفاده کنید.

– خزیدن چندین پست

می توانید آدرس های پست را وارد و سپس روی دکمه خزیدن کلیک کنید. این ابزار تمام پست‌هایی را که آدرس آنها وارد شده است را می‌خزد.

– تصاویر ویژه سفارشی را تعریف کنید

شما می توانید آدرس تصویر ویژه را برای هر آدرس پست تعریف کنید. افزونه پست را خزیده و تصویر مشخص شده را به عنوان تصویر ویژه پست اختصاص می دهد.

– بازیابی آدرس های پست از صفحات دسته بندی

هنگامی که قصد ندارید آدرس های پست را به صورت دستی وارد کنید، می توانید آدرس صفحات دسته بندی را وارد کنید. این افزونه آدرس های پست را از صفحات دسته بندی استخراج و سپس در هر آدرس پست می خزد.

– خزیدن به صورت موازی

ابزار خزیدن دستی قادر به خزیدن چندین پست به صورت موازی است. فقط کافیست مشخص کنید که چند پست می خواهید همزمان خزیده شوند.

– آدرس های پست را به صف اضافه کنید

اگر در حال حاضر تمایلی به خزیدن ندارید، می‌توانید آدرس های پست را به صورت دستی به صف اضافه کنید. سپس، افزونه با استفاده از گزینه‌های زمان‌بندی شما در آنها را می‌خزد.

– اعلان های سفارشی

با استفاده از فیلترها، می توانید شرایط سفارشی خود را تعریف و در صورت برآورده شدن آن شرایط، یک ایمیل سفارشی برای خود ارسال کنید. می توانید آدرس پست، نام، شناسه و آدرس ویرایش سایت و زمان فعلی را در ایمیل خود قرار دهید. همچنین می توانید برای استفاده از قالب پیش فرض ارائه شده توسط افزونه، قالب ایمیل را خالی بگذارید.

سایر ویژگی های افزونه WP Content Crawler

• کوکی: کوکی ها را به هر درخواست اختصاص دهید تا به عنوان کاربر وارد شده بخزد.
• سربرگ ها: هدر درخواست را به هر درخواستی که می خواهید اضافه کنید.
• رفع سریع: برخی از عملیات استاندارد را با علامت زدن چک باکس ها انجام دهید.
• جلوگیری از پست های تکراری: پست های تکراری را از طریق آدرس، عنوان، محتوا بررسی کنید.
• محتوا را سفارشی کنید: لینک به منبع یا هر چیزی را به محتوای پست اضافه کنید.
• تعریف کدهای کوتاه سفارشی: یک عنصر را به یک کد کوتاه اختصاص و از آن در قالب ها استفاده کنید.
• آدرس های دسته را اضافه کنید: تنظیماتآدرسهای دسته را به طور خودکار پر کنید.
• حفاظت از رمز عبور: رمز عبور برای پست های خزیده شده تعریف کنید.
• تنظیمات کلی سفارشی:تنظیمات کلی هر سایت را تغییر دهید.
• وضعیت پست را تنظیم کنید: پست ها را به عنوان پیش نویس ذخیره و قبل از انتشار بررسی کنید.
• تنظیم نویسنده پست: پست های خزیده شده را به یک کاربر سفارشی اختصاص دهید.
• تمام تصاویر را ذخیره کنید: با علامت زدن یک چک باکس، همه تصاویر را در محتوای پست ذخیره کنید.
• زمان بندی پست ها: تاریخ انتشار را به تاریخ آینده تغییر دهید.
• ذخیره سازی سریع: تغییرات را در چند میلی ثانیه ذخیره کنید.
• رفع کدگذاری کاراکترها: رمزگذاری را به راحتی به UTF-8 تبدیل کنید.
• ویژگی های “alt” و “title” را ذخیره کنید: هنگام ذخیره تصاویر، ویژگی های “alt” و “title” آنها به طور خودکار از سایت مورد نظر بازیابی و به رسانه ذخیره شده اختصاص می یابد. همچنین می توانید الگوهایی را برای آنها تعریف کنید تا استراتژی های SEO شما را به کار گیرند.
• ویژگی های “srcset” را ذخیره کنید: وقتی اندازه های جایگزین تصاویر ذخیره شده در دسترس باشد، این پلاگین آنها را به ویژگی srcset از عناصر img اختصاص می دهد تا صفحات شما در اندازه های مختلف صفحه سریعتر بارگیری شوند.
• iframes را مدیریت کنید:  وردپرس اجازه نمایش iframe ها و اسکریپت ها را نمی دهد زیرا خطر امنیتی دارند. فقط با انتخاب یک چک باکس می توانید عناصر HTML iframe و اسکریپت را به کدهای کوتاه تبدیل کنید. کد کوتاه، iframe ها و اسکریپت ها را از دامنه های منبع مجاز تعریف شده توسط شما نشان می دهد.
• محصولات ووکامرس را ذخیره کنید: قیمت، موجودی، حمل و نقل، ویژگی ها و گزینه های پیشرفته را ذخیره کنید. شما می توانید محصول را به عنوان یک محصول ساده یا خارجی ذخیره کنید. همچنین می توانید گزینه های فایل قابل دانلود را تنظیم کرده و محصول را به صورت مجازی تعریف کنید. این گزینه ها برای نسخه های ووکامرس بزرگتر یا برابر با ۳٫۳ در دسترس هستند.
• درونریزی / برونریزی: می توانید تنظیمات سایت را به راحتی درونریزی و برونریزی کنید. فقط کد ایجاد شده توسط این پلاگین را کپی و پیست کنید.
• نامحدود: سایت های نامحدود اضافه کنید و هر تعداد از آنها را که می خواهید، فعال کنید.
• داشبورد: ببینید در پس زمینه چه می گذرد. سایت های فعال، تعداد پست های جستجو شده، تعداد پست های به روز شده، آخرین پست های جستجو و به روز شده، URL های اضافه شده اخیر، آخرین اجرای رویدادهای CRON و URL های ذخیره شده… از پنل ادمین بروزرسانی کنید.
• از مدرن ترین مرورگرها استفاده کنید: این پلاگین از Chrome ، Firefox ، Safari Opera و Edge پشتیبانی می کند.
• راهنماهای تعاملی  راهنماهای تعاملی نحوه پیکربندی تنظیمات را برای دستیابی به موارد خاص، مرحله به مرحله، مانند اسناد زنده به شما نشان می دهند. هر زمان که بخواهید می توانید این راهنماها را شروع کنید. حتی می توانید آنها را از مرحله خاصی شروع کنید.
• و بسیاری از ویژگی های دیگر

* هنگام ایجاد یک سایت جدید، راهنما پیکربندی (Config Helper) نمایش داده می شود. هدف آن افزایش سرعت راه اندازی اولیه برای یک سایت است. اگرچه راهنما پیکربندی برای بسیاری از سایت‌ها کار می‌کند، اما هر سایتی را نمی‌توان به این راحتی پیکربندی کرد، به این معنی که برخی از سایت‌ها ممکن است به یک راه‌اندازی دستی و دقیق‌تر نیاز داشته باشند. حتی برای آن سایت‌ها، می‌توانید تنظیمات اولیه را با راهنما پیکربندی ایجاد کنید و بعداً تنظیمات سایت را تغییر دهید. علاوه بر این، هر زمان که بخواهید می توانید از راهنما پیکربندی خارج شوید یا راهنما پیکربندی را به طور کامل غیرفعال کنید.

تست شده بر روی:

اگر هنوز مطمئن نیستید که پلاگین می تواند محتوا را از یک سایت خاص بازیابی کند، از ما در بخش نظرات سوال کنید.

اگر سوالی دارید می توانید سوالات متداول را بررسی کنید. اگر پاسخ سوال شما وجود ندارد، همیشه می توانید از ما در بخش نظرات سوال کنید.

16.1. v1.14.0 - 29 October 2023
New
        Adds Config Helper
        Adds Make command to Request subject. This command is used to make requests and insert their responses into the page.
        Adds Convert JSON to HTML and Convert JSON to HTML automatically? settings to Manipulate HTML Section of Category and Post tabs.
        Adds Embed social media posts and other media setting to Quick Fixes Section of Templates tab. This setting is automatically checked when a new site is created.
        Adds Text as JSON and Attribute value as JSON properties to Element subject.
        Adds Convert to HTML and Convert to HTML automatically commands for properties that output parsed JSON.
        Adds Move command to Element subject.
        Adds JSON attribute’s text value, JSON attribute’s numeric value, and JSON attribute’s date value properties to Element subject for condition commands.
        Adds Translate command to the Post subject.
        Adds Translate element attributes command to Page subject.
Improvement
        Turns URLs shown in the test results into clickable links
        Adds gpt-3.5-turbo-16k and gpt-3.5-turbo-instruct models to OpenAI GPT Short Code creator
        Adds Updated, Deleted and Other URL types to the Clear URLs Tool
Fix
        WooCommerce Section is not shown in the multi-site environment when WooCommerce is not activated for the entire network but only for a single site.
        Certain prompts used in [openai-gpt] short code cause an infinite loop, making PHP stop execution
        Decode HTML entities of the JSON values found via Options Box
        Contents found by Post Content Selectors must not be wrapped with a p element
        Values of “0” found by CSS selectors must not be ignored
        Remove empty HTML elements and comments setting causes a PHP fatal error for HTML elements containing too many nodes
Other
        Tested and works with WordPress 6.3, 6.2, 6.1, 6.0, 5.9, 5.8, 5.6, 5.5, 5.4, 5.3, 5.2, with PHP 8.2, 8.1, 8.0, 7.4, 7.3, with Chrome, Firefox, Opera, with WooCommerce 8.2, 8.1, 7.9, 7.8, 7.2, 7.1, 7.0, 6.9, 6.1, 5.2, 5.1, 4.9, 4.5
        Updates third party libraries
        Minor fixes and improvements
        Code quality improvements
16.2. v1.13.1 - 7 April 2023
Fix
        Custom and generative short codes used in the Post Date Selectors setting’s options box should be applied
        Remove the buttons of the short codes that are not available for use from the Templates Tab of the Post Date Selectors setting’s options box
        File names cannot be retrieved from the Content-Disposition header in WordPress 6.2
        When translating with Amazon Translate API, too many requests error occurs
        Translation does not work for long texts