محتوای تکراری چیست و چگونه می‌توان از بروز آن جلوگیری کرد؟

به محتوایی که بیشتر از یکبار در وبسایت منتشر می‌شود محتوای تکراری یا (Duplicate Content) گفته میشود. زمانی که محتوای کاملا یکسان در وبسایتی تعدادشان زیاد باشد، تصمیم گیری را برای موتورهای جستجوگر کمی دشوار میشود. شاید برایتان سوال پیش بیاید که چه دشواری؟ منظور این است که در این شرایط تصمیم گیری این قضیه که کدام نسخه از محتوای سایت شما مرتبط با کوئری جستجو است، باعث تصمیم گیری اشتباه یا در بعضی از مواقع نشان ندادن سایت شما در نتایج جستجو میشود.

برای آنکه کاربران تجربه کاربری بهتری در نتایج جستجو داشته باشند، موتورهای جستجوگر به خصوص گوگل به ندرت محتوای تکراری را به کاربران نمایش می دهند و خود را مجبور کرده اند که از میان نسخه های موجود، نسخه اصلی (یا بهترین و کاملترین) را پیدا کنند و آنها در اختیار کاربران قرار دهند.

این مورد که وجود محتوای تکراری، باعث گوگل پنالتی شدن وبسایت نخواهد شد حقیقت دارد، اما از طرفی دیگر می‌تواند تاثیر بسیار بدی بر روی رتبه‌ی وب‌سایت شما داشته باشد.

مشکلاتی که محتوای تکراری ایجاد می کند

برای موتورهای جستجوگر

وجود محتوای تکراری در وبسایت شما باعث بروز 3 مشکل اساسی برای موتورهای جستجو می‌شود:

1. موتورهای جستجوگر نمی‌دانند کدام نسخه را باید از نتایج جستجوی خود نمایش و کدام نسخه را حذف کنند.
2. موتورهای جستجوگر نمی‌دانند که باید کدام معیارهای مرتبط با لینک (همچون اعتماد، Authority، انکر تکست و …) را به یک صفحه اختصاص دهند و یا این معیارها را بین نسخه های متعددِ تکراری محتوا تقسیم کنند.
3. موتورهای جستجوگر نمی‌دانند کدام نسخه از محتواهای تکراری را باید برای یک کوئری جستجو خاص، رتبه بندی کنند.

برای صاحبان وب‌سایت‌ها

وقتی که در وبسایت شما محتوای تکراری وجود دارد، برای صاحبان وب‌سایت‌ها مشکلاتی از قبیل از دست دادن ترافیک و افت رتبه سایت در نتایج جستجو به وجود می‌آید. عوامل مهم این مشکلات دو مورد هستند:

1. برای ارائه تجربه کاربری بهتر، خیلی کم پیش می‌آید موتورهای جستجو چندین نسخه از یک محتوا را به کاربران نمایش دهند. به همین دلیل، موتورهای جستجو مجبور میشوند که بهترین و کامترین نتیجه را خودشان حدس بزنند. همین موضوع باعث کاهش دیده شدن هر یک از صفحات خواهد شد.
2. توازن لینک دهی به وب‌سایت ها دچار اختلال می‌شود، چون وب‌سایت‌های دیگر هم نمی‌توانند بین محتواهای یکسان شما، تفاوتی قائل شوند. با این تفاصیر، به جای اینکه تمام لینک‌ها به یک صفحه اشاره کنند، هر کدام از لینک ها به یکی از صفحات شما ارجاع داده می‌شود. از آنجایی که لینک بیلدینگ یکی از 203 فاکتور مهم رتبه‌بندی سایت در گوگل است، پس این موضوع میتواند در دیده شدن محتواهای وب‌سایت شما در نتایج جستجو گوگل تاثیر منفی داشته باشد.

خب، نتیجه همه این مشکلات چیست؟ نتیجه این است که یک صفحه از سایت شما، آنگونه که باید دیده شود، دیده نمی‌شود.

محتوای تکراری چگونه به وجود می‌آید؟

در تکثر بررسی های انجام شده، صاحبان وب‌سایت ها به صورت عمدی محتوای تکراری را ایجاد نمی‌کنند. اما این موضوع به این تفصیر نیست که در وبسایت‌شان محتوای تکراری وجود ندارد یا ایجاد نمیشود. حقیقت ماجرا اینجاست که، اگر واقعا بخواهیم درباره این قضیه کمی باهم صادق باشیم، باید بگوییم که تقریباً 29% از محتوای فعلی موجود در دنیای اینترنت، محتوای تکراری است و معمولا هرساله این عدد در حال افزایش است.

خب تشکر میکنم از شما که تا اینجای مقاله همراه ما بوده اید، در ادامه‌ی مقاله باهم رایج‌ترین روش‌هایی که باعث ایجاد محتوای تکراری می‌شوند را بررسی می‌کنیم:

متغیرهای آدرس سایت (URL)

متغیرها و پارامترهای مرتبط با آدرس وبسایت شما همچون پارامترهایی که برای پیگیری و ردیابی کلیک و برخی از کدهای تحلیلی استفاده میشود باعث ایجاد محتوای تکراری در وب‌سایت میشوند. این مشکل نه تنها با اضافه شدن پارامترها در انتحای URL به وجود می‌آید، بلکه ترتیب قرار گیری این متغیرها بازهم در ایجاد محتوای تکراری تاثیرگذار هستند.

برای مثال:

• آدرس https://fanabyte.com/articles?color=black در حقیقت، محتوای تکراری آدرس fanabyte.com.com/articles است.
• یا آدرس https://fanabyte.com/articles?color=black&cat=3 محتوای تکراری آدرس https://fanabyte.com/articles?cat=3&color=blue است.

استفاده از Session ID

Session IDها هم به طور مشابه مورد قبلی، خالق محتوای تکراری در وبسایت‌ها هستند. این اتفاق زمانی رخ می دهد که هر کاربری که وارد سایت میشود و از سایت بازدید می کند، به آن کاربر یک Session ID متفاوت تعلق گیرد و این شناسه سشن در آدرس سایت ذخیره شود.

قابلیت پرینت صفحه

ممکن است در وبسایت شما صفحاتی وجود داشته باشد که گزینه پرینت را در اختیار کاربران قرار می‌دهند، این صفحات نیز می توانند باعث به وجود آمدن مشکلاتی در رابطه با محتوای تکراری شوند. این مشکل زمانی رخ خواهد داد که نسخه های زیادی از یک صفحه ایندکس می‌شود. به این ترتیب زمانی که بر روی گزینه پرینت کلیک می‌کنید، صفحه ای جدید با آدرسی متفاوت ولی محتوایی یکسان را مشاهده خواهید کرد.

مشکلات موجود در HTTP و HTTPS، و صفحات با www و بدون www

چنانچه وب‌سایت‌ شما دارای چند نسخه بر روی آدرس های www.example.com و example.com باشد (منظور با پیشوند www و یا بدون پیشوند www)، و همچنین محتوای شما بر روی هر دو نسخه وجود داشته باشد، متاسفانه باید بدانید که برای هر یک از صفحات سایت خود یک صفحه تکراری ایجاد کرده‌اید.

البته باید این را هم بدانید که این قانون برای وبسایت‌هایی که بر روی http و https هستند نیز وجود دارد. چنانچه هر دو نسخه از وبسایت شما در موتورهای جستجو موجود و در دسترس باشد، با مشکل محتوای تکراری روبرو خواهید شد.

محتوای کپی

زمانی که ما از محتوا صحبت می‌کنیم منظورمان تنها مقالات و پست‌های وبلاگی که در وبسایت خودتان وجود دارد نیست. سارقان محتوا که مقالات و پست‌های وبلاگ شما را کپی و بر روی وبسایت خود منتشر می‌کنند نیز به عنوان منبعی از محتوای کپی و تکرای شناخته خواهند شد. با این وجود، یک مشکل اساسی و رایج برای وبسایت‌های فعال در حوزه تجارت الکترونیک وجود دارد: و آن اطلاعات محصولات است که معمولا یک محصول در وبسایت ها مختلف تقریبا بالای 80% دارای اطلاعات و مشخصات مشابه میباشد.

زمانی که در وب‌سایت‌های مختلف، کالاهای یکسانی را با اطلاعات و مشخصات یکسان در وبسایت خود برای فروش قرار میدهند، اینجاست که محتوای مشابه و تکراری در نقاط مختلف دنیای اینترنت پراکنده می‌شود.

دنبال یه کار پر درآمد از اینترنتی؟

تو دوره درآمد آنلاین: فرصت‌ها و ایده‌ها بهترین راه رو بهت نشون میدیم!

چگونه می‌توان مشکل محتوای تکراری را برطرف کرد؟

زمانی که محتوای موجود در یک سایت در آدرس های متعددی وجود دارد، برای حل این مشکل باید برای موتورهای جستجوگر متعارف سازی (Canonicalized) انجام شود. اینک آن محتوا را می توان از طریق ریدایرکت 301 به آدرس (URL) صحیح ریدایرکت کرد. ریدایرکت کردن چنین صفحه صفحاتی را میتوان از طریق تگ rel=canonical و یا در برخی از موارد با استفاده از ابزارهای موجود در گوگل وبمستر (سرچ کنسول) نیز قابل انجام است.

ریدایرکت 301

در بیشتر موارد موثرترین راهکار برای مبارزه با محتوای تکراری، تنظیم ریدایرکت 301 از صفحه دارای محتوای تکراری به صفحه اصلی محتوا میباشد. وقتی که صفحاتی که دارای پتانسیل رتبه بندی هستند با همدیگر ادغام می شوند، نه تنها دیگر با همدیگر رقابتی نخواهند داشت بلکه از طرفی دیگر ارتباط قویتر و عمیق‌تری با یکدیگر ایجاد خواهند کرد و سیگنال های محبوبیت بیشتری را برای موتورهای جستجوگر ارسال میکنند. این موضوع تاثیر خیلی خوبی در افزایش رتبه وبسایت شما در نتایج جستجو خواهد داشت.

استفاده از تگ “Rel=Canonical”

روش دیگری برای حل مشکل محتوای تکراری وجود دارد و آن روش به کار بردن تگ “Rel=canonical” است. تگ Canonical مانند ریدایرکت 301 قدرتمند است و در اکثر مواقع استفاده از آن به زمان کمتری نیاز دارد. این تگ “Rel=Canonical” در قسمت Head HTML وب‌سایت قرار می‌گیرد.

این تگ متا Canonical یک تگ جدیدی هم نیست، اما مثل تگ nofollow، به سادگی تمام از پارامترهای rel استفاده می کند. مثلاً به کد زیر توجه کنید:

<link href="http://www.example.com/canonical-version-of-page/" rel="canonical" />

این تگ به موتورهای جستجوگر گوگل و بینگ و… این مفهوم را میرساند که صفحه مورد نظری که این تگ در آن قرار میگیرد باید به گونه ای با آن رفتار شود که محتوای آن کپی آدرس http://www.example.com/canonical-version-of-page است و تمامی معیارهای مرتبط با لینک و محتوای آنها باید به سمت آدرس جدید (همان آدرسی که در تگ ذکر میشود) منتقل شود.

نمونه آدرس های زیر به خوبی نشان می دهد که چگونه خطاهای مرتبط با حروف بزرگ، در وبسایت شما می تواند منجر به ایجاد محتوای تکراری شود:

https://www.simplyhired.com/a/jobs/list/q-software+developer

https://www.simplyhired.com/a/jobs/list/q-Software+developer

https://www.simplyhired.com/a/jobs/list/q-software+Developer

در URL های بالا تنها تفاوتی که بین این آدرس ها مشاهده میشود، بزرگ یا کوچک نوشته شدن کلمات “software” و “developer” میباشد. موتورهای جستجوگر، همه‌ی این آدرس‌ها را تحت عنوان یک صفحه متفاوت در نظر میگیرد و آنها را به عنوان محتوای تکراری مشاهده میکند. شما به راحتی با به کار گرفتن تگ rel=canonical در مورد دوم و سوم و اشاره کردن آن به مورد اول، موتورهای جستجوگر را آگاه میسازید که باید با آن دو صفحه تکراری همانند صفحه اول (صفحه اصلی) رفتار کنند.

استفاده از کد noindex, follow

میتوانید در یک صفحه ربات‌های متا تگ با مقادیر noindex, follow را مورد استفاده قرار دهید. این گزینه به موتورهای جستجوگر نشان می دهد که صفحه مورد نظر نباید ایندکس شود. این کار به سادگی ربات های موتورهای جستجوگر اجازه می دهد که لینک های موجود در صفحه را Crawl کنند اما این لینک ها را ایندکس نکنند (البته ناگفته نماند که 100 درصد نیست، شما با این کار فقط مشخص میکنید ولی اینکه موتورها حتما انجام میدهند یا خیر قطعی نیست). از سمت دیگر استفاده از این تگ ها به رفع مشکلات مرتبط با صفحه بندی مطالب کمک می کند.

مدیریت متغیرها در گوگل وبمستر

گوگل وبمستر تولز به شما این امکان را می‌دهد که دامنه مورد نظر خود را ثبت و تنظیم کنید و به صورت متفاوت نسخه های زیادی از پارامترهای URL را مدیریت نمایید. اصلی ترین و شاید مهمترین عیب این روش (که البته شاید نشه آن را هم عیب دانست) این است که فقط برای موتور جستجو گوگل قابل استفاده است. یعنی هر تغییری که از طریق این ابزار بر روی وبسایت خود انجام میدهید هیچ تاثیری بر روی دیگر موتورهای جستجوگر از قبیل بینگ، یاندکس و… نخواهد داشت.

این مورد را باید برای تمامی سایت ها انجام دهید. این یک روش بسیار ساده و البته بسیار کاربردی است که به گوگل میگوید سایت مورد نظر ما باید به همراه www یا بدون www در موتورهای جستجوگر نشان داده شود. (مثلا وبسایت فنابایت بدون www میباشد و چنانچه آدرسی را با www وارد کنید به آدرس بدون www ریدایرکت میشود)

روش های دیگر برای حل مشکل محتوای تکراری

1. وقتی که شما در حال لینک سازی داخلی در سایت هستید، به صورت کاملا پایدار و یکپارچه عمل کنید. به عنوان مثال؛ اگر وبمستر برای شما مشخص کند که باید نسخه متعارف یا همان نسخه canonical دامنه شما به صورت example.com باشد، پس باید تمامی لینک های داخلی وبسایت شما پیرو این روش باشند (یعنی به نبود www در ابتدای آدرس همواره توجه کنید).
2. وقتی که میخواهید برای صفحه خود لینک بگیرید باید به این موضوع دقت کنید که لینک به آدرس اصلی سایت ارجاع داده شده باشد، نه به یکی از متغیرهای آدرس سایت!
3. در وبسایت خود استفاده کردن از محتوای مشابه را به کمترین میزان ممکن برسانید. مثال به جای اینکه یک صفحه (دسته بندی) در خصوص “کیف مردانه” و یک صفحه دیگر برای “کیف زنانه” داشته باشید که تقریبا 95% محتوای تکراری خواهند داشت، سعی کنید این صفحه ها را به یک صفحه واحد (مثلا کیف مردانه و زنانه) تبدیل کنید و تمامی محصولات یا اطلاعات مربوطه را در آن صفحه قرار دهید. همچنین این صفحات را میتوانید به نحوی توسعه دهید که شامل محتوای مرتبط و کاملا مجزا برای هر URL باشند.
4. سعی کنید که با استفاده از noindex, follow، محتوای تکراری وبسایت را از موتورهای جستجوگر حذف کنید. شما این کار را از طریق ربات متا یا ابزار وبمستر تولز گوگل می توانید انجام دهید.

نمونه کد Rel=Canonical

<head>
	<link rel="canonical" href="https://fanabyte.com/articles/" />
</head>

نمونه کد ربات متا

<head>
	<meta name="robots" content="noindex, follow" />
</head>

نتیجه‌گیری

همان‌گونه که مطالعه کردید، وجود محتوای تکراری در وب‌سایت می‌تواند برای رتبه سایت شما نتایج جستجو ضرر داشته باشد. شما میتوانید با استفاده از راهکارهای ارائه شده به راحتی این مشکل را حل کنید و رتبه وب‌سایت خود را در نتایج موتورهای جستجو به خوبی ارتقا ببخشید.

همواره در تلاش هستیم که بهترین مطالب را در فنابایت برای شما عزیزان تهیه کنیم، امیدواریم مطالعه این مقاله برایتان مفید بوده باشد. در صورتی که سوالی درباره محتوای تکراری و روش‌های برطرف کردن آن دارید، می‌توانید از بخش نظرات سوال خود را با ما مطرح کنید.