استفاده از موتورهای جستجو، به عنوان یک تکنولوژی بیست و چند ساله، در میان مردم بسیار فراگیر شده است، بهشکلی که تصور اینترنت و وب بدون جستجوگرها محال و ناممکن بهنظر میرسد. اما آیا تا به حال به این موضوع فکر کردهاید که این جستجوگرها چگونه به وجود آمدهاند و در فضای مجازی اینچنین ریشه دواندهاند؟ در این مقاله با ما همراه باشید تا تاریخچهی موتورهای جستجوگر را بررسی کنیم.
موتورهای جستجو راه طولانی را از زمان ورود نمونههای اولیهی خود پیمودهاند تا امروز بتوانند همانند یک GPS در بزرگراه عظیم از اطلاعات عمل کنند. جستجوگرهای اولیه و خدمات آنها، بسیار ساده و ابتدایی بودند اما رفتهرفته، ابزارهای جستجو، نحوهی استفادهی ما از وب را به گونهای متحول کردند که امروز تصور فضای اینترنت بدون موتورهای جستجو بسیار دشوار است. این سیر تکاملی داستانی دارد که خواندن آن خالی از لطف نیست. داستانی که از سال ۱۹۹۰ آغاز شد...۲۶ سال پیش...
همانند بسیاری از صنعتها، موتورهای جستجوگر نیز با پروژههای دانشگاهی شروع شده و رفتهرفته به سازمانهای بزرگ تجاری تبدیل شدند. قبل از طلوع صنعت موتورجستجو و دایرکتوریها، فضای جهانگستر وب، آنچنان پر از هرج و مرج و شلوغی اطلاعات وسیع بود که یافتن اطلاعات موردنیاز خود از بین این همه، به کابوسی برای کاربران تبدیل شده بود. حتی با تکنولوژي جستجوی بسیار پیشرفتهی امروزی هم بسیاری از مردم هنوز گمان میکنند که تکنیکهای جستجو چندان تغییر نکردهاست در صورتی که اصلا چنین نیست. حداقل تلاش موتورهای جستجوگر و دایرکتوریها، ارائهی روشهای منطقی و تکنیکی برای بازیابی اطلاعات از میان میلیاردها صفحهی وب موجود و در حال گسترش، است.
هدف تمامی موتورهای جستجو، پیداکردن و سازماندهی دادههای توزیعشده بر روی اینترنت است. قبل از اینکه موتورهای جستجو توسعه داده شوند، اینترنت مجموعهای از وبسایتهای FTP بود که کاربران از آن برای پیدا کردن فایلهای به اشتراکگذاری شدهی موردنظر خود استفاده میکردند. زمانیکه وبسرورها به جریان اینترنت و رشد آن پیوستند، نیاز برای یافتن و سازماندهی اطلاعات توزیعشده بر روی وبسرورهای FTP نیز افزایش یافت. بنابراین موتورهای جستجو پدید آمدند تا جستجو و یافتن را در میان وبسرورها و فایلها در فضای اینترنت آسانتر کنند.
اگر چه تا قبل از سال ۱۹۹۰ (و حتی قبل از شکلگیری اینترنت)، جرقههایی از مفهوم موتورجستجوگر به عنوان یک سیستم بازیابی اطلاعات زده شده بود؛ اما اولین طرح موتورهای جستجو به معنای امروزی در سال ۱۹۹۰، به عنوان یک پروژهی دانشگاهی توسط Alan Emtage (آلن امتاج)، دانشجوی دانشگاه مکگیل در مونترال کانادا زده شد. آلن یک نمایه (فهرست یا آرشیو) از فایلهای کامپیوتری ذخیرهشده در وبسایتهای FTP گمنام فضای اینترنت را برای شناسایی و بازیابی آنها، با نام Archie (مخفف Archives) ایجاد کرد.
به دنبال این طرح، در سال ۱۹۹۱، دانشجویی در دانشگاه مینسوتای آمریکا به نام Mark McCahill از یک الگوی ابرمتن برای جستجوی متنهای ساده در فایلها استفاده کرد و آن را Gopher (گوفر) نامید. با این حال پایگاهدادههای قابل جستجوی آرچی (Archie) و گوفر مانند موتورهای جستجوی مدرن امروز، توانایی جستجوی زبان طبیعی را نداشتند.
اما تاریخچهی حقیقی جستجو در فضای اینترنت با World Wide Web Wanderer به عنوان اولین ربات واقعی در سراسر وب آغاز شد. هدف این ربات، ثبت آدرس صفحات وب (URL) برای اندازهگیری رشد و گستردگی وبجهانی بود که منجر به ایجاد پایگاهدادهای به نام Wandex شد. پس از آن، تکنولوژی رباتها ( که امروزه با نام Spiders شناخته میشوند) به موضوع محبوب در میان دانشگاهیان برای انجام پروژههای دانشگاهی تبدیل شد.
در گذشته Bot یا ربات به مفهومی اطلاق میشد که در آن تمام صفحات HTML فضای وب برای گردآوری در بزرگترین پایگاهدادههای قابل جستجو، مورد بررسی قرار میگرفت؛ اما امروز Spider ها، رباتهای کامپیوتری (برنامهی نرمافزاری) هستند که یکسری عملیات تکراری را با سرعت بالا،که از توان و عهدهی انسانها خارج است، انجام میدهند.
در فوریه ۱۹۹۳، پروژهی دانشگاهی شش دانشجوی کارشناسی در دانشگاه استنفورد با محوریت بهبود ارتباط بین نتایج جستجو در موتورهای جستجو و با نام Architext (Spider آن هنوز هم وجود دارد)، منجر به تولد موتورجستجویی به نام Excite شد.
یک سال بعد، یعنی در سال ۱۹۹۴ در همان دانشگاه استنفورد، پروژهای توسط دو دانشجو با نامهای Jerry Yang (جری یانگ) و David Filo (دیوید فیلو) انجام گرفت که تبدیل به نقطهی عطفی در تاریخچهی موتورهای جستجو شد. یانگ(Yang) و فیلو(Filo) فرآیند نمایهسازی (indexing) وبسایتهای موردعلاقه یا وبسایتهایی که از آنها اطلاع داشتند، را در وبسایت خود آغاز کردند. اما پروژهای که در ابتدا صرفا درجهت علاقه و نهایتا سودآوری بسیار اندک آن، طراحی شده بود؛ آنچنان قدرت یافت که امروز به عنوان یک برند معتبر در شبکهی جهانی وب با نام یاهو (Yahoo) شناخته میشود.
اما تفاوتهایی بین دو پروژهی Excite و Yahoo در دانشگاه استنفورد وجود داشت، که از بین آنها میتوان به استفاده از تکنولوژي ربات (Spider) ، به عنوان عامل اصلی در تعیین موتورهای جستجوی واقعی اشاره کرد. یاهو از تکنولوژی رباتهای اسپایدر استفاده نمیکرد. در واقع، یاهو بزرگترین دایرکتوری ویرایش شده توسط انسان در فضای وب بود. اما رشد گسترده جستجوگرها و پیدایش رقبای بزرگی که از تکنولوژی رباتها استفاده میکردند باعث شد که یاهو نیز به سمت استفاده از رباتها روی آورده و از ترکیب این تکنولوژی با دایرکتوریها برای نمایش نتایج استفاده کند.
در این اثنا، پروژهای در دانشگاه واشنگتون به منظور ارائهی روشی برای یافتن و ذخیرهی اطلاعات در وب با بهرهگیری از تکنولوژی رباتهای اسپایدر با نام WebCrawler طرح شد. تنها تفاوت ربات این پروژه با پروژههای پیشین، در توانایی نمایهسازی و جستجو در کل متن اسناد و صفحات به جای نمایهسازی فقط آدرس (Url) ، عنوان و حتی صد کلمهی ابتدایی سند بود و بدین ترتیب در میان موتورهای جستجوگر جایی برای خود باز کرد (WebCrawler در سال ۱۹۹۷ توسطExcite خریداری شد).
پس از WebCrawler با ارائهشدن Lycos و Infoseek(اینفوسیک) رقابت بین موتورهای جستجو برای دردست گرفتن سهمی در بازار تا به امروز افزایش یافت. اینفوسیک خریداری شد و به Go Network تغییر نام داد و سپس توسط شرکت Disney از رده خارج شد.
عملی شدن پروژهی جستجوگر Alta Vista(آلتا ویستا) در دسامبر ۱۹۹۵ ، نقطهی عطف بعدی در صنعت موتورهای جستجو را رقم زد. اما چیزی که آلتا ویستا را نسبت به بقیه برتری داد سرعت فوقالعادهی آن برای نتایج جستجو و استفاده از تکنیکهای جستجوی پیشرفته، بود؛ به گونهای که، بهعنوان پیشگام و اولین استفادهکننده از تکنیکهای پرسوجو به زبان طبیعی از طریق عملگرهای منطقی، از آن یاد میشود. علاوهبر آن، آلتاویستا اولین جستجوگری بود که ارجاعات دیگر(لینک) وبسایتها به وبسایت موردنظر را، به عنوان عامل مهمی در تعیین موقعیت و محبوبیت موتورجستجو در بین کاربران، بررسی و چک کرد.
اما اینبار در دانشگاه برکلی کالیفرنیا، Eric Brewer با همکاری دانشجوی خود Paul Gauthier تصمیم به استفاده از دانش و تحقیقات صورتگرفته در زمینهی موتورهای جستجو برای زمینهسازی یک سرمایهگذاری تجاری و موفق در بازار گرفتند و بدینترتیب در سال ۱۹۹۶ شرکت INktomi تشکیل و رباتی به نام Hotbot را به وب ارائه کرد.
Inktomi به سرعت به یکی از موتورهای جستجوی موفق تبدیل شد که با نمایهسازی روزانه ۱۰ میلیون صفحه و استفاده گسترده از تکنولوژی cookie (برای ثبت مراجعات کاربر به وبسایت) محبوبیت زیادی را در میان سرمایهگذاران موتورهای جستجو بهدست آورد. اینکتومی با خرید شرکتهای بسیاری توانست نوآوریهای بزرگی را به حوزه جستجوگرها وارد کند. این کمپانی امریکایی تبلیغات پرداخت-بهازای-کلیک (PPC) را بهصورت جزیی شروع کرد و در کنار آن جستجوگر اختصاصی فروشگاهها را در مدل درآمدی خود پیاده ساخت. این جستجوگر در سال ۲۰۰۳ توسط یاهو خریداری شد و دیگر فعالیت جداگانهای از طرف آن صورت نگرفت.
در سال ۱۹۹۵ در دانشگاه واشنگتن موتور جستجویی به نام متاکراولر (Metacrawler) ، توسط Eric Selburg پایهگذاری شد. یکی از شاخصههای اصلی متاکراولر، این بود که به طور همزمان در میان موتورجستجوگرهای مختلف نظیر Lycos، AltaVista، Yahoo ،Excite، WebCrawler و Infoseek جستجو میکرد و نتایج جستجو را بازمیگرداند.
کمی بعد از آن یعنی در سال ۱۹۹۸ و البته بازهم در دانشگاه استنفورد! سوپراستارهای دنیای جستجو یعنی لری پیج (Larry Page) و سرگئی برین (Sergey Brin) پروژهای را طرح کردند که در جریان توسعهی موتورهای جستجو به نقطهی روشنی بدل شد که بعدها لقب قویترین موتور جستجوی جهانی را به خود اختصاص داد: Google.
پیج و برین اعتقاد داشتند که یک موتورجستجو باید بتواند لینکهایی که به یک وبسایتمشخص میرسند را آنالیز و وبسایتها را براساس تعداد دفعاتی که کلیدواژههای جستجوشده در وبسایت ظاهر میشوند، تحلیل و رتبهبندی کند؛ بنابراین گوگل با همین عقیده پایهریزی شد و کمکم از تمام رقبای خود پیشی گرفت آنچنان که امروز پراستفادهترین موتور جستجوی جهانی است.
آنچنان که از این مقاله برآمد، میتوان گفت آنچه که امروز از موتورهای جستجو میبینیم، نتیجهی سالها تلاش و تحقیق و نوآوری متخصصان است که رشد و توسعهی روز به روز این ابزار جستجو را در جریان تکنولوژی به دنبال داشتهاست؛ به گونهای که امروز حتی با یک کلیک میتوان آنچه را که در جستجوی آنیم، بیابیم.
شما تاکنون از چه جستجوگرهایی استفاده کردهاید؟ جستجوگر محبوب شما چیست؟