検索エンジンの起動方法

世界中の何千人ものプログラマーが、次善の検索エンジンを構築しようと、静かにキーボードを叩いています。 Google の有名な作成者である Sergey Brin と Lawrence Page は、「検索エンジンのエンジニアリングは困難な作業である」と認めています。検索エンジンは、Web 上の情報を検索するために使用されます。エンジンはインターネットをクロールし、何百万ページもの情報をインデックスに登録し、誰かが検索すると結果を吐き出します。

Web クローラーを取得

ステップ 1

Web クローラー (Web からページを収集してインターネットをクロールするスパイダーまたはボット) を取得します。スパイダーは、Web ページにアクセスして読み取り、他のページへのリンクをたどります。オープンソースのクローラーを見つけることも、独自のクローラーを構築することもできます。独自のクローラーを作成する場合は、クローラーにシードする URL のリストを取得します。遅いクローラーを構築するのは簡単ですが、何百万ものページをインデックス化する高性能クローラーを構築するのはより困難です。

ステップ 2

余裕のある帯域幅を確保してください。クローラーが Web を移動してページを取得するときに、この帯域幅が必要になります。

ステップ 3

索引を作成します。クローラーが見つけたものはすべて検索エンジンのインデックスに登録されます。インデックスは、クローラーが見つけたすべての Web ページのコピーを含む巨大な本またはカタログのようなものです。スタンフォード大学の Anna Patterson は、検索結果を提供するために必要なデータのみをインデックスに登録することを推奨しています。彼女はまた、「台所の流し」を索引付けするのではなく、「見栄えのするもの」を索引付けするべきだとアドバイスしています。

ステップ 4

高性能データベースと Web クロールからのサーバー上のすべての情報を使用して、インデックスで結果をランク付けします。インデックスを作成するには、おそらく数百万の Web ページを処理する必要があります。インデックスに記録されたページは、検索者にとって最も関連性の高い順にランク付けする必要があります。

ステップ 5

検索結果を返す魅力的なウェブサイトを構築します。

ステップ 6

検索エンジンを立ち上げて売り込みます。 Search Engine Watch.com の Laszlo Xalieri 氏によると、無料の検索エンジンは、ユーザーが行きたい場所にすばやくエレガントに移動できる必要があります。検索エンジンを成功させるには、「消費者を引き付け、マーケターにアクセスを販売することが目標です」と彼は言います。

警告

プログラマなら誰でも検索エンジンを起動できますが、関連する結果を提供することは本当の課題です。