Beeseek, il motore di ricerca open source

Due giorni fa vi avevo scritto di una mia idea, riguardante un motore di ricerca open source.
Oggi, grazie ai vostri commenti, a questo libro e alle mie riflessioni, ho le idee più chiare, e vorrei condividerle con voi.
Il nome è frutto di un brainstorming (termine tecnico che indica “due chiacchiere tra un morso di piadina e una bevuta di birra” all’Oasy di Michela) tra me e Serena.
Ripeterò alcune cose già dette nel precedente post.

NASCITA DELL’IDEA

Scobleizer (Robert Scoble), un famoso blogger, rispondeva alla domanda “userai Ask.com?” (Ask nei giorni scorsi ha subìto un restyling vigoroso) sottolineando come i Data Center siano il cuore di una eventuale “offensiva” nei confronti dei tre colossi della ricerca online: Google, Yahoo, MSN (di Microsoft).

Google, ad esempio, possiede una enorme quantità di PC che utilizza per fornire i risultati delle ricerche degli utenti (non ho trovato un riferimento chiaro, ma penso che stiamo parlando di qualcosa intorno al milione di PC). Chi voglia entrare nel campo dei motori di ricerca dovrebbe partire da una potenza di calcolo almeno paragonabile.
Sono d’accordo con Robert.

La sera del 6 giugno, riflettendo su questo, mi è venuta in mente la forza del peer-to-peer, e di come milioni di utenti potrebbero surclassare la potenza di calcolo di Google, se solo volessero.
Vi tralascio i particolari filosofici sottostanti, conservandoli per un momento migliore :-)

Ho anche pensato a come i motori di ricerca siano un potere forte, molto più forte della stampa. I motori di ricerca determinano a quali informazioni si possa avere accesso, non a caso in Cina il regime comunista censura i motori di ricerca con più vigore dei giornali cartacei.

Ho quindi pensato: Perchè non creare un motore di ricerca Open Source, basato su un modello peer-to-peer, in grado di fornire ricerche più precise, più veloci, e di convogliare l’enorme ricchezza generata da Internet verso cose “etiche“?

Questa cosa ha ora un nome: Beeseek.
Bee come ape, perchè si tratterebbe di migliaia di api che lavorano insieme per un risultato.
Seek perchè “cercano” informazioni in rete e le raccolgono.

DETTAGLI

Bisognerebbe creare un software (plugin per Firefox? Programmino in Java? Altro?) che si installa nel PC di un utente e permette di registrare IN MANIERA DEL TUTTO ANONIMA:
– le sue ricerche (query) effettuate nei motori;
– i risultati delle query;
– quali pagine vengono poi effettivamente cliccate;
– quanto tempo l’utente passa su quelle pagine.
Questo software può essere considerato il “client” di Beeseek.

In questa maniera si creerebbe in poco tempo un repository (archivio centrale) di “stringhe di ricerca” e di “risultati di ricerca“, potendo organizzare questi ultimi sia in base a come vengono già presentati dai motori di ricerca, sia in base a quali vengono cliccati, e quanto tempo dura la visita degli stessi da parte degli utenti.
Mano a mano che il numero di utilizzatori aumenta, la precisione dei risultati aumenta di pari passo.

Questo repository, che può essere considerato il “server” di Beeseek, dovrebbe essere replicato in diverse copie “principali”, e propagato a TUTTI i “client” installati, suddividendolo ovviamente in frazioni del totale.
Attraverso un meccanismo di autenticazione, i client potrebbero fornire risultati di ricerca ad altri client, facendosi carico di TUTTO il calcolo necessario per fornire agli utenti il servizio.

L’unico compito dei “server” è di raccogliere i risultati, organizzarli, e replicarli ai vari client.

Beeseek trarrebbe profitto in due modi:
Il primo è utilizzando Google o altri come motori di ricerca quando i risultati di Beeseek non siano sufficientemente utili;
Il secondo è utilizzando un meccanismo in stile “adwords” e facendo quindi pagare agli utenti le inserzioni pubblicitarie nelle pagine dei risultati.
Il meccanismo di Adwords, tuttavia, si presta alla cosiddetta “click fraud“, ovvero “frode sui click”, che potrebbe essere evitata utilizzando un meccanismo di addebito “ad ore”, invece che a click, con un costo per l’inserzionista dipendente dal numero medio di click negli orari stabiliti.

AZIENDA O NON-PROFIT?

Credo che la maniera migliore per sviluppare Beeseek e renderlo un reale concorrente di Google, Yahoo e MSN (GYM), sia quello di creare una azienda.
Questa azienda potrebbe tenere per sè il 10% degli utili (per innovare il prodotto, pubblicizzarlo, eccetera), dedicando il restante 90% degli utili ad iniziative “etiche” (salvaguardia dell’ambiente, diffusione di Linux, aiuti ai paesi poveri), possibilmente coinvolgendo gli utenti nella scelta delle iniziative da finanziare.

Un altro modo potrebbe essere quello di creare una NON-PROFIT.
Personalmente credo che questa soluzione rischi di non riuscire mai a decollare per mancanza di fondi iniziali.

Terza soluzione: dato che ho intenzione di partecipare al Rolex Award for Enterprise (scadenza per l’Italia: 30 settembre 2007), potrei creare un progetto su Beeseek e farlo partecipare; in caso di vittoria, Rolex metterebbe a disposizione 100.000 dollari, che non sono tanti, ma nemmeno pochi. Questa cifra potrebbe essere utilizzata sia per creare una azienda, sia per creare una non-profit.

Il grande dilemma è: posso farcela a creare Beeseek dedicandogli poche ore a settimana, con l’aiuto di volontari? O forse è il caso di prevedere una struttura aziendale, che sia comunque APERTA e ETICAMENTE SENSIBILE?

Penso a Mark Shuttleworth, e a Canonical. Canonical è l’azienda che detiene i diritti di Ubuntu, è una azienda FOR-PROFIT, che dedica il 100% dei suoi utili a se stessa.
Eppure, tutti noi “ubuntisti” vogliamo bene a Canonical perchè produce un software Open Source e Gratuito, EVENTUALMENTE guadagnandoci sopra.
Penso quindi che una azienda non è necessariamente un male, se si comporta in maniera aperta, etica e corretta nei confronti di chi usa i suoi prodotti e i suoi servizi.

SUGGERIMENTI

(raccolgo i vostri suggerimenti e li elaboro, eventualmente modificandoli. Questo significa che indico il nome di chi ha fornito il suggerimento, ma la descrizione del suggerimento potrebbe essere stata modificata da me)

(hronir)
I risultati forniti da Beeseek partirebbero da quelli forniti da GYM, e mano a mano che il repository si popola, comincierebbero ad essere “mischiati” con quelli di Beeseek.
In questa maniera l’utente che utilizza Beeseek nella prima fase NON trova svantaggi particolari rispetto a GYM.

(MarcoPoloni)
Parlarne con Jimbo Wales, il creatore di Wikipedia.
Google comincia a ricordare la Microsoft degli inizi.

(JeKo)
Importante rassicurare gli utenti circa la loro privacy

(Kjow)
Più che un plugin di Firefox, sarebbe meglio creare un programma vero e proprio, con eventuali plugin di interfacciamento ai vari browser.
Inserendolo in SourceForge, la stessa comunità potrebbe sponsorizzarlo.

(Pix)
Per promuovere un sito basterebbe scrivere un software che “bara”?
Risposta di Simone: Problema interessante, da non sottovalutare.
Sottolineo che lo stesso problema lo subiscono i motori di ricerca.

(Andrea Colangelo)
Sono in una fase di avversione e paura per Grande Fratello Google, quindi ogni idea che mi permetta di liberarmene, anche parzialmente, mi entusiasma.

(Pikappa)
L’estensione per Firefox potrebbe essere la cosa migliore, almeno all’inizio, per non spaventare gli utenti.

(blood)
E’ osceno che le ricerche mondiali debbano ancora appellarsi a tre grossi colossi closed e censori.

(Rillo)
Risposta di Simone: Spiacente, nella mia idea non si parla PER NIENTE di Crawling. E’ troppo costoso.

(jak)
Risposta di Simone: Ho raccolto tutte le idee dai commenti e le ho messe in questo nuovo post, come tu suggerivi!

(Francesco)
Sei scettico su cosa si può fare col Grid computing (calcolo distribuito)?
Pensa a Google stesso, o al CERN di Ginevra, o a eMule!

COME PROCEDERE

L’idea sembra concretizzarsi.
Ditemi cosa ne pensate!