Si consiglia di mantenere un design semplice perché non tutte le pagine risultano intelligibili per lo spider. Lo standard consigliato è HTML 4.0 Transitional, e il sito dovrebbe essere visibile con tutti i browser principali. Se caratteristiche avanzate quali Javascript, cookies, ID di sessione, frame, DHTML o Flash impediscono di visualizzare l'intero sito in un browser di testo, anche gli spider dei motori di ricerca potrebbero incontrare problemi durante la lettura del sito.

Persino alcune funzionalità html, come ad esempio i frames e le image map non sono ben supportate e nel caso che le pagine possiedano queste componenti, il loro contenuto potrebbe essere precluso all’indicizzazione. Solitamente gli spider leggono solo il file html principale e non eventuali altri file integrati nella pagina, come ad esempio le immagini. Attualmente il motore in grado di leggere il maggior numero di tipi di file nonhtml è Google, che indicizza i seguenti:pdf, asp, jsp, hdml, shtml, xml, cfm, doc, xls, ppt, rtf, wks, lwp, wri .

Nel caso poi di pagine web con molto testo, lo spider non archivierà tutto il contenuto ma si limiterà a memorizzarne solo una parte. Si consiglia una dimensione sotto i 15 KB, meglio ancora fra 5 e 10 KB (immagini comprese).

Di fondamentale importanza sono i link interni. Devono essere leggibili per gli spider, altrimenti gli spider non percorrono tutto il sito. A dispetto di quanto dichiarato recentemente da alcuni motori di ricerca, i link non scritti in html (ad esempio all’interno di animazioni in flash o in istruzioni javascript) sono ancora baluardi insormontabili e non vengono seguiti dagli spider. Essi pertanto sono da evitare, o quantomeno vanno inseriti dei link html alternativi. Il classico esempio è il link che consente di saltare la presentazione in flash nella homepage di un sito.

Un discorso a parte meritano i frames. I motori di ricerca indicizzano i singoli frame che costituiscono una pagina a frame, quindi la ricerca potrebbe portare a reperire non già la pagina intera ma una sua parte (ad esempio solo il menù). I singoli frame sono infatti delle vere e proprie pagine html, dunque, come tali, vengono spiderizzate singolarmente e indicizzate a seconda del loro contenuto testuale. Se si utilizzano i frame, per esempio, nella home page del sito, il testo sarà contenuto nei frames e non nella home page che, apparendo "vuota", non avrà un alto valore di ranking e, pertanto, non apparirà nel risultato della ricerca.

Per sopperire in parte a questo problema si può replicare nel tag <NOFRAME> tutto il contenuto della pagina, in modo particolare i link. Si consiglia inoltre di attribuire alla home page un titolo significativo in relazione alla ricerca in cui si vuole comparire e utilizzare la sezione testo alternativa dei tag HTML che la prevedono.