El archivo urllist.txt es utilizado por yahoo y google, además de otros robots y rastreadores para indexar las páginas que componen una web y es prácticamente lo mismo que el sitemap.xml.

A diferencia del sitemap, que es un archivo xml, el urllist es un archivo de texto plano que junto al sitema.xml, robots.txt y .htacces, debe ser costumbre tener en el directorio raíz de nuestro servidor si pretendemos o buscamos una optimización SEO al detalle.

Para generar este archivo de forma sencilla podemos utilizar un pequeño script en PHP, que a partir del archivo sitemap.xml nos genere el urllist.txt, las ventajas de utilizar este script, es que da lo mismo si nuestro portal es estático o dinámico, o si hemos utilizado un CMS u otro, ya que no dependemos de plugins ni nada por el estilo.

Basta con crear un archivo, al que llamaremos urllist.php:

<?php
$lines = file('sitemap.xml');
$allMatches = array();

foreach ( $lines as $line_number => $line ) {
 $line = trim($line);
 preg_match_all('/(?<=\<loc\>)(.*?)(?=\<\/loc\>)/U', $line, $matches,PREG_SET_ORDER);
 if($matches){
  if ( $matches[0][0] != '' ) {
   $allMatches[] = $matches[0][0];
  };
 };
};

$list = '';
foreach ( $allMatches as $url ) {
 $list .= $url."\n";
};
$fh = fopen('urllist.txt', "w+");
fwrite($fh, $list);
fclose($fh);

echo $list;
?>