本文共 1238 字，大约阅读时间需要 4 分钟。

在写爬虫的时候，经常会使用xpath进行数据的提取，对于如下的代码：

   
    大家好！
   

使用xpath提取是非常方便的。假设网页的源代码在selector中：

data = selector.xpath('//div[@id="test1"]/text()').extract()[0]

就可以把“大家好！”提取到data变量中去。

然而如果遇到下面这段代码呢？

   
    美女，
    你的微信是多少？
    
   

如果使用：

data = selector.xpath('//div[@id="test2"]/text()').extract()[0]

只能提取到“美女，”；

如果使用：

data = selector.xpath('//div[@id="test2"]/font/text()').extract()[0]

又只能提取到“你的微信是多少？”

可是我本意是想把“美女，你的微信是多少？”这一整个句子提取出来。

这还不是最糟糕的，还有第三段代码：

   
    我左青龙，
    右白虎，
     
      上朱雀，
      
下玄武。
     
老牛在当中，龙头在胸口。
    
   

而且内部的标签还不固定，如果我有一百段这样类似的html代码，又如何使用xpath表达式，以最快最方便的方式提取出来？

我差一点就去用正则表达式替换了。还好我去Stack Overflow上面提了问。于是很快就有人给我解答了。

使用xpath的string(.)

以第三段代码为例：

data = selector.xpath('//div[@id="test3"]')info = data.xpath('string(.)').extract()[0]

这样，就可以把“我左青龙，右白虎，上朱雀，下玄武。老牛在当中，龙头在胸口”整个句子提取出来，赋值给info变量。

以下方法也可以（使用//text() 取所有的文本)：  "".join(response.xpath('//div[@id="main_content"]//text()').extract())

2 同时选择多个属性

c=response.xpath('//div[@class="visa_table_info"][@data-key="1"]')

注意 response.xpath('//div') 标示根目录下所有div （包括直接喝间接div) response.xpath('/div')直接div

http://blog.csdn.net/sdulsj/article/details/52984550