本站微信公眾號
本站手機網站
淺談自動采集程序及入庫
淺談自動采集程序及入庫
來源:網絡轉載 作者:俠名 發布時間:2017-03-20 23:41:20 瀏覽次數:

    最近網上流行著一些采集程序,更多人拿著這些東西在網上叫賣,很多不太懂的人看著那些程序眼羨,其實如果你懂一些ASP,了解自動采集程序的原理后,你會感覺實現自動化也是那么的簡單.
    原理及優點:通過XML中的XMLHTTP組件調用其它網站上的網頁,然后批量截取或替換原有的信息使其轉化成變量后再一一儲存到數據庫中。其主要的優點便是無需再手工添加大量的信息了,可以指定對某一個站信息的截取進行批量錄入,達到省時省力的目的。與其單純的ASP小偷程序不同的是:它已經不再依賴其目標網站。
簡單事例:

1<%
2'聲明取得目標信息的函數,通過XML組件進行實現。
3Function GetURL(url)
4Set Retrieval = CreateObject("Microsoft.XMLHTTP")
5With Retrieval
6.Open "GET", url, False
7.Send
8GetURL = bytes2bstr(.responsebody)
9'對取得信息進行驗證,如果信息長度小于100則說明截取失敗
10if len(.responsebody)<100 then
11response.write "獲取遠程文件 <a href="&url&" target=_blank>"&url&"</a> 失敗。"
12response.end
13end if
14
15End With
16Set Retrieval = Nothing
17End Function
18' 二進制轉字符串,否則會出現亂碼的!
19function bytes2bstr(vin)
20strreturn = ""
21for i = 1 to lenb(vin)
22thischarcode = ascb(midb(vin,i,1))
23if thischarcode < &h80 then
24strreturn = strreturn & chr(thischarcode)
25else
26nextcharcode = ascb(midb(vin,i+1,1))
27strreturn = strreturn & chr(clng(thischarcode) * &h100 + cint(nextcharcode))
28i = i + 1
29end if
30next
31bytes2bstr = strreturn
32end function
33'聲明截取的格式,從Start開始截取,到Last為結束
34Function GetKey(HTML,Start,Last)
35filearray=split(HTML,Start)
36filearray2=split(filearray(1),Last)
37GetKey=filearray2(0)
38End Function
39
40Dim Softid,Url,Html,Title
41
42'獲取要取頁面的ID
43
44SoftId=Request("Id")
45
46  Url="http://www3.skycn.com/soft/"&SoftId&".html"
47
48  Html = GetURL(Url)
49
50'以截取天空軟件的軟件名為例子
51
52  Title = GetKey(Html,"<font color='#004FC6' size='3'>","</font></b></td></tr>")
53
54'打開數據庫,準備入庫
55
56dim connstr,conn,rs,sql
57
58connstr="DBQ="+server.mappath("db1.mdb")+";DefaultDir=;DRIVER={Microsoft Access Driver (*.mdb)};"
59
60set conn=server.createobject("ADODB.CONNECTION")
61
62conn.open connstr
63
64set rs=server.createobject("adodb.recordset")
65
66sql="select [列名] from [表名] where [列名]='"&Title&"'"
67
68rs.open sql,conn,3,3
69
70if rs.eof and rs.bof then
71
72rs("列名")=Title
73
74rs.update
75
76set rs=nothing
77
78end if
79
80set rs=nothing
81
82Response.Write"采集完畢!"
83
84%>

 

?
在線客服

天天網絡科技

  • QQ交談
  • 電話:18177533568
  • 微信號:ip126com
  • 天天企業網

  • QQ交談
  • 電話:18177533568
  • 微信號:ip126com
  • 金牌四相(阳光报)