如何抓取网站上的实时数据
wanwei2025
1.找到网址
2.打开网页，查看源码
推荐用Notepad++
不了解的去看：
Notepad++的默认HTML查看器
3.找到源码中你所需要的外汇行情的数据
自己找，也只有你自己知道你要啥
4.分析其中的规则，比如对应的是在哪个div等等之内的
5.写正则表达式去提取对应的数据
如果不会写，可以参考前面已经提到的：
【教程】抓取网并提取网页中所需要的信息 之 Python版
对于复杂的内容的提取，不熟悉的话，可以贴出部分来，我再教你如何写正则去提取。
对于更加复杂的，则建议换用Pytho中的BeautifulSoup
如何用c语言提取excel中的数据1.方法一：采用OleDB读取EXCEL文件： <br>把EXCEL文件当做一个数据源来进行数据的读取操作，实例如下： <br>public DataSet ExcelToDS(string Path) <br><br>{ <br><br>string strConn = "Provider=Microsoft.Jet.OLEDB.4.0;" +"Data Source="+ Path +";"+"Extended Properties=Excel 8.0;"; <br><br>OleDbConnection conn = new OleDbConnection(strConn); <br><br>conn.Open(); <br><br>string strExcel = ""; <br><br>OleDbDataAdapter myCommand = null; <br><br>DataSet ds = null; <br><br>strExcel="select * from [sheet1$]"; <br><br>myCommand = new OleDbDataAdapter(strExcel, strConn); <br><br>ds = new DataSet(); <br><br>myCommand.Fill(ds,"table1"); <br><br>return ds; <br><br>}对于EXCEL中的表即sheet([sheet1$])如果不是固定的可以使用下面的方法得到 <br>string strConn = "Provider=Microsoft.Jet.OLEDB.4.0;" +"Data Source="+ Path +";"+"Extended Properties=Excel 8.0;"; <br><br>OleDbConnection conn = new OleDbConnection(strConn); <br><br>DataTable schemaTable = objConn.GetOleDbSchemaTable(System.Data.OleDb.OleDbSchemaGuid.Tables,null); <br><br>string tableName=schemaTable.Rows[0][2].ToString().Trim();<br><br>另外：也可进行写入EXCEL文件，实例如下： <br>public void DSToExcel(string Path,DataSet oldds) <br><br>{ <br><br>//先得到汇总EXCEL的DataSet 主要目的是获得EXCEL在DataSet中的结构 <br><br>string strCon = " Provider = Microsoft.Jet.OLEDB.4.0 ; Data Source ="+path1+";Extended Properties=Excel 8.0" ; <br><br>OleDbConnection myConn = new OleDbConnection(strCon) ; <br><br>string strCom="select * from [Sheet1$]"; <br><br>myConn.Open ( ) ; <br><br>OleDbDataAdapter myCommand = new OleDbDataAdapter ( strCom, myConn ) ; <br><br>ystem.Data.OleDb.OleDbCommandBuilder builder=new OleDbCommandBuilder(myCommand); <br><br>//QuotePrefix和QuoteSuffix主要是对builder生成InsertComment命令时使用。 <br><br>builder.QuotePrefix="["; //获取insert语句中保留字符（起始位置） <br><br>builder.QuoteSuffix="]"; //获取insert语句中保留字符（结束位置） <br><br>DataSet newds=new DataSet(); <br><br>myCommand.Fill(newds ,"Table1") ; <br><br>for(int i=0;i<oldds.Tables[0].Rows.Count;i++) <br><br>{ 在使用ImportRow后newds内有值，但不能更新到Excel中因为所有导入行的<br>DataRowState!=Added <br><br>DataRow nrow=aDataSet.Tables["Table1"].NewRow(); <br><br>for(int j=0;j<newds.Tables[0].Columns.Count;j++) <br><br>{ <br><br> nrow[j]=oldds.Tables[0].Rows[i][j]; <br><br>} <br><br>newds.Tables["Table1"].Rows.Add(nrow); <br><br>} <br><br>myCommand.Update(newds,"Table1"); <br><br>myConn.Close(); <br><br>}<br><br>2.方法二：引用的com组件：Microsoft.Office.Interop.Excel.dll 读取EXCEL文件 <br>首先是Excel.dll的获取,将Office安装目录下的Excel.exe文件Copy到DotNet的bin目录下,cmd到该目录下,运行 TlbImp EXCEL.EXE Excel.dll 得到Dll文件。 再在项目中添加引用该dll文件. <br>//读取EXCEL的方法 (用范围区域读取数据)<br><br>private void OpenExcel(string strFileName)<br><br>{<br><br> object missing = System.Reflection.Missing.Value;<br><br> Application excel = new Application();//lauch excel application<br><br> if (excel == null)<br><br> {<br><br> Response.Write("<script>alert('Can't access excel')</script>");<br><br> }<br><br> else<br><br> {<br><br> excel.Visible = false; excel.UserControl = true;<br><br> // 以只读的形式打开EXCEL文件<br><br> Workbook wb = excel.Application.Workbooks.Open(strFileName, missing, true, missing, missing, missing,<br><br> missing, missing, missing, true, missing, missing, missing, missing, missing);<br><br> //取得第一个工作薄<br><br> Worksheet ws = (Worksheet)wb.Worksheets.get_Item(1);<br><br>//取得总记录行数 (包括标题列)<br><br> int rowsint = ws.UsedRange.Cells.Rows.Count; //得到行数<br><br> //int columnsint = mySheet.UsedRange.Cells.Columns.Count;//得到列数<br><br>//取得数据范围区域 (不包括标题列) <br><br> Range rng1 = ws.Cells.get_Range("B2", "B" + rowsint); //item<br><br>Range rng2 = ws.Cells.get_Range("K2", "K" + rowsint); //Customer<br><br> object[,] arryItem= (object[,])rng1.Value2; //get range's value<br><br> object[,] arryCus = (object[,])rng2.Value2; <br><br> //将新值赋给一个数组<br><br> string[,] arry = new string[rowsint-1, 2];<br><br> for (int i = 1; i <= rowsint-1; i++)<br><br> {<br><br> //Item_Code列<br><br> arry[i - 1, 0] =arryItem[i, 1].ToString();<br><br> //Customer_Name列<br><br> arry[i - 1, 1] = arryCus[i, 1].ToString();<br><br> }<br><br> Response.Write(arry[0, 0] + " / " + arry[0, 1] + "#" + arry[rowsint - 2, 0] + " / " + arry[rowsint - 2, 1]);<br><br> }<br><br> excel.Quit(); excel = null;<br><br> Process[] procs = Process.GetProcessesByName("excel");<br><br>foreach (Process pro in procs)<br><br> {<br><br> pro.Kill();//没有更好的方法,只有杀掉进程<br><br> }<br><br> GC.Collect();<br><br>}3.方法三：将EXCEL文件转化成CSV（逗号分隔）的文件，用文件流读取(等价就是读取一个txt文本文件)。 <br><br><br>先引用命名空间:using System.Text;和using System.IO;<br>FileStream fs = new FileStream("d:\\Customer.csv", FileMode.Open, FileAccess.Read, FileShare.None);<br><br>StreamReader sr = new StreamReader(fs, System.Text.Encoding.GetEncoding(936));<br><br>string str = "";<br><br>string s = Console.ReadLine();<br><br>while (str != null)<br><br>{ str = sr.ReadLine();<br><br> string[] xu = new String[2];<br><br> xu = str.Split(',');<br><br> string ser = xu[0]; <br><br> string dse = xu[1]; if (ser == s)<br><br> { Console.WriteLine(dse);break;<br><br> }<br><br>} sr.Close();<br><br>另外也可以将数据库数据导入到一个txt文件，实例如下： <br>//txt文件名<br><br> string fn = DateTime.Now.ToString("yyyyMMddHHmmss") + "-" + "PO014" + ".txt";<br><br>OleDbConnection con = new OleDbConnection(conStr); <br><br> con.Open();<br><br> string sql = "select ITEM,REQD_DATE,QTY,PUR_FLG,PO_NUM from TSD_PO014"; <br><br>//OleDbCommand mycom = new OleDbCommand("select * from TSD_PO014", mycon);<br><br> //OleDbDataReader myreader = mycom.ExecuteReader(); //也可以用Reader读取数据<br><br> DataSet ds = new DataSet();<br><br> OleDbDataAdapter oda = new OleDbDataAdapter(sql, con);<br><br> oda.Fill(ds, "PO014");<br><br> DataTable dt = ds.Tables[0];<br><br>FileStream fs = new FileStream(Server.MapPath("download/" + fn), FileMode.Create, FileAccess.ReadWrite);<br><br> StreamWriter strmWriter = new StreamWriter(fs); //存入到文本文件中 <br><br>//把标题写入.txt文件中 <br><br> //for (int i = 0; i <dt.Columns.Count;i++)<br><br> //{<br><br> // strmWriter.Write(dt.Columns[i].ColumnName + " ");<br><br> //}<br><br>foreach (DataRow dr in dt.Rows)<br><br> {<br><br> string str0, str1, str2, str3;<br><br> string str = "|"; //数据用"|"分隔开<br><br> str0 = dr[0].ToString();<br><br> str1 = dr[1].ToString();<br><br> str2 = dr[2].ToString();<br><br> str3 = dr[3].ToString();<br><br> str4 = dr[4].ToString().Trim();<br><br> strmWriter.Write(str0);<br><br> strmWriter.Write(str);<br><br> strmWriter.Write(str1);<br><br> strmWriter.Write(str);<br><br> strmWriter.Write(str2);<br><br> strmWriter.Write(str);<br><br> strmWriter.Write(str3);<br><br> strmWriter.WriteLine(); //换行<br><br> }<br><br> strmWriter.Flush();<br><br> strmWriter.Close();<br><br> if (con.State == ConnectionState.Open)<br><br> {<br><br> con.Close();<br><br> }
大家在看了小编以上内容中对"如何抓取网站上的实时数据"的介绍后应该都清楚了吧，希望对大家有所帮助。如果大家还想要了解更多有关"如何抓取网站上的实时数据"的相关知识的，敬请关注大王财经网。我们会根据给予您专业解答和帮助。
