相关文章推荐
微笑的伏特加  ·  Nuxt JS 使用 ...·  2 年前    · 

C#使用CefSharp控件实现爬虫

作者:springsnow

这篇文章介绍了C#使用CefSharp控件实现爬虫的方法,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

一、CefSharp介绍

CEF 全称是Chromium Embedded Framework(Chromium嵌入式框架),是个基于Google Chromium项目的开源Web browser控件,支持Windows, Linux, Mac平台。CEFSharp就是CEF的C#移植版本。

就是一款.Net编写的浏览器包,方便你在Winform和WPF中内嵌的Chrome浏览器组件

GitHub地址: https://github.com/cefsharp/CefSharp

使用Nuget包引用

把项目改成64位

切换到X64

安装完之后工具栏应该会多出来这个控件(直接拖动用不了!)

1、获得页面源代码

1、GetSourceAsync获取源码的方法是异步操作

2、判断页面加载完成,会触发FrameLoadEnd页面加载完成事件。使用CEF无法确定一个网站是否已经完全加载完成,我们只能在它每一次加载完成时,处理它的页面源码。(如果需要主动等待网站加载完成,可以试试使用Selenium)

public partial class Form1 : Form
        public Form1()
            InitializeComponent();
        ChromiumWebBrowser WebBrowser;
        private void Form1_Load(object sender, EventArgs e)
            var settings = new CefSettings()
                UserAgent = "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Mobile Safari/537.36",
            //Perform dependency check to make sure all relevant resources are in our output directory.
            Cef.Initialize(settings, performDependencyCheck: true, browserProcessHandler: null);
            // cefsharp提供的浏览器控件,一般用它充满窗口就搞定了
            WebBrowser = new ChromiumWebBrowser("http://www.163.com")
                // 填充整个父控件
                Dock = DockStyle.Fill
            WebBrowser.FrameLoadEnd += new EventHandler<FrameLoadEndEventArgs>(FrameEndFunc);
            // 添加到窗口的控件列表中
            this.panel1.Controls.Add(WebBrowser);
        private void FrameEndFunc(object sender, FrameLoadEndEventArgs e)
            MessageBox.Show("加载完毕");
            this.BeginInvoke(new Action(() =>
                String html = WebBrowser.GetSourceAsync().Result;
                richTextBox1.Text = html;
        private void Form1_FormClosed(object sender, FormClosedEventArgs e)
            // 结束时要销毁
            Cef.Shutdown();

效果:可以加载很多原生webbrowser不能加载的内容 可以适应iframe

2、执行页面中的js函数

测试的js代码

<button type="button" onclick="test(1,2)">测试按钮</button> </body> <script type="text/javascript"> function test(a,b) var c = testfunc(a,b); alert(c); function testfunc(a,b) return a+b; </script>

调用页面中的testfunc函数

private void button3_Click(object sender, EventArgs e)
    using (StreamReader sr = new StreamReader("JavaScript1.html"))
        string html = sr.ReadToEnd();
        WebBrowser.LoadHtml(html, "http://testpage/");
private void button4_Click(object sender, EventArgs e)
    String script = "testfunc(99,1)";
    var result = this.WebBrowser.EvaluateScriptAsync(script).Result.Result;
    MessageBox.Show(result.ToString());

3、常用方法

//浏览网址:
WebBrowser = new ChromiumWebBrowser("https://www.baidu.com");
WebBrowser.Load("https://www.baidu.com");
// 获取HTML(整体): 
WebBrowser.GetSourceAsync().Result;
 // 获取HTML(特定Frame):
 WebBrowser.GetBrowser().GetFrame(“SI2_mem_index”).GetSourceAsync().Result;
//执行网页上的JavaScript:
 ExecuteJavaScriptAsync("document.getElementById('username').onkeydown();");
 //模拟左键点击:
 WebBrowser.GetBrowser().GetHost().SendMouseClickEvent(x, y, MouseButtonType.Left, false, 1, CefEventFlags.None);
 Thread.Sleep(50);
 WebBrowser.GetBrowser().GetHost().SendMouseClickEvent(x, y, MouseButtonType.Left, true, 1, CefEventFlags.None);

实例地址:https://github.com/zhaotianff/CSharpCrawler

到此这篇关于C#使用CefSharp控件实现爬虫的文章就介绍到这了。希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

您可能感兴趣的文章:
  • Visual C#中如何使用IComparable和IComparer接口
    Visual C#中如何使用IComparable和ICompar
    2023-03-03
  • 基于WPF实现面包屑效果的示例代码
    基于WPF实现面包屑效果的示例代码
    2023-03-03
  • C#使用dynamic一行代码实现反射操作
    C#使用dynamic一行代码实现反射操作
    2023-03-03
  • C#中DateTime.Compare()比较时间大小
    C#中DateTime.Compare()比较时间大小
    2023-03-03
  • 美国设下计谋,用娘炮文化重塑日本,已影响至中国
    美国设下计谋,用娘炮文化重塑日本,已影响至中国
    2021-11-19
  • 时空伴随者是什么意思?时空伴随者介绍
    时空伴随者是什么意思?时空伴随者介绍
    2021-11-09
  • 工信部称网盘企业免费用户最低速率应满足基本下载需求,天翼云盘回应:坚决支持,始终
    工信部称网盘企业免费用户最低速率应满足基本下载需求,天翼云盘回应:坚决支持,始终
    2021-11-05
  • 2022年放假安排出炉:五一连休5天 2022年所有节日一览表
    2022年放假安排出炉:五一连休5天 2022年所有节日一览表
    2021-10-26
  • 电脑版 - 返回首页

    2006-2023 脚本之家 JB51.Net , All Rights Reserved.
    苏ICP备14036222号