WebCrawler

type Filter struct {
	Mode  Mode
	Param interface{}
}

type IFindElement interface {
	// Find 查找方法：从els中找到符合要求的元素
	// 说明：它通常会将找到的el并处理Text字段后放到自己内部的List，同时也会将找到的el按原始数据返回给外部
	Find(els []*WebElement) []*WebElement

	// GetList 取出内部的List
	// 说明：它是执行Find会后得到了一个内部加工过的List，然后可以通过该函数获得这个List
	GetList() []*WebElement
}

type Mode uint32

type WebElement struct {
	Tag       string
	Selection *goquery.Selection
	Text      string
}

type WebHead struct {
	Title       string
	Description string
	Keywords    []string
}

type WebHref struct {
	Href  string
	Title string
}

type WebPage struct {
	Host string
	Url  string

	Head   *WebHead
	Hrefs  map[string]*WebHref
	Texts  []*WebElement
	Images []*WebElement
}