Add types
This commit is contained in:
1
.gitignore
vendored
1
.gitignore
vendored
@@ -1,2 +1,3 @@
|
||||
main.log
|
||||
test.html
|
||||
doc.html
|
||||
|
@@ -28,3 +28,7 @@ func FetchFull(url string) (string, error) {
|
||||
|
||||
return string(body), nil
|
||||
}
|
||||
|
||||
func FetchDocs(url string) (string, error) {
|
||||
return "", nil
|
||||
}
|
@@ -25,25 +25,6 @@ func ParseHTML(html string) ([]string, error) {
|
||||
return res, nil
|
||||
}
|
||||
|
||||
//doc, err := goquery.NewDocumentFromReader(strings.NewReader(*task.Html))
|
||||
//if err != nil {
|
||||
// Error.Printf("failed to parse html: %v", err)
|
||||
// return
|
||||
//}
|
||||
|
||||
//doc.Find("img").Each(func(i int, s *goquery.Selection) {
|
||||
// parent := s.Parent()
|
||||
// if parent.Is("a") {
|
||||
// href, _ := parent.Attr("href")
|
||||
// href, ok := fixLink(href)
|
||||
// if ok {
|
||||
// hw.output <- &ImageDownloadTask{Url: &href, Topic: task.Topic}
|
||||
// }
|
||||
// } else {
|
||||
// src, _ := s.Attr("src")
|
||||
// src, ok := fixLink(src)
|
||||
// if ok {
|
||||
// hw.output <- &ImageDownloadTask{Url: &src, Topic: task.Topic}
|
||||
// }
|
||||
// }
|
||||
//})
|
||||
func ParseDoc(html string) ([]string, error) {
|
||||
return nil, nil
|
||||
}
|
11
main.go
11
main.go
@@ -34,6 +34,9 @@ func init() {
|
||||
//go:embed test.html
|
||||
var html string
|
||||
|
||||
//go:embed doc.html
|
||||
var doc string
|
||||
|
||||
func main() {
|
||||
//res, err := FetchFull(url)
|
||||
//if err != nil {
|
||||
@@ -42,7 +45,13 @@ func main() {
|
||||
//}
|
||||
|
||||
//os.WriteFile("test.html", []byte(res), 0644)
|
||||
foo, err := ParseHTML(html)
|
||||
// foo, err := ParseHTML(html)
|
||||
// if err != nil {
|
||||
// Error.Printf("Error parsing HTML: %v", err)
|
||||
// return
|
||||
// }
|
||||
// log.Printf("%#v", foo)
|
||||
foo, err := ParseHTML(doc)
|
||||
if err != nil {
|
||||
Error.Printf("Error parsing HTML: %v", err)
|
||||
return
|
||||
|
Reference in New Issue
Block a user