快好知 kuaihz

2019.5.16日,写完了一个简书的全网站文章爬虫,上传

# GITHUB上传流程如下

## 1.进入Github首页,点击New repository新建一个项目

## 2.填写相应信息后点击create即可

Repository name: 仓库名称

Description(可选): 仓库描述介绍

Public, Private : 仓库权限(公开共享,私有或指定合作者)

Initialize this repository with a README: 添加一个README.md

gitignore: 不需要进行版本管理的仓库类型,对应生成文件.gitignore

license: 证书类型,对应生

成文件LICENSE

## 3.点击Clone or dowload会出现一个地址,copy这个地址备用。

## 4.接下来就到本地操作了,首先右键你的项目,如果你之前安装git成功的话,右键会出现两个新选项,分别为Git Gui Here,Git Bash Here,这里我们选择Git Bash Here,进入如下界面,Test_Bluetooth即为我的项目名。

## 5.接下来输入如下代码(关键步骤)

,把github上面的仓库克隆到本地

git clone /a371057600/python-paChong-.git(/a371057600/python-paChong-.git替换成你之前复制的地址)

## 6.这个步骤以后你的本地项目文件夹下面就会多出个文件夹,该文件夹名即为你github上面的项目名,如图我多出了个Test文件夹,我们把本地项目文件夹下的所有文件(除了新多出的那个文件夹不用),其余都复制到那个

新多出的文件夹下.

## 7.把文件全部放入这个文件夹,然后cd <文件名>

## 接下来依次输入以下代码即可完成其他剩余操作:

git add .

git commit -m "提交信息"

git push -u origin master (输入你的账号)

**最后我的代码地址:/a371057600/python-paChong-**

pipline.py中的数据库改成你的数

据库哦,详情操作,请自己去百度找SCRAPY的数据库连接教程,非常简单

import pymysql

class JianshuSpiderPipeline(object):

def __init__(self):

dbparams = {

"host": "127.0.0.1",

"port": 3306,

"user": "root",

"password": "7923161",

"database": "jianshu",

"charset": "utf8",

}#这里记得改成你自己的数据库,不然你爬起来会不停地出错哦.

self.conn = pymysql.connect(**dbparams)

self.cursor = self.conn.cursor()

self._sql = None

def process_item(self, item, spider):

self.cursor.execute(self.sql, (item["title"],item["content"],item["author"],item["avatar"],item["pub_time"],item["origin_url"],item["article_id"]))

mit()

return item

@property

def sql(self):

if not self._sql:

self._sql = """

insert into article(id,title,content,author,avatar,pub_time,origin_url,article_id) values(null,%s,%s,%s,%s,%s,%s,%s)

"""

return self._sql

return self._sql

```

本站资源来自互联网,仅供学习,如有侵权,请通知删除,敬请谅解!
搜索建议:爬虫  爬虫词条  完了  完了词条  上传  上传词条  一个  一个词条  文章  文章词条  
开店

 真人实测 | 13支网红眼线笔大...

源:Mog时尚笔记(文/ Mog)当当!今天又是干货满满的一期,搜集了编辑部姐妹们手头的眼线笔,给大家做一期测评。首先来康康已经脱帽站好的13位选手,有没有集美...(展开)

开店

 编修家谱,如何撰写好家谱序言?

国无论大否,皆有其史;地无论广否,皆有其志。故,家族无论大小与否亦当有其家乘,上可缅怀祖宗,追颂先德;下可传递精神,凝聚血亲。君不见古人云:国家不可无史,地方不...(展开)