liwenbest 最近的时间轴更新
liwenbest

liwenbest

V2EX 第 398105 号会员,加入于 2019-04-03 11:49:51 +08:00
liwenbest 最近回复了
2021-01-14 09:45:25 +08:00
回复了 liwenbest 创建的主题 Python 舆情爬虫项目框架及存储选择
@tisswb 我目前也是 scrapy_redis 但是存储用 mongodb
2021-01-07 16:48:25 +08:00
回复了 liwenbest 创建的主题 Python 舆情爬虫项目框架及存储选择
@smgui 非常感谢 我看看
2021-01-07 15:07:51 +08:00
回复了 liwenbest 创建的主题 Python 舆情爬虫项目框架及存储选择
@czfy 要自己开发的
2021-01-07 15:06:41 +08:00
回复了 liwenbest 创建的主题 Python 舆情爬虫项目框架及存储选择
@Keyes 公司接了个舆情项目 要开发的 开发周期一年 要自己搞了
2021-01-07 15:05:53 +08:00
回复了 liwenbest 创建的主题 Python 舆情爬虫项目框架及存储选择
@wzwwzw 沙滩车
2021-01-07 14:34:54 +08:00
回复了 liwenbest 创建的主题 Python 舆情爬虫项目框架及存储选择
@AntoniotheFuture 加我 QQ986636628 私聊
2020-03-30 14:30:55 +08:00
回复了 wuwukai007 创建的主题 Python fastsql 1.2.19 发布 (个人项目,有点丑陋)
挺好的,我也经常用 python 来做些 ETL 方面的工作,有个问题是 是表类型 oracle-mysql 字段类型不一致 会报错
V 站这里贴代码有些乱
#coding:utf-8
from flask import Flask
from flask import jsonify
from flask import request

import re
import time,random



from util import time_to_date,time_to_day
import json

from tyc_search import Tycsearch



class Apibase:
def __init__(self):

self.mongodb = Mongobase(GsmongoDB)
self.mongodb.connect()

def get_mongoone(self,condition,tname):
return self.mongodb.select(condition,tname)

def get_mongoall(self,tname):
return self.mongodb.all_dt(tname)

def close_mongo(self):
return self.mongodb.close()

class ComplexEncoder(json.JSONEncoder):
def default(self, obj):
if isinstance(obj, datetime):
return obj.strftime('%Y-%m-%d %H:%M:%S')
elif isinstance(obj, date):
return obj.strftime('%Y-%m-%d')
else:
return json.JSONEncoder.default(self, obj)




app = Flask(__name__)

apibase = Apibase()
tycseach = Tycsearch()



@app.route('/cha/search', methods=['GET'])
def get_tasks7():
#global m

kw = request.args.get("key")
kw = kw.replace(' (','(').replace(') ',')').replace(' ','')
print(f'请求信息:{kw}......')

try:
_ = apibase.mongodb.select({'searchkey': {'=':kw}},tname=GsmongoDB['tyc_records'])

if len(_)==0:
dic = tycseach.search(kw)
#print(dic)
return json.dumps(dic,ensure_ascii=False)
else:
dic = _[-1]
del dic['_id']
#apibase.close_mongo()
return json.dumps(dic,ensure_ascii=False)
except Exception as E:

print(f'请求失败:原因是:{E}..')
dic = {}
dic['code'] = '405'
dic['urlid'] = ""
dic['pingfen'] = ''
dic['searchkey'] = kw
dic['qymc'] = ''
dic['请求失败原因'] = '接口调用异常..'

now_time,now_day = time_to_day(time.time())
dic['climbdate'] = now_day

return json.dumps(dic,ensure_ascii=False)




@app.route('/')
def index():
return "Hello, World!"


if __name__ == '__main__':
#app.run(debug=True)
app.run(host="0.0.0.0",port=8090,threaded=True)#h
2019-09-23 09:11:58 +08:00
回复了 liwenbest 创建的主题 Python 求助: pyppeteer 是如何修改默认的浏览器下载路径的吗
非常感谢
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4945 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 09:40 · PVG 17:40 · LAX 02:40 · JFK 05:40
Developed with CodeLauncher
♥ Do have faith in what you're doing.