一日一技：从Pandas DataFrame两个小技巧
今天我从网上下载了一批数据。这些数据是Excel格式，我需要把他们转移到MySQL中。这是一个非常简单的需求。正常情况下，我们只需要5行代码就能解决问题：1234567import pandas as pdfrom sqlalchemy import create_engineengine = create_engine('数据库链接URI', echo=False)df = pd.read_excel('Excel文件路径')df.to_sql(name='表名', con=engine)但我发现，这个下载的文件有两个工作簿(Sheet)，第一个Sheet叫做Overall，第二个Sheet叫做Result。我们需要的数据在Result这个工作簿中。那么，在使用Pandas读取时，需要这样写代码：1df..
更多
一日一技：如何从大量商品数据里面找到降价商品？
相信很多做爬虫的同学都会爬电商网站，每天爬一次，然后监控商品是否降价。如果你只监控一个商品，那么是否降价这非常容易判断，但如果你要找到这个网站里面所有降价的商品，那就非常麻烦了。如下图所示，是美国电商沃尔玛的全站商品数据：每个商品每天都会爬一次，一共有61w+条数据。里面有N个商品降价了，现在需要把这些降价的商品找出来。商品有十几万个，如果你分别找到每个商品的ID，然后用ID再找到这个商品每一天的数据，最后看它是否降价，这个工作量非常大，速度也会非常慢。Pandas内部使用了SIMB技术来对并行计算进行优化，我们需要尽量在不使用for循环的情况下，完成这个任务。为了简单起见，我们假设降价就是指今天比昨天的价格低，不考虑先涨价再降价的情况。要解决这个问题，我们需要使用DataFrame的pct_change..
更多