上来问问有用python 写爬虫软件的吗?
登录 | 论坛导航 -> 华新鲜事 -> 技术の宅 | 本帖共有 16 楼,分 1 页, 当前显示第 1 页 : 本帖树形列表 : 刷新 : 返回上一页
<<始页  [1]  末页>>
作者:askask123 (等级:2 - 初出茅庐,发帖:117) 发表:2017-02-27 16:04:05  楼主  关注此帖
上来问问有用python 写爬虫软件的吗?
新加坡政府的很多采购合同都是在Gebiz网站(gebiz.gov.sg)上发布,数据很详实,包括投标招标数据,中标公司,中标价格等,都公开在Gebiz上。唯一的问题是有效期只有6个月,过后就删除相关数据了。
目前公司打算慢慢收集相关历史数据,作为今后投标工作的参考。
大概知道Python可以写程序,从网站上下载收集数据。想问一下有哪位大神可以做这种工作?大概需要多少钱?

欢迎私信沟通。

谢谢。



欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:sonatam (等级:6 - 驾轻就熟,发帖:4552) 发表:2017-02-27 16:14:28  2楼
github.con
好多源代码
[本文发送自华新iOS App]
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:hudasm (等级:4 - 马马虎虎,发帖:2824) 发表:2017-02-27 17:15:22  3楼
具体啥需求
具体啥需求 有budget吗
[本文发送自华新iOS App]
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:github (等级:2 - 初出茅庐,发帖:82) 发表:2017-02-27 17:34:36  4楼
爬虫 Gebiz
你好,我是NTU CS毕业,可以帮忙写爬虫。
不知道你们的budge是多少。我预期是 S$1000,详细的可以微信聊,谢谢
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:askask123 (等级:2 - 初出茅庐,发帖:117) 发表:2017-02-28 10:59:12  5楼
具体要求

需求

 

 

 

 

欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:askask123 (等级:2 - 初出茅庐,发帖:117) 发表:2017-02-28 11:09:54  6楼
具体需求

基本需求是按照下图的指示能够把相关数据收集并存储下来。

 

公司只是希望在投标工作中,能够参考以前的类似工作的最终中标价格,在新的投标中能够更加准确的确定自己的标价。

 

我们希望的最低要求是:我们自己在windows环境下,安装好Python, 你只需要写一些代码,由我们自己运行代码,将网站上的数据爬下来。然后我们自己收集整理分析数据。

 

高一点的要求: 能够设计一个简单的界面,可以让不懂设计语言,只会普通电脑操作的人能够很快学会,利用软件下载数据。


其实还可以这样: 因为Gebiz是保留半年的数据,你也可以每隔半年,自己爬虫,下载数据,然后打包数据卖给我们。这样做的话,对你来讲,每半年都有点小小的收入。对我们来说,也减少了自己的劳动量,而且不用怕买了程序,过半年,如果网站改版,又要重新花钱找人编程。


大家有兴趣可以站短。


谢谢。 

 

 

 

 

 

 


欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:买买提 (等级:4 - 马马虎虎,发帖:751) 发表:2017-02-28 11:16:15  7楼
具体要求         (more...)
这功能听起来很简单啊,你们公司没有会写程序的?
感觉CS的人一下午就弄出来了。
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:askask123 (等级:2 - 初出茅庐,发帖:117) 发表:2017-02-28 11:21:26  8楼
就是没有人会写呀。
我们是做建筑方面的,承包工程。
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:maxwang71 (等级:2 - 初出茅庐,发帖:105) 发表:2017-02-28 11:24:06  9楼
给你个连接 自己 下载
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:霏霏 (等级:4 - 马马虎虎,发帖:146) 发表:2017-02-28 11:41:05  10楼
具体要求         (more...)
非CS的感觉得这个不难呢
竞价800 哈哈哈
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:askask123 (等级:2 - 初出茅庐,发帖:117) 发表:2017-02-28 11:54:38  11楼
给你个连接 自己 下载https://data.gov.sg/dataset?q=GeBIZ
谢谢,很有用处
谢谢,很有用处。 已经下载了。

还希望能有个软件可以按自己需求下载更多详细信息。
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:sonatam (等级:6 - 驾轻就熟,发帖:4552) 发表:2017-02-28 12:15:18  12楼
谢谢,很有用处谢谢,很有用处。 已经下载了。 还希望能有个软件可以按自己需求下载更多详细信息。
你装的一个迅雷,然后把地址贴进去
然后用windows自带的任务器,每几个月跑一次即可
[本文发送自华新iOS App]
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:功夫熊猫 (等级:?? - 无法无天,发帖:73612) 发表:2017-02-28 12:18:31  13楼
就是没有人会写呀。我们是做建筑方面的,承包工程。
目测9楼已给出resource_id
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:sonatam (等级:6 - 驾轻就熟,发帖:4552) 发表:2017-02-28 12:18:32  14楼
谢谢,很有用处谢谢,很有用处。 已经下载了。 还希望能有个软件可以按自己需求下载更多详细信息。
你装的一个迅.雷,然后把地址贴进去
然后用windows自带的任务器,每几个月跑一次即可
[本文发送自华新iOS App]
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:功夫熊猫 (等级:?? - 无法无天,发帖:73612) 发表:2017-02-28 12:19:51  15楼
目测9楼已给出resource_id附赠链接 你懂得 https://data.gov.sg/api/action/datastore_search?resource_id=b9d8d509-5cb6-45dc-bb46-9508e670e3c2&q=2016&limit=99999999
目测沿途提取 "supplier_name" 和 "awarded_amt" 即可
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
作者:ah_kuan (等级:3 - 略知一二,发帖:152) 发表:2017-03-14 18:48:53  16楼
我可以做python爬虫
业余做了好几个这样的项目,轻车熟路,收费看复杂程度,具体可联系David, 97202282.
[本文发送自华新手机Wap版]
欢迎来到华新中文网,踊跃发帖是支持我们的最好方法!原文 / 传统版 / WAP版只看此人从这里展开收起列表
论坛导航 -> 华新鲜事 -> 技术の宅 | 返回上一页 | 本主题共有 16 篇文章,分 1 页, 当前显示第 1 页 | 回到顶部
<<始页  [1]  末页>>

请登录后回复:帐号   密码