网络爬虫技术架构
收录了 网络爬虫技术架构 频道下的 50 篇内容
Python 数据挖掘与机器学习实战（三）：网络爬虫原理与设计实现
**编者按**：本文节选自方巍著《Python数据挖掘与机器学习实战》一书中的部分章节。
【QCon 上海 2015】公有云服务与基础设施建设专场重点回顾
QCon上海2015全球软件开发大会10月16日的Solution Track专场以“公有云服务与基础设施建设”为主题，主要厂商包括：亚马逊、SpeedyCloud、微软中国、灵雀云、青云QingCloud、UnitedStack、腾讯和七牛。各厂商在此充分展示了各自在行业里的领先位置，不管是到现场聆听的还是没能去现场的，都可以再来温故一遍技术美文！
解读 ThoughtWorks 技术雷达
ThoughtWorks在每年都会出品两期技术雷达，这是一份关于技术趋势的报告，它比起一些我们能在市面上见到的其他各种技术行情和预测报告，更加具体，更具可操作性，因为它不仅涉及到新技术大趋势，比如云平台和大数据，更有细致到类库和工具的推介和评论，从而更容易落地。
阿里达摩院发布 2019 年十大科技趋势，区块链位列其九
区块链领域将从过度狂热和过度悲观回归理性，商业化应用有望加速落地。
软件工程师需要了解的搜索引擎知识
Max Grigorev最近写了一篇文章，题目是《What every software engineer should know about search》，这篇文章里指出了现在一些软件工程师的问题，他们认为开发一个搜索引擎功能就是搭建一个ElasticSearch集群，而没有深究背后的技术，以及技术发展趋势。Max认为，除了搜索引擎自身的搜索问题解决、人类使用方式等之外，也需要解决索引、分词、权限控制、国际化等等的技术点，看了他的文章，勾起了我多年前的想法。 很多年前，我曾经想过自己实现一个搜索引擎，作为自己的研究生论文课题，后来琢磨半天没有想出新的技术突破点（相较于已发表的文章），所以切换到了大数据相关的技术点。当时没有写出来，心中有点小遗憾，毕竟凭借搜索引擎崛起的谷歌是我内心渴望的公司。今天我就想结合自己的一些积累，聊聊作为一名软件工程师，您需要了解的搜索引擎知识。
与 Julien Nioche 探讨基于 Apache Storm 的开源爬虫流水线 StormCrawler
Julien Nioche是DigitalPebble公司的总监、PMC成员和Apache Nutch网络爬虫项目的代码提交者。StormCrawler是一组可重用的组件，可以构建基于流式框架Apache Storm的分布式网络爬虫。Julien Nioche就StormCrawler接受了我们的采访，谈了他的一些看法。Nioche是该项目的主要贡献者，InfoQ采访他以了解更多关于StormCrawler的情况，以及在相同领域内它与其他技术相比有什么特点。
创新在左，DNA 在右
DNA 决定企业发展方向。
QCon 北京：构建大数据生态需要哪些核心技术？
2016年QCon全球软件开发大会北京站为期三天的会议已圆满结束，参会者对整体内容设置及安排反馈良好。这里我们梳理出22号“大数据生态构建”厂商共建专场的重点演讲内容，为没能到现场聆听的小伙伴们奉上饱满的干货内容。
丝芙兰 CTO 黄鸣：用微服务重构电商体系，结合 AI、AR 让用户“虚拟试妆”
美妆零售里最重视技术的公司。
解读数字化转型下的数据安全：AI 正在开辟新的可能性
在信息化浪潮下，传统产业数字化转型方兴未艾，网络安全问题也得到了更多关注。
阿里巴巴网站架构师周涛明：跨境网站的优化与挑战
随着公司业务的扩展，越来越多的企业实现了服务的全球化，但是由于各个地区网络差异，跨境网站的可用性以及性能问题越来越凸显，在今年QCon上海的知名网站架构专场上，来自于阿里巴巴的周涛明将会以“跨境网站性能优化挑战和思路”为主题分享阿里巴巴的实践经验。
基于 OpenResty 打造业务融合网关
本次分享介绍同程艺龙如何一步步演进和优化业务融合网关，并描述业务融合网关在人机识别和风控系统中发挥的作用。
介绍 Web 基础架构设计原则的经典论文《架构风格与基于网络的软件架构设计》导读
Roy Fielding博士是IETF发布的HTTP和URI协议的主要设计者。HTTP和URI是两个最为重要的Web基础技术架构协议，因此Fielding博士可谓是Web架构的奠基者之一。这篇论文很不容易读懂，作为论文中文版的译者，笔者试图在这篇导读中为读者梳理出一个阅读的脉络。不过笔者还是希望读者能克服困难，亲自去读一下这篇论文，因为这篇论文实在是太精彩了。
如何构建一个通用的数据中台 | 荐书
本文介绍如何构建通用数据中台的经验。
容器云平台、灰度发布系统、微服务网关的高可用实践
系统高可用是互联网企业系统架构的基础要求之一，一个好的高可用架构可以以最低的成本、更灵活的方式，满足企业用户需求。
向小伙伴讲讲搜索引擎？读完这个文章先
QCon大会预热采访。360搜索郝一昕。
专访“舆情”从业技术人：抓住中台契机，推动了一场技术变革
如何说服公司相信技术的力量，一起改变尝试新技术。
京公网安备 11010502039052号 | 产品资质
