问风博客

.TF-IDFTF-IDF是英文TermFrequency-InverseDocumentFrequency的缩写，中文叫做词频-逆文档频率。一个用户问题与一个标准问题的TF-IDF相似度，是将用户问题中的每一个词与标准问题计算得到的TF-IDF值求和。计算公式如下：TF-IDF算法，计算较快，但是存在着缺点，由于它只考虑词频的因素，没有体现出词汇在文中上下文的地位，因此不能很好地突出语义信息。代

对于海量网页数据，为其建立倒排索引往往需要耗费较大的磁盘空间，尤其是一些比较常见的单词，其对应的倒排列表可能大小有几百兆。如果搜索引擎在响应用户查询的时候，用户查询中包含常见词汇，就需要将大量的倒排列表信息从磁盘读入内存，之后进行查询处理给出搜索结果。由于磁盘读/写速度往往是个瓶颈，所以包含常用词的用户查询，其响应速度会受到严重影响。索引压缩则可以利用数据压缩算法，有效地将数据量减少，这样一方面可

网页去重时机一般在爬虫新抓取到网页后，对网页建立索引前。一个典型的去重算法由特征抽取、文档指纹生成和相似性计算个关键环节构成。能够快速处理海量数据是搜索引擎对去重算法的内在要求，去重算法设计必须兼顾准确性和运行效率，在两者之间取得平衡。种典型的去重算法：Shingling算法、I-Match算法、SimHash算法、SpotSig算法。看似迥异，很多基本思路相近。统计结果表明，近似重复网页（Nea

作弊与反作弊相生相克，只要作弊存在经济利益，两者斗争一定会持续。常见的作弊方法包括：内容作弊、链接作弊、隐藏作弊和Web。作弊。通用反作弊手段大致划分为以下种类型：信任传播模型、不信任传播模型和异常发现模型。纯粹用技术手段目前无法彻底解决作弊问题，必须将人工手段和技术手段相互结合，才能取得较好的反作弊效果。网页反作弊是目前所有商业搜索引擎需要解决的重要难点，出于商业利益驱使，很多网站站长会针对搜索

链接分析在搜索引擎搜索结果排序中起到非常重要的作用。绝大部分链接分析算法建立在随机游走模型和子集传播模型基础之上。PageRank和HTS算法是最重要且基础的两种链接分析算法，很多链接分析算法是对这两种方法的改进。SALSA算法是目前效果最好的链接分析算法之一，其融合了HTs算法与查询相关的特点，以及PageRank算法的随机游走模型。主题敏感PageRank是对PageRank算法的改进，可以应

检索模型是搜索引擎排序的理论基础，用来计算网页和用户查询的相关性。几种常用的检索模型包括：布尔模型、向量空间模型、概率模型、语言模型及最近几年兴起的机器学习排序算法。目前大部分商业搜索引擎采用概率模型作为相关性排序模型，而BM则是目前效果最好的概率检索模型。精确率和召回率是评价检索系统的常用指标，而对于搜索引擎来说，精确率尤为重要。可以将检索模型看做是：在用户需求已经很明确地由查询词表征的情况下，

随着大数据的快速发展，大数据应用已经融入各行各业，在很多场景中得到了商业化实践。今天和大家分享下同城联盟广告平台架构及实践。主要包括：联盟广告SSP媒体平台、投放平台、程序化创意等核心模块的设计和实现，以及对联盟业务的思考与展望。联盟广告平台简介.业务概述联盟广告平台主要是以站内的广告主为基础并结合站外流量，帮助站内广告主获取站外潜在用户，从而实现流量变现。流量获取主要通过SSP和DSP这两种方式

原文作者：BoyangChen翻译：谢健芬Pinterest广告工程团队的宗旨是为我们的广告合作商提供最优质的服务体验，而广告超投，是我们极力要解决的问题之一。在Pinterest，我们使用了KafkaStreams，可以实现把广告消耗的预测数据在数秒钟的时间内发送给数千个广告投放服务。本文将会先解释什么是超投，然后分享一下我们是如何使用KafkaStreams构造预测系统来提供近实时的预测消耗数

--文章原作者：卫夕指北关于竞价广告，很多人有两个极端的看法——第一观点会认为竞价广告非常简单，不就是央视每年黄金广告位招标么，谁出价高广告位给谁；第二个极端会认为竞价广告过于复杂，涉及到到博弈论、机制设计、拍卖理论、CTR预估等普通人根本弄不明白高深理论，因此很多人对此望而却步………然而真相到底是神马？哪一个观点是对的？一直致力于用简单语言剖析互联网商业底层逻辑的卫夕会告诉你：真相就像《小马过河

、cid是什么意思？CID的全称是clickid，即点击id，最初是媒体用于追踪转化效果的一个字段。在付费广告中，当用户点击广告时会生成一个click_id，在跳转到落地页时，会将click_id作为参数传入对应的链接中，后续发生转化行为时，可以利用API将click_id和转化数据回传给媒体，媒体将该转化归因到对应的广告，从而可以发挥媒体算法能力找到目标用户。CID技术的发明出现，对于整个电商推