• 如果你立马有答案，那一定是错的！不要因为 CTA 低了，所以立马确定这个 A/B testing 是失败的。我们是公司的参谋，考的怎么可能只是比大比小！I was very surprised to see how many students continue to make similar mistakes.

• Ask this question instead：Let me make sure the CTA truly went down. So may I ask what is the actual number of clicks and page views in this case? Did both go down or it is actually more complicated than this? 

• Interviewer 通常会给你一些 additional datapoints，来揣摩你的思路。你不能又是通过简单的数字对比立马给出结论，这样极有可能导致自相矛盾。

• 比如 hiring manager 告诉你：both clicks and views all went up. 那你知道其实 clicks 多代表大家对这个推荐的产品是感兴趣的。但是到底是否算成功，还未知，还要继续 explore.

•  

• 就是最后同学也问：根据你面试里讲的 CTA下降，我该怎么回答呢？其实答案是什么不重要，重要的是你怎么把这个答案想出来的，CTA下降只是让你问问题用的。要问对的问题，你首先必须思考。这个思考过程是公司要的。

• 你下一个问题可以问是否 revenue went up as well, 但是仅仅如此还不够，因为 recommendation service 虽然最终目的是 increase revenue，但是从一个driver 的角度来看，还是要再看看这个 recommendation service  的机制是否优化了。

• 我会问：average session length 以及 # PDP page views per visit. 我甚至觉得这个 metric 更好: #PDP page views per click，因为更精准，不会有被 sessions with no clicks 淡化的可能。

如果前面的问题你都问好了，其实答案就放在你面前！

如果 session length and #PDP page views/clicks 都上升，而且 revenue 也上升，那么虽然这个 recommendation service  的 CTR 下降了，它也是成功的。