此类题目考查定语从句的关系词是选用关系代词还是关系副词。
楼主只要记住以下规则即可：
1. 找出定语从句所修饰的名词/代词，即先行词。
2. 然后将先行词代入定语从句中，看它能不能直接和从句其他成分相连，或看它在定语从句中做什么成分。
如果可以直接相连，或在定语从句中充当主语/宾语/表语/定语，则选用关系代词；
如果不能直接相连并额外需要补上介词时，并在定语从句中充当状语时，则选用关系副词。
回归到题目中，先行词都是the factory，代入定语从句中，分别为：
1. we visited the factory yesterday.
即先行词可以直接和从句其他成分相连，并充当visited的宾语，所以选用表示sth的关系代词which/that，当然也可以省略。
2. my father works in/at the factory
即先行词the factory不能直接和从句其他成分相连，必须额外补上介词in/at，并一起充当从句的地点状语，所以选用关系副词where。
最后提醒楼主下面这个关系：关系副词 = 介词 + 关系代词
即第2题中的where = in/at which
参考资料：英语牛人团