一个从天天基金网上爬取信息的工具

给朋友帮忙,需要根据天天基金–场内交易基金净值折价率一览表把每个基金的前十名的股票持仓信息做到同一个表格中,用于后面的基金分析和挑选。

列表: http://fund.eastmoney.com/cnjy_jzzzl.html

总结几点:

  1. Python操作Excel还是略有些复杂,尤其是需要在表格中加入超链接,如果目的最后是为了得到表格,那么可以把数据生成一个网页table,然后直接拷贝到表格中,数据会很规整。
  2. Chrmoet的debug工具中,可以直接选中DOM元素,然后右键拷贝它的XPAHT。
  3. Python的lxml包在解析xpath时是无法识别tbody标签的,所以如果拷贝出来的XPATH如果有tbody,一定要删掉,否则解析的结果是[]。
  4. 天天基金网的网页的元素会因为不同的基金导致取出来的元素的XPATH略有不同,真是坑。

代码地址: https://github.com/skeetwu/ETF

PyCharm 路径符号从斜线变成了人民币符号

PyCharm 路径符号从斜线\变成了人民币¥符号, 这个应该是字体的原因引起的。

修改方法:

  1. Setting – Appearance – Override default fond by (not recommmended), 去掉选中。
  2. Setting – Edit – Font – Show only monospaced fonts (选中) – 字体推荐(Source Code Pro)。

这样应该就可以正常的显示路径了。

2020 end

一场疫情,改变了太多!
所在的部门,从全site最有前途的组一下子变成了最风雨飘摇的组。上半年忙死,下半年组里动荡,大家都接近于划水摸鱼的状态。
但是不管无论未来如何,都要把自己收拾利索,无论何时都要有能力去面对新的工作挑战。


年终统计,CSFS ticket总数373,刷出了一个破纪录的数据,开心,完结撒花。
goodbye 2020, good luck 2021!

统计
小组排名

Ansible从一个target node取值并赋值给所有的target node

Ansible操作三个node,其中有一个pod(app_api_pod_name)运行其中的一个上。
Step 1 需要判断这个pod中有没有存在一个文件,这个地方希望只在第一个node1上执行就可以了,这样其他的node都会skip,
如果是这样skip其他的node的时候,仍然会进行赋值,导致最后的结果是CA_exist无法registe,除了node1,其他node拿到CA_exist都是空值。
所以这个地方就理解了,ansible的所有变量,包括常量和临时变量都是按node进行区分和隔离的,不能共享。

Step 2 就是用来解决这个问题,在其他的node的变量组把这个值给赋值上,关键取值 hostvars[groups[‘role_control’][0]].CA_exist.rc

1
2
3
4
5
6
7
8
9
10
11
12

- name: check if CA exist in app-api
become: yes
shell: "kubectl exec -it {{ app_api_pod_name.stdout_lines[0] }} cat /etc/pki/ca-trust/source/anchors/xxxca.pem -n xxxx"
ignore_errors: yes
register: CA_exist
when: "inventory_hostname == groups['role_control'][0] and app_api_pod_name is defined"

- name: set if need to copy CA
set_fact:
need_copy: "{{ hostvars[groups['role_control'][0]].CA_exist.rc }}"
when: "hostvars[groups['role_control'][0]].CA_exist is defined and hostvars[groups['role_control'][0]].CA_exist.rc == 1"

天冷了

感觉突然就天冷了,好像还没准备好,夏天就过去了,秋天也过去了。

供暖费都交了,下个月就开始供暖了。

减肥减的不抗冻了,晚上得穿上秋裤才能出去溜娃。

工作的事情搞的有点糟心,不要乱,相信美好的事情总会发生的。


Powered by Hexo and Hexo-theme-hiker

Copyright © 2013 - 2021 Tiaobug All Rights Reserved.

Skeet WU hold copyright