62 Matching Annotations
  1. May 2025
  2. Apr 2025
    1. 可见,副本读取状态有截断中和获取中两个:当副本执行截断操作时,副本状态被设置成 Truncating;当副本被读取时,副本状态被设置成 Fetching。

      就是当前副本的状态,是否可以去Fetch,如果当前在截断中,就不能Fetch,而如果被delay了同理

    1. 这是社区为了规避因多线程访问产生锁争用导致线程阻塞,从而引发请求超时问题而做的努力

      解决的问题

      当多线程同时执行该方法进行检查的时候,拿到锁的线程complete失败,而没拿到锁的线程直接跳过,那么如果没有其他线程再去处理的话,就永远也不会complete。

      如何解决?

      如果第一个线程成功将retry设置为false,那么第二个线程就会进行重试,而如果本身retry就是true,那么说明被其他线程先一步设置了,该线程不重试。但是如果多个线程顺序执行,都完成不了,那不是一样?

    1. 代码会给所有符合状态转换的副本所在的 Broker,发送 StopReplicaRequest 请求,显式地告诉这些 Broker 停掉其上的对应副本。Kafka 的副本管理器组件(ReplicaManager)负责处理这个逻辑。后面我们会用两节课的时间专门讨论 ReplicaManager 的实现,这里你只需要了解,StopReplica 请求被发送出去之后,这些 Broker 上对应的副本就停止工作了。

      Kafka如何保证请求发送后能够按预期执行?

      通过重试兜底保证最终一致性?同时如果主从切换的话,会进行检查然后重新进行状态同步

    2. Controller给Broker发送请求是否需要保证Broker变更成功

      不需要,Controller发送请求后会异步的等待broker心跳中包含的响应。同时由于MQ本身的设计能够进行容错,即旧的状态如果不对,那么会进行重试,或者刷新缓存元数据

    1. 如何解决选错索引?

      无法从根上解决。 缓解的方法(仍然可能选错索引): - analyze table更新统计信息 - force index(索引可能变更,不灵活) - 删除错误的索引(很多时候,其他业务需要用到该索引) - 通过修改sql引导mysql优化器,让其觉得错的索引成本高(不通用)

  3. Dec 2024
    1. 当有大量数据并希望在确保数据不被拷贝的情况下转移所有权的时候

      转移所有权并不会被拷贝,拷贝也不会转移所有权,所以这里是一大堆的数据相互关联,然后通过转移或者拷贝栈上的引用来转移所有权?

  4. May 2024
    1. 首先,输入图像维度是224*224*3,图片大小是224*224,通道数是3。 输出图像维度是224*224*64,图片大小是224*224,通道数是64。

      通道数是怎么转变的

  5. Feb 2024
    1. 如果二读结束时未能达成一致,该提案将提交给由同等数量的理事会和欧洲议会代表组成的调解委员会。如果调解委员会就“联合文本”达成一致,该文本将被送交理事会和欧洲议会进行三读。在提案成为法律之前,两位立法者的最终协议至关重要。

      针对二读后未能达成一致的情况需要明确详细的流程

    1. ☐ 网友提问:我公司为母公司下属的100%控股独立法人公司,我司能否承接母公司检测业务,是否属于利益相关方?是否能出具CMA检测报告?☑ 认可与检验检测监督管理司回复:根据《检验检测机构资质认定管理办法》的相关规定,依法取得资质认定的检验检测机构,可以作为独立的第三方向社会出具具有证明作用的数据、结果。

      是否可以理解为只要拿到资质认定就能开展?

    2. ☐ 网友提问:企业未做标准变更,出具报告依然采用作废标准,如何定性?如果未做标准变更,直接按新标准出具报告又怎么定性?☑ 认可与检验检测监督管理司回复:上面说的两种情况可以分别从资质认定和报告两个方面考虑:资质认定方面是标准变更的问题,报告方面有两个法条可以考虑,分别为第十三条第(三)项对应处罚条款第二十六条,但前提是数据结果存在错误或者无法复核;所以看第二十五条第(一)项,违反本办法第八条第一款规定,进行检验检测的,更具有适用性。

      采用作废标准如何进行定性?

    3. 取得资质认定即获得CMA认证,具备相应条件和能力,现实情况一般为取得CMA认证或CNAS认可等,故《检验检测机构监督管理办法》第十条比原163号令第三十一条 “依法取得资质认定并有能力完成分包项目的检验检测机构”放宽了承担分包项目的检验检测机构的范围,只获得CNAS认可的实验室等也可以具有分包资格。分包一般指分包给独立于本单位的法人单位,故不存在分包给自己。

      重点关注下《检验检测机构监督管理办法》第十条的内容

    4. 《检验检测机构监督管理办法》第十三条规定:使用未经检定或者校准的仪器、设备、设施的属于不实报告。检测机构可以通过外校准,比如仪器、设备由质检所校准校验出具报告备查,或者实验室内部具有该能力的工作人员进行内校准,并按单位规定记录备查。

      如何判断仪器是外校准还是内校准

  6. Dec 2023
  7. Mar 2023
  8. Feb 2023
  9. Dec 2022
    1. 在设置没有问题的情况下,就可以正常上网了,但有时候网络也不是那么尽如人意,如果网络出现了问题,应该怎么排查呢?首先需要知道自己面临的是什么问题,一般会有这样几种情况:断网了网络非常非常慢网络不稳定

      首先需要知道自己面临的是什么问题。

  10. Nov 2022
    1. 这五行是否使您确信此问题很严重?这取决于您能否很好地填写我遗漏的上下文:被理解需要预见别人需要知道的内容。对于当时的我的听众 - Google 的 Go 团队中的其他十个人正在阅读该文档 - 五十个单词就足够了。为了在去年秋天向 GothamGo 的受众群体 (背景和专业领域更加多样化的受众群体) 提出同样的问题,我需要提供更多的上下文,并且我使用了大约 200 个单词以及真实的代码示例和图表。当今全球围棋社区的一个事实是,描述任何问题的重要性都需要添加上下文,尤其是通过具体示例进行说明,而与同事交谈时会忽略这些上下文。

      被理解需要预见别人需要知道的内容

    2. 说服别人一个重大问题是至关重要的一步。当问题显得无关紧要时,几乎所有解决方案都显得过于昂贵。但是对于一个重大问题,通常有许多合理成本的解决方案。当我们不同意是否采用特定解决方案时,我们通常实际上不同意要解决的问题的重要性。这是如此重要,以至于我想看两个最近的例子,至少在事后看来,这些例子清楚地表明了这一点。

      说服别人,一个重大问题是至关重要的一步。

    1. 针对省委对XX政治生态建设情况检查考核过程中发现的在政治理论学习和贯彻落实中央、省委部署方面存在差距的突出问题,学校结合实际,重点对以下四个问题进行彻底整改。一、在党委中心组学习、党委会议学习、专题培训学习之间界限不清楚,缺乏相应规范,存在相互代替、执行标准不一方面学校修订和完善了《XX党委理论学习中心组规则》,并认真执行。发挥中心组先学一步、多学一点的示范作用,每2个月至少安排一次中心组学习,重点学习习近平新时代中国特色社会主义思想学习教育有关的法律法规,进一步提高政治站位。二、在党委重视、基层不够重视、层层弱化,一些基层干部来学习理论不够深入,有的基层干部对“四种形态”不能完全说清楚方面强化二级中心组主体责任。严格执行二级中心组学习制度,杜绝应付了事,加大考核监督力度,强化责任落实,确保二级中心组学习高标准、高效率推进;坚持基层单位周三下午例会制。原汁原味地传达或通报学校一周工作部署,安排好本单位工作,不偷工减料,不空对空;狠抓工作落实。各部门建立周汇报制度,按时将周工作完成情况向主管领导汇报。三、在创造性地落实上级文件精神方面不足,主动作为不够等方面贯彻上级部署的工作时,把上级精神和要求融入到学校实际工作中,结合新时代、新形势下,宣传思想和意识形态工作面临的新情况、新问题,运用报刊、广播、电视、网络、微信等现代手段,创造性地开展工作。四、在贯彻落实全国、全省高校思想政治工作会议精神不到位,辅导员思想政治工作人员配备不齐,落实“四个服务”的能力需要进一步增强方面通过逐年招聘辅导员满足1:200师生比;学校采取思政课教师担任兼职辅导员,二级学院党总支副书记、辅导员作兼职思政课教师的办法来弥补专职辅导员人数不足的问题。同时,学校实行了班主任制度和导师进宿舍等制度,选聘优秀专业教师担任班主任,选聘专业教师、党政机关干部担任寝室导师,来缓解辅导员数量不足问题,同时也推进了全员、全方位育人格局的形成。某高校党委2022年度政治生态建设状态自评报告4 一、20xx年XX单位政治生态建设情况(一)在增强“四个意识”方面十九大以来,XX党委始终牢固树立“四个意识”,以党的群众路线教育实践活动、“三严三实”专题教育活动、“两学一做”学习教育活动和“不忘初心、牢记使命”专题教育为契机,重点围绕新修订的党纪条例以及习近平新时代中国特色社会主义思想组织开展形式多样的思想政治教育,进一步推动学习宣传和贯彻执行。始终加强对十九大以来正反面典型案例的剖析反思和深入讨论,做到受警醒、学榜样、明底线、知敬畏,自觉在思想上、政治上、行动上与党中央保持高度一致,坚决执行党的基本路线和方针政策,不折不扣贯彻中央、省委的各类决策部署。各级党委始终严守政治纪律和政治规矩,强化政治意识,坚定政治立场,不断增强政治敏锐性和政治鉴别力,始终做到善于从政治上看问题、把握方向,坚持用科学理论武装头脑,坚持树立党章意识,自觉维护党章的尊严和权威,坚持做到大是大非面前头脑清醒、旗帜鲜明,自觉做政治上的明白人;始终严明组织纪律,强化组织观念,严格执行民主集中制,遇到重大问题及时请示报告;始终严格工作纪律,重点加强对中央、省委重大决策部署落实情况的监督检查,决不允许在贯彻执行上级决策部署上打折扣、做选择、搞变通,确保各项决策部署落到实处,保障政令畅通。(二)在落实从严治党主体责任方面一是落实管党治党责任不放松。XX党委始终坚持把党建工作和中心工作同谋划、同部署、同考核,在确定全年重点工作任务的同时明确党建工作要点。完善党委书记负总责、分管领导分工负责、机关党委推进落实、各单位各部门主要负责人“一岗双责”的党建工作机制,每年听取机关、系统党建工作汇报,对重大事项随时听取机关党委汇报。为推动管党治党责任落实,把党建工作情况纳入各级领导班子和领导干部述职、评议、考核全过程,努力把工作抓具体、抓深入、抓扎实。二是狠抓基层党建工作不松劲。XX党委坚持抓系统、系统抓,把机关、基层作为党建工作的一个整体。制定加强和改进基层党建工作实施意见,认真贯彻执行《基层组织工作条例》,开展基层组织规范化建设年活动,党的组织机构和工作制度不断健全,专兼职党务干部配备齐全、积极作为。从XX年开始组织召开党委书记抓党建述职评议会议,上级党委书记逐一点评,全体干部现场测评,让基层党建工作真正成为“一把手”必须担起的责任。三是加强党风廉政建设部署不懈怠。每年XX党委均要组织专题学习中央关于推进党风廉政建设和反腐败工作的重要文件精神、省委党风廉政会议精神,并将上级讲话精神及时印发全系统各级党委进行学习,切实将思想和行动统一起来;围绕上级工作部署和要求,纪检组认真协助党委研究制定全年党风廉政建设和反腐败工作的目标任务和实施方案;在每年年初组织召开全市党风廉政建设和反腐败工作会议,并通过层层签订《党风廉政建设目标任务书》的形式,将任务具体安排到各级具体机关和部门,确保各项工作有人抓、能落实;年中组织好半年党风廉政建设专题汇报会,听取各基层单位党风廉政建设工作汇报,总结经验,分析不足,对下一步工作进行针对性地安排部署,进一步推动全年党风廉政建设工作落到实处。三是开展监督考核问责不缺位。XX党委研究制发了《关于落实党风廉政建设主体责任的实施细则》和《关于落实纪检监察部门党风廉政建设监督责任实施细则》,建立了责任分解、检查监督、倒查追究的完整链条;同时又下发了《党风廉政建设主体责任清单(试行)》和《党风廉政建设监督责任清单(试行)》,进一步细化量化了责任考核;对党风廉政建设“两个责任”落实情况实行台账式管理,定期不定期地检查两个台账落实情况,将其作为年终党风廉政责任制考核的重要参考依据,年底对账结账,确保台账管理不搞形式、不走过场;每年年底都要组织成立考核组,加强对全系统本年度的党风廉政建设责任制落实情况的考核检查。(三)在新形势下党内政治生活和强化党内监督方面一是坚持思想建党。XX党委带头学党章党规和习近平总书记系列重要讲话精神,尤其是对《关于新形势下党内政治生活的若干准则》《中国共产党党内监督条例》等进行了深入学习。今年以来,共开展党委中心组理论学习X期,讲党课X人次,举办专题学习研讨X期,做到学深学透、把握精髓,进一步提高了党性修养;坚决遵守“六大纪律”,全面增强“四个意识”,特别是核心意识和看齐意识,在思想和行动上始终以习近平同志为核心的党中央保持高度一致,不折不扣贯彻落实中央、省委的各项重大决策和工作部署,确保全系统做到了政令畅通、令行禁止。认真开展各项专题教育活动。以深入开展“不忘初心、牢记使命”专题学习教育为抓手,举办党委中心组扩大专题学习研讨班,将学习课堂搬到教育基地,变传统封闭学习为开放体验学习,进一步增强从严管党治党的思想认识,营造风清气正的良好氛围。二是坚持制度建党。XX党委认真贯彻落实中央、省委《党组工作条例》,领导干部个人重大事项报告制度、办理婚丧喜庆事宜报告等制度;建立了紧急重大事项报告、领导干部外出报备等制度。同时,各级领导班子逐步完善民主生活会、班子成员相互沟通、定期通报情况等制度。XX党委每年召开一次专题民主生活会,广泛征求意见和建议,党委书记带头开展批评与自我批评,同志们讲问题不躲躲闪闪,提意见直奔主题,听批评胸襟开阔,既净化了思想意识,又改进了工作作风,最终增进了班子团结。根据历年来最新修订、出台的党章党规党纪,修订完善了本单位机关党委抓党建责任制度、党组-机关委员会-党支部工作联系制度、党员党性分析制度、组织生活会制度、党费收缴制度、党员廉政建设制度、换届选举制度、流动党员教育管理制度、民主评议党员制度、党员学习制度、党支部书记会议制度、发展党员工作制度、党内监督制度、发展党员票决制度、请示报告工作制度、妥善处理不合格党员制度、机关委员会议事规则等多项党内工作制度,进一步推动全面从严治党科学化、规范化、长效化。三是坚持有效监督。XX党委重点把“两个责任”落实情况作为民主生活会的重要内容,领导班子成员围绕责任落实情况开展批评和自我批评,及时发现问题、解决问题。纪检监察部门把“两个责任”落实情况作为监督检查的重要内容,重点突出对关键岗位和“三重一大事项”的监督,对责任落实不到位的问题,及时开展督促整改,认真梳理排查领导干部问题线索,及时更新干部廉政档案,严把“党风廉洁意见回复”关,坚决防止干部“带病提拔”“带病上岗”。各级党组织和党的职能部门主动承担党内监督职责,切实加强对党员领导干部和普通党员的监督,进一步建立健全协调共管机制,形成了协同有序、融合增效的党内监督格局。今年以来,全系统有X个单位被评为全省先进基层党组织,X个单位被评为全省先进基层党组织;全市系统有X人被评为XX省XX系统优秀党员、X人被评为XX省优秀党务干部、X人被评为优秀党员、XX人被评为优秀党务工作者。(四)在推动作风建设方面一是扎紧扎密制度笼子,营造风清气正环境。先后出台了《关于进一步改进工作作风、密切联系群众的实施意见》、《机关工作研讨办法》《公务卡管理暂行办法》《国内公务接待管理实施办法(试行)》等多项规章制度,切实改进工作作风、提升工作质效,有效减轻了基层负担。二是纪律规矩挺在前,扎实开展综合检查。在全系统围绕落实中央八项规定精神,开展了监督检查工作。通过全覆盖式的检查,办公用房按照规定得到了进一步的清理,公车清理、管理和使用得到了全面整改,“三公”经费、会议费及培训费使用得到了进一步规范。针对之前开展专项监督检查发现的问题,及时督促落实整改,同时成立了回头看专项巡视领导组及巡察组,并对基层单位开展了重点巡视检查,针对问题,立行立改,绝不姑息,确保落实中央八项规定不打折扣。三是紧盯重要时间节点,扎实开展督查。在“元旦”“春节”“五一”“端午”“中秋”“国庆”期间,特别是对易发“节日病”的重点部位和关键环节开展重点检查,确保政务值班、信访舆情等制度规定刚性执行。同时,坚持不定期组织开展明察暗访,利用签到考勤、模拟办事、问卷调查等方式,对各基层单位的工作作风、办事效率、服务态度情况开展了检查,对于发现的问题要求各单位限期整改,进一步促进了各基层单位的作风建设。(五)在防范廉政风险方面XX党委先后多次组织专题会议专门具体研究部署内控机制建设工作,并下发了《关于进一步推进内控机制建设防范廉政风险的实施意见》。为规范全系统内控机制建设标准,经过多次修订完善,印发了《防范廉政风险手册》,以此为依据,要求各基层单位结合本单位实际加大本级内控机制建设力度,从职责、风险、权力内控和监督惩戒等方面进一步明确岗位职责,划分权力事项,排查廉政风险,编制防范风险行流程图,完善相关制度,规范权力运行机制。

      主要工作

    1. (二)政治纪律和政治规矩存在差距。一是政治敏锐性不够强,对加强思想政治建设的重要性、必要性理解不深不透。二是执行民主集中制不够严,在一些重大事项决策上,普通党员干部发表意见不主动,班子成员在会议上讨论发言不充分。  (三)党组织生活制度不够严。一是支部“三会一课”中党小组会议制度执行得不够到位,有时存在走形式、走过场的现象,还没能真正发挥党小组应有的作用。二是党组领导班子成员之间、班子成员和党员之间、党员和党员之间开展谈心谈话较少,及时交流思想,交换意见做的不够,一定程度上影响到党员之间的相互信任和支持。

      存在问题

    2. 三、存在的`问题  虽然近年来局机关政治生态建设取得了较为明显的成绩,但工作中依然存在一些不容忽视的问题。结合《关于印发〈九届区党委脱贫攻坚专项巡视被巡视地方(单位)政治生态定量定性评估办法〉的通知》,局党委对xxx机关政治生态建设中存在的问题进行了全面的梳理自查,这些问题主要表现为以下两个方面。  一是落实党的组织生活制度不够严格的问题。支部“三会一课”中党小组会议制度执行的不够到位,有时存在走形式、走过场的现象,还没能真正发挥党小组应有的作用;党组领导班子成员之间、班子成员和党员之间、党员和党员之间开展谈心谈话较少,及时交流思想,交换意见做的不够,一定程度上影响到党员之间的相互信任和支持。  二是开展批评与自我批评不经常,不深入的问题。在组织召开民主生活会和组织生活会时,批评和自我批评武器运用不到位,还没有实实在在达到红脸出汗、净化心灵的应有的效果。

      存在问题

  11. Oct 2022
  12. Sep 2022
    1. 问题本质探究的思考方式:问题溯源:不断追问 why (为什么) ,从根源解决问题,避免复现。追问的方法很简单,但很多时候是我们忘记问或问的不够深。审视目标:重新审视产品目标,明确现状与目标的差距在哪里,为什么?回到系统:把问题放回到它所处的系统中去重新思考,找到系统中起决定性作用的核心因素。

      向上溯源思考方法,就好像一直在井里生活,试着站在井外或旁观者的角度,思考整个结构

  13. Aug 2022
  14. Jul 2022
    1. 促进你成长的到底是什么:是你自驱想要享受这个练、思、悟的过程 还是 因为渴望得到周边人的认可/反馈/评价。这两者在你顺利的时候可能没什么感觉,但当你面对晋升失败,项目不利等挫折的时候就会有非常大的差异。

      促进你成长的到底是什么? 什么促进你的成长?

      找到成长的源动力

      如果你能够找到自己成长的源动力,那么在遇到真正的困难和迷茫时候才能够摆正好自己的心态,寻找突破口,让自己走出困境,得到长足的成长。

  15. Feb 2022
    1. 从他的表述里,我读到了他目前的状态:不满于现状,但又抱怨现状,自己也没有主动思考和总结如何改进。虽然屁股决定脑袋,但是脑袋里得有东西,才能有机会让屁股坐到更高的位子。坦白讲,我也走过这样的弯路,也陷进过这样的误区。但好在自己发现了问题所在,也有追求向上的觉悟,并且幸运的是遇到了高人指点,虽然现在也没有做得非常好,但至少在一步步改善和前进。

      问题

    1. 当然,只有那些复杂的、需要详细说明的关系才需要这么处理。并非什么关系都需要通过单独的笔记来说明、表示,有的关系还是很简单的。比如,“狮子是一种动物”,这个关系就非常简单,无需过多说明。对于这种情况,我们在Obsidian中直接链接两篇笔记即可:即在“狮子”这篇笔记中链接“动物”这篇笔记即可。

      判断是否要创建关系笔记的标准还是需要标准化一下

    2. 但转念一想,你便会觉得这根本无从下手:知识图谱中的点和边都只有寥寥数字,但一篇笔记动则成百上千字,而且一篇笔记中往往包含数不清的实体与联系,这种情况下该如何在软件中构造知识图谱?比如,下图中“刘德华”这篇笔记就包含了<刘德华,同学,吴家丽>、<刘德华,同学, 梁家辉>、<刘德华,同学, 徐锦江>等一系列知识,这些知识在知识图谱中应该表示为多组点与边,但其在笔记软件中只表示为一个点。这该如何是好?

      知识图谱应用到笔记中的问题

    1. 日常生活中,我们或多或少会遇到这样的情况:面试时考官问了一个自己十分熟悉的问题,但自己却只能流于表面、无法深入;平时讨论问题时口若悬河,一到命题作文就无从下笔;热衷看书,但是合上书本之后却发现自己似乎没记住什么。在这个竞争激烈的年代,我们希望自己能高效地获取信息、吸收知识。于是,我们走上了知识管理的道路。

      学习中存在的问题

    1. 它是关于像我上面提到的那些以传达详细知识为目的的解释性的非虚构的书。当我们注意到我们从所读的东西中吸收的很少时,为什么会感到如此震惊?

      为什么我们从阅读中吸收的很少?

    2. 老实说:这种事经常发生在我身上。往往一开始聊的时候都很顺利。我会觉得我可以介绍基本的内容;但是,当有人问一个基本的探索性问题时,我就无法应对了。有时候是记忆问题:我根本想不起相关细节。但是通常,随着我的理解,我会意识到我从来没有真正理解过其中的思想,虽然我读这本书的时候肯定会认为自己理解了。事实上,我会意识到,直到那一刻,我才注意到自己吸收了多少内容。

      这是阅读的很大一个问题

  16. Jan 2022
    1. 在当今的社会,每个人似乎都希望走得更快、收获更多。与其花一个月时间读完一本书,我们更希望花二十分钟“听”完一本书。与其深入掌握某项技能和理论,我们更希望用一篇公众号文章中的“干货”来解决问题,哪怕并不理解问题背后的原因。结果是,问题变得越来越多,人们变得越来越焦虑。于是,更加倍地去收集知识和技能,陷入了一个无解的死循环。

      洞察

    1. 另外,有的人整理思维导图的时间,比学习时耗费的时间都要长,好像自己将书本或者授课内容又重写了一遍似的,只不过是还是按照原来知识本来的结构进行重写而已。

      存在问题

    1. 只有当大脑清空,才能更好地全神贯注来开始下一项目。因为多数情况下,我们会高估自己的能力,试图快速的处理许多的事情。但是实际上来看,我们很容易让大脑负荷满载,这样效率反而更低,且更容易出错。
  17. Dec 2021
  18. Nov 2021
    1. 一些地方和部门选人用人风气不正,形式主义、官僚主义、享乐主义和奢靡之风盛行,特权思想和特权现象较为普遍存在。特别是搞任人唯亲、排斥异己的有之,搞团团伙伙、拉帮结派的有之,搞匿名诬告、制造谣言的有之,搞收买人心、拉动选票的有之,搞封官许愿、弹冠相庆的有之,搞自行其是、阳奉阴违的有之,搞尾大不掉、妄议中央的也有之,政治问题和经济问题相互交织,贪腐程度触目惊心。

      党面临的一些主要贪腐问题

  19. Sep 2018
    1. 如何解决分类问题无法微分

      1. perceptron(introduce in future)
      2. SVM(introduce in future)
      3. generative model: probability based method(introduce here)

      基于概率(Bayes)的分类问题解法 --- 生成模型:

      蓝盒子,绿盒子,其中各置5个球,球也有蓝色和绿色。已知:

      1. 蓝盒:4蓝 + 1绿
      2. 绿盒:2蓝 + 3绿

      问:现抽出一蓝球,问他来自两个盒子概率各是多少:P(blueBox | blueBubble)=?

      这个问题使用 bayes 条件概率公式非常好求,只需要知道四个值

      1. Prior of blueBox: \(P(blueBox)\)
      2. Priof of greenBox: \(P(greenBox)\)
      3. condition probability of blueBubble given blueBox: \(P(blueBubble | blueBox)\)
      4. condition probability of blueBubble given greenBox: \(P(blueBubble | greenBox)\)

      类比:

      蓝盒子 --- class 1;

      绿盒子 --- class 2;

      class 1,class 2,各有很多样本。已知:

      1. class 1:海龟,金枪鱼,
      2. class 2:老鹰,白鸽,

      问:现有一鸭嘴兽,问他来自两个分类的概率各是多少?

      我们同样需要知道 4 个值

      1. Prior
      2. Prior
      3. condition prob
      4. condition prob

      counting based method for Prior

      从训练集中,直接“数”出标签为 C1 的样本数量,和标签为 C2 的样本数量各是多少,记做 N1 , N2.

      \(P(C1) = N1/(N1 + N2)\)

      \(P(C2) = N2/(N1 + N2)\)

      naive bayes method for condition probability

      分类问题中的条件概率不同于“盒子抽球”的最大地方在于:你要计算的 \(P(x|C1)\) 中的 x 是现有样本集中没有的

      把当前 c1 样本 和 c2 样本都想象成概率分布,而当前数据集仅仅是根据概率分布做的抽样(全体中的部分)

      如果我们能得到这个概率分布,我们就可以知道鸭嘴兽属于陆生和海生的概率各是多少。

      假设:c1 和 c2 的概率分布是高斯分布,且他们都是高斯分布集合( gaussian distribution hypothesis )中的一个 gaussian distribution, 我们该如何找到这个高斯分布呢 --- 只需确定 \(\Sigma\) 和 \(\mu \), 就可以唯一确定一个高斯分布。

      那如何通过样本来倒推出 \(\Sigma\) 和 \(\mu \) 呢?

      maximum likelihood

      找到一个 \(\mu, \Sigma\) ,由他确定的高斯分布在所有的高斯分布中,产生数据集的概率是最高的。

      \(f_{\mu,\Sigma}(x) = \frac{1}{(2\pi)^{D/2}}\frac{1}{|\Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu)^T\Sigma^-1(x-\mu))\)

      \(L(\mu,\Sigma) =f_{\mu,\Sigma}(x^1)f_{\mu,\Sigma}(x^2)f_{\mu,\Sigma}(x^3)......f_{\mu,\Sigma}(x^N)\)

      \(\mu^\star, \Sigma^\star = \arg\max_{\mu,\Sigma}L(\mu,\Sigma)\)

      这个 \(argmax\) 有一个很直观的公式解,可以直接记住:

      \(\mu^\star = \frac{1}{N}\sum_{n=1}^{N}x^n\)

      \(\Sigma^\star = \frac{1}{N}\sum_{n=1}^{N}(x^n-\mu^\star)(x^n-\mu^\star)^T\)

      Naive Bayes

      如果不适用极大似然估计,也可以使用 Naive Bayes 方法来推算 Prior probability.

      \(P(y|x) = \frac{P(x|y)P(y)}{P(x)=\sum^K_{i=1}{P(x|y_i)P(y_i)}}\)

      通过 count-based methodNaive Bayes(

      \(P([1,3,9,0] | y_1)=P(1|y_1)P(3|y_1)P(9|y_1)P(0|y_1)\) ) 先计算出:

      \(P(x|y_1)P(y_1)\)

      \(P(x|y_2)P(y_2)\)

      \(P(x|y_3)P(y_3)\)

      ...

      All done

      一旦得到了这个 \(\mu,\Sigma\) 我们就可以得到分类1 产生 x 的概率(即便他不存在于数据集中)的概率:

      \( P(x | C_1) = P(x | Gaussian_1(\mu_1, \Sigma_1))\)

      分类2 产生 x 的概率, 也很容易得到:

      \( P(x | C_2) = P(x | Gaussian_2(\mu_2, \Sigma_2))\)

      根据 bayes 公式:

      \(P(C_1 | x) = \frac{P(x | C_1) * P(C_1)}{P( x | C_1) * P(C_1) + P(x | C_2) * P(C_2)}\)

    2. 直接用【线性回归】模型解【分类问题】的弊端

      线性回归的标签值 \(y\) 都是实数(亦即可能任意大or任意小),同时线性回归的代价函数是平方误差 \((y-\hat{y})^2\) --- square error. 而代价函数又会通过 GD 直接影响 w 和 b --- 分界线。

      在分类问题中,无论错误程度多高,错点的代价永远算作‘1’;而在线性回归中,做错点的代价与他的错误程度平方正比(远大于1)。两者的代价函数不一样,两者得到的函数(分界线)就肯定不一样。

  20. Sep 2017
    1. 在古典哲学中,“主体”与“客体”,一个在另一个之外,一个在另一个之前。在绝对这个漩涡中,在原始的或者终极的同一性中,它们又将重新结合在一起。今天,精神的与社会的都存在于实践中:存在于想象和真实的空间中。

      请问 这句话的出处是?