SpiderFoot

SpiderFoot

SpiderFoot é uma ferramenta de automação de inteligência de código aberto. Seu objetivo é automatizar o processo de coleta de informações sobre um determinado alvo.

Objetivo

Existem três áreas principais onde SpiderFoot pode ser útil:
  1. Se você é um testador de canetas, o SpiderFoot irá automatizar o estágio de reconhecimento do teste, dando-lhe um conjunto rico de dados para ajudá-lo a identificar as áreas de foco para o teste.
  2. Compreenda o que a sua rede / organização está a expor abertamente ao mundo exterior. Essas informações nas mãos erradas poderiam ser um risco significativo.
  3. SpiderFoot também pode ser usado para reunir inteligência de ameaça sobre IPs maliciosos suspeitos que você pode estar vendo em seus registros ou obteve através de alimentações de dados de inteligência de ameaça.

Características

  • Utiliza uma grande quantidade de fontes de dados ; Mais de 50 até agora e contando, incluindo SHODAN, RIPE, Whois, PasteBin, Google, SANS e muito mais.
  • Projetado para a extração máxima de dados ; Todos os dados são transmitidos para módulos que podem estar interessados, para que possam extrair informações valiosas. Nenhum pedaço de dados descobertos é salvo da análise.
  • Funciona em Linux e Windows. E totalmente open-source para que você possa garfá-lo no GitHub e fazer o que quiser com ele.
  • Visualizações. Visualizações incorporadas em JavaScript ou exportação para GEXF / CSV para uso em outras ferramentas, como Gephi, por exemplo.
  • UI e CLI baseados na Web. Escolha entre uma GUI que seja fácil de usar e uma poderosa interface de linha de comando. Dê uma olhada na galeria para obter capturas de tela da GUI.
  • Altamente configurável. Quase todos os módulos são configuráveis ​​para que você possa definir o nível de intrusividade e funcionalidade.
  • Modular. Cada peça importante de funcionalidade é um módulo, escrito em Python. Sinta-se livre para escrever o seu próprio e enviá-los para serem incorporados!
  • Back-end SQLite. Todos os resultados da varredura são armazenados em um banco de dados SQLite local, para que você possa jogar com seus dados no conteúdo do seu coração.
  • Exames simultâneos. Cada análise de pegada é executada como seu próprio segmento, para que você possa realizar a pegada de muitos destinos diferentes simultaneamente.
  • Muito mais ... confira a documentação para obter mais informações.

Fontes de dados

Esta é uma lista cada vez maior de fontes de dados que SpiderFoot usa para reunir informações sobre seu alvo. Algumas exigem chaves API, mas estão disponíveis gratuitamente.

MóduloNomeDescrição
Sfp_accounts.pyContasProcure possíveis contas associadas em quase 200 sites como Ebay, Slashdot, Reddit, etc.
Sfp_adblock.pyAdBlock CheckVerifique se as páginas vinculadas serão bloqueadas pelo AdBlock Plus.
Sfp_alienvault.pyAlienVault OTXObter informações do AlienVault Open Threat Exchange (OTX)
Sfp_bingsearch.pyBingAlguns raspagem Bing leve para identificar subdomínios e links.
Sfp_binstring.pyExtractor de cordas bináriasTente identificar cadeias de caracteres em conteúdo binário.
Sfp_bitcoin.pyBitcoin FinderIdentifique endereços de bitcoin em páginas web raspadas.
Sfp_blacklist.pyLista negraConsulte vários bancos de dados da lista negra para relés abertos, proxies abertos, servidores vulneráveis, etc.
Sfp_botscout.pyBotScoutPesquisas do banco de dados do botscout.com de IPs de spam e endereços de e-mail.
Sfp_censys.pyCensysObter informações da Censys.io
Sfp_clearbit.pyClearbitVerifique se há nomes, endereços, domínios e mais com base em pesquisas de endereços de e-mail em clearbit.com.
Sfp_coderepo.pyCódigo ReposIdentifique repositórios de códigos públicos associados (Github apenas por agora).
Sfp_cookie.pyBiscoitosExtraia cookies de cabeçalhos HTTP.
Sfp_crossref.pyReferência cruzadaIdentifique se outros domínios estão associados ('Afiliados') do alvo.
Sfp_crt.pyTransparência do certificadoReúna nomes de host de certificados históricos em crt.sh.
Sfp_cymon.pyCymonObter informações de Cymon.io
Sfp_darksearch.pyDarknetPesquisar Tor 'Onion City' motor de busca para menções do domínio alvo.
Sfp_defaced.pyVerificação de desfiguraçãoVerifique se um nome / domínio de host aparece no feed RSS de "defecements especiais" zone-h.org.
Sfp_dns.pyDNSExecuta uma série de verificações de DNS para obter subdominios / nomes de host, endereços IP e afiliados.
Sfp_duckduckgo.pyDuckDuckGoConsulte a API do DuckDuckGo para obter informações descritivas sobre seu alvo.
Sfp_email.pyO emailIdentifique os endereços de e-mail em todos os dados obtidos.
Sfp_errors.pyErrosIdentifique mensagens de erro comuns em conteúdo, como erros de SQL, etc.
Sfp_filemeta.pyMetadados de arquivoExtrai meta dados de documentos e imagens.
Sfp_geoip.pyGeoIPIdentifica a localização física dos endereços IP identificados.
Sfp_googlemaps.pyGoogle MapsIdentifica possíveis endereços físicos e coordenadas de latitude / longitude.
Sfp_googlesearch.pyPesquisa do GoogleAlguns light scraping para identificar subdomínios e links.
Sfp_historic.pyArquivos históricosIdentifica versões históricas de arquivos / páginas interessantes da Wayback Machine.
Sfp_honeypot.pyHoneypot CheckerConsulte o banco de dados projectthoneypot.org para entradas.
Sfp_hosting.pyProvedores de HospedagemDescubra se os endereços de IP identificados se enquadram em faixas conhecidas de hospedagem de terceiros, por exemplo, Amazon, Azure, etc.
Sfp_hunter.pyHunter.ioVerifique os endereços de e-mail e os nomes no hunter.io.
Sfp_intfiles.pyArquivos interessantesIdentifica possíveis arquivos de interesse, por exemplo, documentos do escritório, arquivos zip.
Sfp_ir.pyRegistos da InternetConsultas Registos da Internet para identificar netblocks e outras informações.
Sfp_junkfiles.pyArquivos desnecessáriosProcura arquivos antigos / temporários e outros semelhantes.
Sfp_malcheck.pyVerificação maliciosaVerifique se um site, IP ou ASN é considerado mal-intencionado por várias fontes. Inclui nós de saída TOR e proxies abertos.
Sfp_malwarepatrol.pyMalwarePatrolPesquisas malwarepatrol.net do banco de dados de URLs maliciosos / IPs.
Sfp_names.pyExtrator de nomeTentativa de identificar nomes humanos em conteúdo obtido.
Sfp_pageinfo.pyPágina InfoObter informações sobre páginas da web (eles aceitam senhas, eles contêm formulários, etc.)
Sfp_pastes.pyPastasPasteBin, Pastie e Notepad.cc raspando (via Google) para identificar conteúdo relacionado.
Sfp_pgp.pyPGP Key Look-upProcure endereços de e-mail nos servidores de chaves públicas PGP.
Sfp_phone.pyNúmeros de telefoneIdentificar números de telefone em páginas web raspadas.
Sfp_portscan_tcp.pyPort Scanner - TCPVerifica as portas TCP comummente abertas nos sistemas voltados para a Internet.
Sfp_psbdmp.pyPsbdmp.comVerifique psbdmp.com (PasteBin Dump) para e-mails e domínios potencialmente pirateados.
Sfp_pwned.pySenha PwnedVerifique se eu fui Pwned? Para endereços de e-mail hackeados identificados.
Sfp_s3bucket.pyS3 Bucket FinderProcure por potenciais baldes S3 associados ao alvo.
Sfp_sharedip.pyIP compartilhadoProcure Bing e / ou Robtex.com e / ou HackerTarget.com para hosts que compartilham o mesmo IP.
Sfp_shodan.pySHODANObtenha informações da SHODAN sobre endereços IP identificados.
Sfp_similar.pyDomínios semelhantesPesquise várias fontes para identificar nomes de domínio semelhantes, por exemplo, domínios agachados.
Sfp_social.pyRedes sociaisIdentifique a presença em redes de redes sociais como LinkedIn, Twitter e outros.
Sfp_socialprofiles.pyPerfis de mídia socialIdentifique os perfis das redes sociais para os nomes humanos identificados.
Sfp_spider.pyAranhaSpidering de páginas da web para extrair conteúdo para pesquisa.
Sfp_sslcert.pySSLReúna informações sobre certificados SSL usados ​​pelos sites HTTPS do alvo.
Sfp_strangeheaders.pyCabeçalhos estranhosObtenha cabeçalhos HTTP não padronizados devolvidos pelos servidores web.
Sfp_threatcrowd.pyThreatCrowdObtenha informações da ThreatCrowd sobre endereços IP, domínios e endereços de e-mail identificados.
Sfp_tldsearch.pyTLD SearchPesquise todos os TLDs de Internet para domínios com o mesmo nome do alvo (isso pode ser muito lento).
Sfp_virustotal.pyVirusTotalObter informações do VirusTotal sobre endereços IP identificados.
Sfp_vuln.pyVulnerávelVerifique os serviços de verificação / notificação de vulnerabilidades externas (apenas agora openbugbounty.org) para ver se o alvo está listado.
Sfp_webframework.pyEstrutura da WebIdentifique o uso de frameworks populares como jQuery, YUI e outros.
Sfp_websvr.pyServidor webObter bandeiras do servidor web para identificar as versões dos servidores web que estão sendo usadas.
Sfp_whois.pyQuem éExecute uma pesquisa WHOIS em nomes de domínio e netblocks.
Sfp_wikileaks.pyWikileaksPesquise Wikileaks para mencionar nomes de domínio e endereços de e-mail.
Sfp_xforce.pyXForce ExchangeObtenha informações da IBM X-Force Exchange
Sfp_yahoosearch.pyYahooAlguns light Yahoo raspagem para identificar sub-domínios e links.