SpiderFoot
SpiderFoot
Objetivo
Existem três áreas principais onde SpiderFoot pode ser útil:
- Se você é um testador de canetas, o SpiderFoot irá automatizar o estágio de reconhecimento do teste, dando-lhe um conjunto rico de dados para ajudá-lo a identificar as áreas de foco para o teste.
- Compreenda o que a sua rede / organização está a expor abertamente ao mundo exterior. Essas informações nas mãos erradas poderiam ser um risco significativo.
- SpiderFoot também pode ser usado para reunir inteligência de ameaça sobre IPs maliciosos suspeitos que você pode estar vendo em seus registros ou obteve através de alimentações de dados de inteligência de ameaça.
Características
- Projetado para a extração máxima de dados ; Todos os dados são transmitidos para módulos que podem estar interessados, para que possam extrair informações valiosas. Nenhum pedaço de dados descobertos é salvo da análise.
- Funciona em Linux e Windows. E totalmente open-source para que você possa garfá-lo no GitHub e fazer o que quiser com ele.
- Visualizações. Visualizações incorporadas em JavaScript ou exportação para GEXF / CSV para uso em outras ferramentas, como Gephi, por exemplo.
- UI e CLI baseados na Web. Escolha entre uma GUI que seja fácil de usar e uma poderosa interface de linha de comando. Dê uma olhada na galeria para obter capturas de tela da GUI.
- Altamente configurável. Quase todos os módulos são configuráveis para que você possa definir o nível de intrusividade e funcionalidade.
- Modular. Cada peça importante de funcionalidade é um módulo, escrito em Python. Sinta-se livre para escrever o seu próprio e enviá-los para serem incorporados!
- Back-end SQLite. Todos os resultados da varredura são armazenados em um banco de dados SQLite local, para que você possa jogar com seus dados no conteúdo do seu coração.
- Exames simultâneos. Cada análise de pegada é executada como seu próprio segmento, para que você possa realizar a pegada de muitos destinos diferentes simultaneamente.
Fontes de dados
Esta é uma lista cada vez maior de fontes de dados que SpiderFoot usa para reunir informações sobre seu alvo. Algumas exigem chaves API, mas estão disponíveis gratuitamente.
Módulo | Nome | Descrição |
---|---|---|
Sfp_accounts.py | Contas | Procure possíveis contas associadas em quase 200 sites como Ebay, Slashdot, Reddit, etc. |
Sfp_adblock.py | AdBlock Check | Verifique se as páginas vinculadas serão bloqueadas pelo AdBlock Plus. |
Sfp_alienvault.py | AlienVault OTX | Obter informações do AlienVault Open Threat Exchange (OTX) |
Sfp_bingsearch.py | Bing | Alguns raspagem Bing leve para identificar subdomínios e links. |
Sfp_binstring.py | Extractor de cordas binárias | Tente identificar cadeias de caracteres em conteúdo binário. |
Sfp_bitcoin.py | Bitcoin Finder | Identifique endereços de bitcoin em páginas web raspadas. |
Sfp_blacklist.py | Lista negra | Consulte vários bancos de dados da lista negra para relés abertos, proxies abertos, servidores vulneráveis, etc. |
Sfp_botscout.py | BotScout | Pesquisas do banco de dados do botscout.com de IPs de spam e endereços de e-mail. |
Sfp_censys.py | Censys | Obter informações da Censys.io |
Sfp_clearbit.py | Clearbit | Verifique se há nomes, endereços, domínios e mais com base em pesquisas de endereços de e-mail em clearbit.com. |
Sfp_coderepo.py | Código Repos | Identifique repositórios de códigos públicos associados (Github apenas por agora). |
Sfp_cookie.py | Biscoitos | Extraia cookies de cabeçalhos HTTP. |
Sfp_crossref.py | Referência cruzada | Identifique se outros domínios estão associados ('Afiliados') do alvo. |
Sfp_crt.py | Transparência do certificado | Reúna nomes de host de certificados históricos em crt.sh. |
Sfp_cymon.py | Cymon | Obter informações de Cymon.io |
Sfp_darksearch.py | Darknet | Pesquisar Tor 'Onion City' motor de busca para menções do domínio alvo. |
Sfp_defaced.py | Verificação de desfiguração | Verifique se um nome / domínio de host aparece no feed RSS de "defecements especiais" zone-h.org. |
Sfp_dns.py | DNS | Executa uma série de verificações de DNS para obter subdominios / nomes de host, endereços IP e afiliados. |
Sfp_duckduckgo.py | DuckDuckGo | Consulte a API do DuckDuckGo para obter informações descritivas sobre seu alvo. |
Sfp_email.py | O email | Identifique os endereços de e-mail em todos os dados obtidos. |
Sfp_errors.py | Erros | Identifique mensagens de erro comuns em conteúdo, como erros de SQL, etc. |
Sfp_filemeta.py | Metadados de arquivo | Extrai meta dados de documentos e imagens. |
Sfp_geoip.py | GeoIP | Identifica a localização física dos endereços IP identificados. |
Sfp_googlemaps.py | Google Maps | Identifica possíveis endereços físicos e coordenadas de latitude / longitude. |
Sfp_googlesearch.py | Pesquisa do Google | Alguns light scraping para identificar subdomínios e links. |
Sfp_historic.py | Arquivos históricos | Identifica versões históricas de arquivos / páginas interessantes da Wayback Machine. |
Sfp_honeypot.py | Honeypot Checker | Consulte o banco de dados projectthoneypot.org para entradas. |
Sfp_hosting.py | Provedores de Hospedagem | Descubra se os endereços de IP identificados se enquadram em faixas conhecidas de hospedagem de terceiros, por exemplo, Amazon, Azure, etc. |
Sfp_hunter.py | Hunter.io | Verifique os endereços de e-mail e os nomes no hunter.io. |
Sfp_intfiles.py | Arquivos interessantes | Identifica possíveis arquivos de interesse, por exemplo, documentos do escritório, arquivos zip. |
Sfp_ir.py | Registos da Internet | Consultas Registos da Internet para identificar netblocks e outras informações. |
Sfp_junkfiles.py | Arquivos desnecessários | Procura arquivos antigos / temporários e outros semelhantes. |
Sfp_malcheck.py | Verificação maliciosa | Verifique se um site, IP ou ASN é considerado mal-intencionado por várias fontes. Inclui nós de saída TOR e proxies abertos. |
Sfp_malwarepatrol.py | MalwarePatrol | Pesquisas malwarepatrol.net do banco de dados de URLs maliciosos / IPs. |
Sfp_names.py | Extrator de nome | Tentativa de identificar nomes humanos em conteúdo obtido. |
Sfp_pageinfo.py | Página Info | Obter informações sobre páginas da web (eles aceitam senhas, eles contêm formulários, etc.) |
Sfp_pastes.py | Pastas | PasteBin, Pastie e Notepad.cc raspando (via Google) para identificar conteúdo relacionado. |
Sfp_pgp.py | PGP Key Look-up | Procure endereços de e-mail nos servidores de chaves públicas PGP. |
Sfp_phone.py | Números de telefone | Identificar números de telefone em páginas web raspadas. |
Sfp_portscan_tcp.py | Port Scanner - TCP | Verifica as portas TCP comummente abertas nos sistemas voltados para a Internet. |
Sfp_psbdmp.py | Psbdmp.com | Verifique psbdmp.com (PasteBin Dump) para e-mails e domínios potencialmente pirateados. |
Sfp_pwned.py | Senha Pwned | Verifique se eu fui Pwned? Para endereços de e-mail hackeados identificados. |
Sfp_s3bucket.py | S3 Bucket Finder | Procure por potenciais baldes S3 associados ao alvo. |
Sfp_sharedip.py | IP compartilhado | Procure Bing e / ou Robtex.com e / ou HackerTarget.com para hosts que compartilham o mesmo IP. |
Sfp_shodan.py | SHODAN | Obtenha informações da SHODAN sobre endereços IP identificados. |
Sfp_similar.py | Domínios semelhantes | Pesquise várias fontes para identificar nomes de domínio semelhantes, por exemplo, domínios agachados. |
Sfp_social.py | Redes sociais | Identifique a presença em redes de redes sociais como LinkedIn, Twitter e outros. |
Sfp_socialprofiles.py | Perfis de mídia social | Identifique os perfis das redes sociais para os nomes humanos identificados. |
Sfp_spider.py | Aranha | Spidering de páginas da web para extrair conteúdo para pesquisa. |
Sfp_sslcert.py | SSL | Reúna informações sobre certificados SSL usados pelos sites HTTPS do alvo. |
Sfp_strangeheaders.py | Cabeçalhos estranhos | Obtenha cabeçalhos HTTP não padronizados devolvidos pelos servidores web. |
Sfp_threatcrowd.py | ThreatCrowd | Obtenha informações da ThreatCrowd sobre endereços IP, domínios e endereços de e-mail identificados. |
Sfp_tldsearch.py | TLD Search | Pesquise todos os TLDs de Internet para domínios com o mesmo nome do alvo (isso pode ser muito lento). |
Sfp_virustotal.py | VirusTotal | Obter informações do VirusTotal sobre endereços IP identificados. |
Sfp_vuln.py | Vulnerável | Verifique os serviços de verificação / notificação de vulnerabilidades externas (apenas agora openbugbounty.org) para ver se o alvo está listado. |
Sfp_webframework.py | Estrutura da Web | Identifique o uso de frameworks populares como jQuery, YUI e outros. |
Sfp_websvr.py | Servidor web | Obter bandeiras do servidor web para identificar as versões dos servidores web que estão sendo usadas. |
Sfp_whois.py | Quem é | Execute uma pesquisa WHOIS em nomes de domínio e netblocks. |
Sfp_wikileaks.py | Wikileaks | Pesquise Wikileaks para mencionar nomes de domínio e endereços de e-mail. |
Sfp_xforce.py | XForce Exchange | Obtenha informações da IBM X-Force Exchange |
Sfp_yahoosearch.py | Yahoo | Alguns light Yahoo raspagem para identificar sub-domínios e links. |