iicd/xautodl
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Updates

Browse Source
This commit is contained in:
D-X-Y 2021-01-25 21:48:14 +08:00
parent ec4f9c40c7
commit 06d5c547c9
19 changed files with 48 additions and 42 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

12
README.md
View File

@ -105,11 +105,13 @@ If you find that this project helps your research, please consider citing the re
journal={arXiv preprint arXiv:2006.03656}, journal={arXiv preprint arXiv:2006.03656},
year={2020} year={2020}
} }
@article{dong2020nats, @article{dong2021nats,
title={{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size}, title = {{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size},
author={Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan}, author = {Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan},
journal={arXiv preprint arXiv:2009.00437}, doi = {10.1109/TPAMI.2021.3054824},
year={2020} journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year = {2021},
note = {\mbox{doi}:\url{10.1109/TPAMI.2021.3054824}}
} }
@inproceedings{dong2020nasbench201, @inproceedings{dong2020nasbench201,
title = {NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search}, title = {NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search},

12
README_CN.md
View File

@ -98,11 +98,13 @@ Some methods use knowledge distillation (KD), which require pre-trained models.
如果您发现该项目对您的科研或工程有帮助，请考虑引用下列的某些文献： 如果您发现该项目对您的科研或工程有帮助，请考虑引用下列的某些文献：
``` ```
@article{dong2020nats, @article{dong2021nats,
title={{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size}, title = {{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size},
author={Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan}, author = {Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan},
journal={arXiv preprint arXiv:2009.00437}, doi = {10.1109/TPAMI.2021.3054824},
year={2020} journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year = {2021},
note = {\mbox{doi}:\url{10.1109/TPAMI.2021.3054824}}
} }
@inproceedings{dong2020nasbench201, @inproceedings{dong2020nasbench201,
title = {NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search}, title = {NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search},

12
docs/NATS-Bench.md
View File

@ -252,10 +252,12 @@ GDAS:
If you find that NATS-Bench helps your research, please consider citing it: If you find that NATS-Bench helps your research, please consider citing it:
``` ```
@article{dong2020nats, @article{dong2021nats,
title={{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size}, title = {{NATS-Bench}: Benchmarking NAS Algorithms for Architecture Topology and Size},
author={Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan}, author = {Dong, Xuanyi and Liu, Lu and Musial, Katarzyna and Gabrys, Bogdan},
journal={arXiv preprint arXiv:2009.00437}, doi = {10.1109/TPAMI.2021.3054824},
year={2020} journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
year = {2021},
note = {\mbox{doi}:\url{10.1109/TPAMI.2021.3054824}}
} }
``` ```

16
exps/NATS-Bench/Analyze-time.py
View File

@ -1,5 +1,5 @@
############################################################################## ##############################################################################
# NATS-Bench: Benchmarking NAS algorithms for Architecture Topology and Size # # NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size #
############################################################################## ##############################################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.07 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.07 #
############################################################################## ##############################################################################
@ -19,15 +19,15 @@ from datasets import get_datasets
from nats_bench import create from nats_bench import create
def show_time(api): def show_time(api, epoch=12):
print('Show the time for {:} with 12-epoch-training'.format(api)) print('Show the time for {:} with {:}-epoch-training'.format(api, epoch))
all_cifar10_time, all_cifar100_time, all_imagenet_time = 0, 0, 0 all_cifar10_time, all_cifar100_time, all_imagenet_time = 0, 0, 0
for index in tqdm.tqdm(range(len(api))): for index in tqdm.tqdm(range(len(api))):
info = api.get_more_info(index, 'ImageNet16-120', hp='12') info = api.get_more_info(index, 'ImageNet16-120', hp=epoch)
imagenet_time = info['train-all-time'] imagenet_time = info['train-all-time']
info = api.get_more_info(index, 'cifar10-valid', hp='12') info = api.get_more_info(index, 'cifar10-valid', hp=epoch)
cifar10_time = info['train-all-time'] cifar10_time = info['train-all-time']
info = api.get_more_info(index, 'cifar100', hp='12') info = api.get_more_info(index, 'cifar100', hp=epoch)
cifar100_time = info['train-all-time'] cifar100_time = info['train-all-time']
# accumulate the time # accumulate the time
all_cifar10_time += cifar10_time all_cifar10_time += cifar10_time
@ -41,8 +41,8 @@ def show_time(api):
if __name__ == '__main__': if __name__ == '__main__':
api_nats_tss = create(None, 'tss', fast_mode=True, verbose=False) api_nats_tss = create(None, 'tss', fast_mode=True, verbose=False)
show_time(api_nats_tss) show_time(api_nats_tss, 12)
api_nats_sss = create(None, 'sss', fast_mode=True, verbose=False) api_nats_sss = create(None, 'sss', fast_mode=True, verbose=False)
show_time(api_nats_sss) show_time(api_nats_sss, 12)

4
exps/NATS-Bench/draw-correlations.py
View File

@ -1,5 +1,5 @@
############################################################### ###############################################################
# NATS-Bench (https://arxiv.org/pdf/2009.00437.pdf) # # NATS-Bench (arxiv.org/pdf/2009.00437.pdf), IEEE TPAMI 2021 #
############################################################### ###############################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 #
############################################################### ###############################################################
@ -54,7 +54,7 @@ def compute_spearmanr(vectori, vectorj):
if __name__ == '__main__': if __name__ == '__main__':
parser = argparse.ArgumentParser(description='NATS-Bench: Benchmarking NAS algorithms for Architecture Topology and Size', formatter_class=argparse.ArgumentDefaultsHelpFormatter) parser = argparse.ArgumentParser(description='NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size', formatter_class=argparse.ArgumentDefaultsHelpFormatter)
parser.add_argument('--save_dir', type=str, default='output/vis-nas-bench/nas-algos', help='Folder to save checkpoints and log.') parser.add_argument('--save_dir', type=str, default='output/vis-nas-bench/nas-algos', help='Folder to save checkpoints and log.')
parser.add_argument('--search_space', type=str, choices=['tss', 'sss'], help='Choose the search space.') parser.add_argument('--search_space', type=str, choices=['tss', 'sss'], help='Choose the search space.')
args = parser.parse_args() args = parser.parse_args()

2
exps/NATS-Bench/draw-fig2_5.py
View File

@ -1,5 +1,5 @@
############################################################### ###############################################################
# NATS-Bench (https://arxiv.org/pdf/2009.00437.pdf) # # NATS-Bench (arxiv.org/pdf/2009.00437.pdf), IEEE TPAMI 2021 #
# The code to draw Figure 2 / 3 / 4 / 5 in our paper. # # The code to draw Figure 2 / 3 / 4 / 5 in our paper. #
############################################################### ###############################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 #

4
exps/NATS-Bench/draw-fig6.py
View File

@ -1,5 +1,5 @@
############################################################### ###############################################################
# NATS-Bench (https://arxiv.org/pdf/2009.00437.pdf) # # NATS-Bench (arxiv.org/pdf/2009.00437.pdf), IEEE TPAMI 2021 #
# The code to draw Figure 6 in our paper. # # The code to draw Figure 6 in our paper. #
############################################################### ###############################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 #
@ -158,7 +158,7 @@ def visualize_curve(api, vis_save_dir, search_space):
if __name__ == '__main__': if __name__ == '__main__':
parser = argparse.ArgumentParser(description='NATS-Bench: Benchmarking NAS algorithms for Architecture Topology and Size', formatter_class=argparse.ArgumentDefaultsHelpFormatter) parser = argparse.ArgumentParser(description='NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size', formatter_class=argparse.ArgumentDefaultsHelpFormatter)
parser.add_argument('--save_dir', type=str, default='output/vis-nas-bench/nas-algos', help='Folder to save checkpoints and log.') parser.add_argument('--save_dir', type=str, default='output/vis-nas-bench/nas-algos', help='Folder to save checkpoints and log.')
parser.add_argument('--search_space', type=str, choices=['tss', 'sss'], help='Choose the search space.') parser.add_argument('--search_space', type=str, choices=['tss', 'sss'], help='Choose the search space.')
args = parser.parse_args() args = parser.parse_args()

2
exps/NATS-Bench/draw-fig7.py
View File

@ -1,5 +1,5 @@
############################################################### ###############################################################
# NATS-Bench (https://arxiv.org/pdf/2009.00437.pdf) # # NATS-Bench (arxiv.org/pdf/2009.00437.pdf), IEEE TPAMI 2021 #
# The code to draw Figure 7 in our paper. # # The code to draw Figure 7 in our paper. #
############################################################### ###############################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 #

4
exps/NATS-Bench/draw-fig8.py
View File

@ -1,5 +1,5 @@
############################################################### ###############################################################
# NATS-Bench (https://arxiv.org/pdf/2009.00437.pdf) # # NATS-Bench (arxiv.org/pdf/2009.00437.pdf), IEEE TPAMI 2021 #
# The code to draw Figure 6 in our paper. # # The code to draw Figure 6 in our paper. #
############################################################### ###############################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 #
@ -175,7 +175,7 @@ def visualize_curve(api_dict, vis_save_dir):
if __name__ == '__main__': if __name__ == '__main__':
parser = argparse.ArgumentParser(description='NATS-Bench: Benchmarking NAS algorithms for Architecture Topology and Size', formatter_class=argparse.ArgumentDefaultsHelpFormatter) parser = argparse.ArgumentParser(description='NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size', formatter_class=argparse.ArgumentDefaultsHelpFormatter)
parser.add_argument('--save_dir', type=str, default='output/vis-nas-bench/nas-algos-vs-h', help='Folder to save checkpoints and log.') parser.add_argument('--save_dir', type=str, default='output/vis-nas-bench/nas-algos-vs-h', help='Folder to save checkpoints and log.')
args = parser.parse_args() args = parser.parse_args()

2
exps/NATS-Bench/draw-ranks.py
View File

@ -1,5 +1,5 @@
############################################################### ###############################################################
# NATS-Bench (https://arxiv.org/pdf/2009.00437.pdf) # # NATS-Bench (arxiv.org/pdf/2009.00437.pdf), IEEE TPAMI 2021 #
# The code to draw Figure 2 / 3 / 4 / 5 in our paper. # # The code to draw Figure 2 / 3 / 4 / 5 in our paper. #
############################################################### ###############################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 #

4
exps/NATS-Bench/draw-table.py
View File

@ -1,5 +1,5 @@
############################################################### ###############################################################
# NATS-Bench (https://arxiv.org/pdf/2009.00437.pdf) # # NATS-Bench (arxiv.org/pdf/2009.00437.pdf), IEEE TPAMI 2021 #
# The code to draw some results in Table 4 in our paper. # # The code to draw some results in Table 4 in our paper. #
############################################################### ###############################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.06 #
@ -156,4 +156,4 @@ if __name__ == '__main__':
largest_index = api_sss.query_index_by_arch(largest) largest_index = api_sss.query_index_by_arch(largest)
print(show_valid_test(api_sss, largest_index)) print(show_valid_test(api_sss, largest_index))
for dataset in ['cifar10', 'cifar100', 'ImageNet16-120']: for dataset in ['cifar10', 'cifar100', 'ImageNet16-120']:
find_best_valid(api_sss, dataset) find_best_valid(api_sss, dataset)

2
exps/NATS-Bench/main-sss.py
View File

@ -1,5 +1,5 @@
############################################################################## ##############################################################################
# NATS-Bench: Benchmarking NAS algorithms for Architecture Topology and Size # # NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size #
############################################################################## ##############################################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.07 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.07 #
############################################################################## ##############################################################################

2
exps/NATS-Bench/main-tss.py
View File

@ -1,5 +1,5 @@
############################################################################## ##############################################################################
# NATS-Bench: Benchmarking NAS algorithms for Architecture Topology and Size # # NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size #
############################################################################## ##############################################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.07 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.07 #
############################################################################## ##############################################################################

2
exps/NATS-Bench/sss-collect.py
View File

@ -1,5 +1,5 @@
############################################################################## ##############################################################################
# NATS-Bench: Benchmarking NAS algorithms for Architecture Topology and Size # # NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size #
############################################################################## ##############################################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.08 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.08 #
############################################################################## ##############################################################################

2
exps/NATS-Bench/sss-file-manager.py
View File

@ -1,5 +1,5 @@
############################################################################## ##############################################################################
# NATS-Bench: Benchmarking NAS algorithms for Architecture Topology and Size # # NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size #
############################################################################## ##############################################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.08 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.08 #
############################################################################## ##############################################################################

2
exps/NATS-Bench/test-nats-api.py
View File

@ -1,5 +1,5 @@
############################################################################## ##############################################################################
# NATS-Bench: Benchmarking NAS algorithms for Architecture Topology and Size # # NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size #
############################################################################## ##############################################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.08 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.08 #
############################################################################## ##############################################################################

2
exps/NATS-Bench/tss-collect-patcher.py
View File

@ -1,5 +1,5 @@
############################################################################## ##############################################################################
# NATS-Bench: Benchmarking NAS algorithms for Architecture Topology and Size # # NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size #
############################################################################## ##############################################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.08 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.08 #
############################################################################## ##############################################################################

2
exps/NATS-Bench/tss-collect.py
View File

@ -1,5 +1,5 @@
############################################################################## ##############################################################################
# NATS-Bench: Benchmarking NAS algorithms for Architecture Topology and Size # # NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size #
############################################################################## ##############################################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.08 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.08 #
############################################################################## ##############################################################################

2
exps/NATS-Bench/tss-file-manager.py
View File

@ -1,5 +1,5 @@
############################################################################## ##############################################################################
# NATS-Bench: Benchmarking NAS algorithms for Architecture Topology and Size # # NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size #
############################################################################## ##############################################################################
# Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.08 # # Copyright (c) Xuanyi Dong [GitHub D-X-Y], 2020.08 #
############################################################################## ##############################################################################